Procenat bezveznih naucnih radova u svetskim casopisima

[Indy]

Sad ste me naterali da se edukujem i vidim sta su tacno egzaktne nauke: "An exact science is any field of science capable of accurate quantitative expression or precise predictions and rigorous methods of testing hypotheses, especially reproducible experiments involving quantifiable predictions and measurements. Mathematics, physics, chemistry, as well as parts of biology, psychology, and the social sciences can be considered as exact sciences in this sense."Nema ekonomskih nauka, u pravu je Taleb. :D (A mozda i on pise za Wikipediju).A, da, ovaj citat gore me podseti - cak i necitirani radovi neretko pokazuju da je odredjena metodologija (npr.) reproducibilna (ako taj izraz postoji). Samo to je vec dovoljno da nisu beskorisni. U stvari, ako pokazu da odredjeni metod ne fercera (tj. ne reproducira rezultate), onda ce zasigurno biti korisni i citirani.

[gospa buba]

A, da, ovaj citat gore me podseti - cak i necitirani radovi neretko pokazuju da je odredjena metodologija (npr.) reproducibilna (ako taj izraz postoji). Samo to je vec dovoljno da nisu beskorisni. U stvari, ako pokazu da odredjeni metod ne fercera (tj. ne reproducira rezultate), onda ce zasigurno biti korisni i citirani.

tj - i negativan rezultat je (pozitivan) rezutat ^_^ali su takva objavljivanja zapravo retka i nepopularna. ja sam recimo ochajna kad ne mogu da dobijem ono sto sam naumila i to me nishta ne inspirishe. za nijansu sam manje ochajna kad ne mogu da dobijem ono sto su drugi dobili i desi se i da se pozalim sveckoj zajednici na tu nepravdu ^_^a onaj iz gornje priche je ochajan kad dobije bilo shta suvislo, jer ne veruje da postoji ono sto je dobio/treba da dobije... Edited January 19, 2011 by thermal bug

[Indy]

ali su takva objavljivanja zapravo retka i nepopularna.

Mislim da to ima dosta veze sa nacinom finansiranja istrazivanja.Finansijeri istrazivanja, ljubi ih majka, u principu 'vako misle:

• ne dajemo pare za nesto sto je ranije radjeno (znaci, nista provera)
• ne dajemo pare za nesto zasta nismo sigurni da ce dati pozitivne (+) rezultate*
• znaci, dajemo pare samo za ono sto je vec uradjeno i imalo je (+) rezultate*
• go figure

*Korisne za privredu/industriju, odmah juce.

[pt 2.0]

Sad ste me naterali da se edukujem i vidim sta su tacno egzaktne nauke...

pola teme pokušavam, onako usput, da pogodim u kojoj oblasti se indi bavi istraživanjima i ne uspeva mi.@diabolic (nadam se da nisam omašila nik) - ko je poznat u baš toj oblasti to znam - moj mentor. bilo je lako zaključiti po količini nagrada i broju poseta televizijskih i novinarskih ekipa koje nas posećuju... šalim se...

[Indy]

pola teme pokušavam, onako usput, da pogodim u kojoj oblasti se indi bavi istraživanjima i ne uspeva mi.

Ne uspeva ni meni. :o EDIT. Obrisao stari odgovor, ionako je nepotpun. Edited January 20, 2011 by Indy

[Diabolic]

Meni je ta definicija egzaktnih nauka, sasvim ok.Hteo sam da kazem da je verovatno broj bezvrednih radova,u egzaktnim naukama, manji nego u drugim naukama.Vazno je i primetiti da citiranost zavisi od oblasti kojom se bavite!Neke oblasti kao medicina na primer imaju velliku citiranost a neke kao matematika malu.Znaci citiranost je samo jedan kriterijum, i to relativni,zato treba biti oprezan, narocito s obzirom na to kojom se oblascu covek bavi.Drugo, nismo definisali sta je bezvredno.Mnogo radova donose neke sitne ili nevazne pomake,sto se ne moze uporedivati sa radovima koji unose prave revolucije u naucnu oblast.E sad, ovi "mali" radovi nisu totalno bezvredni, nekome bas to treba, i onda se vracamo na citiranost, kao nepouzdan, ali kakav takav kriterijumpre bih rekao korisnosti nego vrednosti rada.

Edited January 20, 2011 by Diabolic

[betty]

mislim da reproducibilnost na srpskom zovemo replikabilnost, rolajz.

Neke oblasti kao medicina na primer imaju velliku citiranost a neke kao matematika malu.

istina. mene ljiljak the matematicar, docent, pri aplikaciji za grant pitao sta mu ga to dodje impact factor. ali kod njega u oblasti kad nesto dokazes, nema potrebe da se iko vise bavi time. kod mene je standard da uzmes neciju valjanu paradigmu, promenis neku malecnu stvar, i gledas kako izgledaju rezultati. prvo proveris da li je bazicni nalaz kao i kod prethodnika, onda tumacis dalje, i tako dodajes svoje zrnce korpusu postojecih saznanja. ako ne dobijes isti bazicni nalaz, onda stvari postaju zanimljive i pomalo nestrukturisane. nikad ne mozes da znas zasto nisi nesto dobio, pa je teze ubediti bilo koga da je tvoj nalaz tacan - ako i uspes da ubedis sebe.zanimljive su mi meta-analize onoga sto uspe da se objavi. ovo je jedan malo duzi ali pitak tekst na tu temu. u medicini posebno, postoji problem da se neki lek pokaze kao jako efikasan, a onda pocne da gubi na efikasnosti kako prolaze godine, i na kraju ispadne skroz neefikasan - ako cemo suditi prema objavljenim istrazivanjima. nije rec iskljucivo o ekonomskim razlozima (sadrzaj leka postaje opste dobro posle jednog broja godina, potrebno je patentirati novi da bi se odrzala visoka cena), jer jer se isti fenomen javlja i u drugim oblastima. negde u drugoj polovini teksta se prica o biasu koji imaju casopisi. hoce da objave nesto sto zanimljivije, i dok je u pocetku zanimljivo pokazati da novi lek radi, takodje je zanimljivo pokazati da neko uverenje koje smo dugo imali u stvari nije tacno, pa ce objavljivanje ici selektivno prvo u prilog a posle kontra nekog novog fenomena.

[Diabolic]

mislim da reproducibilnost na srpskom zovemo replikabilnost, rolajz.istina. mene ljiljak the matematicar, docent, pri aplikaciji za grant pitao sta mu ga to dodje impact factor. ali kod njega u oblasti kad nesto dokazes, nema potrebe da se iko vise bavi time. kod mene je standard da uzmes neciju valjanu paradigmu, promenis neku malecnu stvar, i gledas kako izgledaju rezultati. prvo proveris da li je bazicni nalaz kao i kod prethodnika, onda tumacis dalje, i tako dodajes svoje zrnce korpusu postojecih saznanja. ako ne dobijes isti bazicni nalaz, onda stvari postaju zanimljive i pomalo nestrukturisane. nikad ne mozes da znas zasto nisi nesto dobio, pa je teze ubediti bilo koga da je tvoj nalaz tacan - ako i uspes da ubedis sebe.zanimljive su mi meta-analize onoga sto uspe da se objavi. ovo je jedan malo duzi ali pitak tekst na tu temu. u medicini posebno, postoji problem da se neki lek pokaze kao jako efikasan, a onda pocne da gubi na efikasnosti kako prolaze godine, i na kraju ispadne skroz neefikasan - ako cemo suditi prema objavljenim istrazivanjima. nije rec iskljucivo o ekonomskim razlozima (sadrzaj leka postaje opste dobro posle jednog broja godina, potrebno je patentirati novi da bi se odrzala visoka cena), jer jer se isti fenomen javlja i u drugim oblastima. negde u drugoj polovini teksta se prica o biasu koji imaju casopisi. hoce da objave nesto sto zanimljivije, i dok je u pocetku zanimljivo pokazati da novi lek radi, takodje je zanimljivo pokazati da neko uverenje koje smo dugo imali u stvari nije tacno, pa ce objavljivanje ici selektivno prvo u prilog a posle kontra nekog novog fenomena.

Ne razumem se u medicinu, gledam impakt faktor,ali apropo ovoga sto pises, imam cudan osecaj da i u nauci postoji moda.Mislim smesno je i meni, ali jednostavno neke stvari jedno vreme idu pa onda stanu.Stvarno nemam pokazatelje, ne hvatajte me za receto ima tu nesto cudno. Edited January 20, 2011 by Diabolic

[BraveMargot]

hmm, jedan moj kolega objavio jedan kontroverzan rad, rezultati su zanimljivi ali zakljucci su mu izuzetno preterani i provokativni. u pocetku niko nije hteo da ga citira, zato sto su zeleli da ga na taj nacin omalovaze. taj sukob je dakle u ranom periodu uglavnom dovodio do prozivki i surovih pitanja na konferencijama. ali posto je sve veci broj ljudi van oblasti poceo da se poziva na njegove rezultate, dobijajuci ih preko pubmeda ili WoSa, nesvestan da su oni dosta kontroverzni jer nisu bili citatima povezani sa ostalim znatno obimnijim telom rezultata, i posto je on sam izgradio citav sistem i cak napisao vrlo dubiozan model kojim uopstava sve te nalaze, poceli su ga citirati svi ostali da bi se po njemu posrali. na kraju se, kako to vec biva, ispostavilo da su svi delimicno u pravu jer se rezultati u stvari dopunjavaju (mada kolegina teorija i dalje ostaje govno).sad se samo ceka holivud da otkupi prava za ekranizaciju.

[Indy]

Bezveznost naucnih radova izgleda da se penje na sasvim novi nivo.

[betty]

Bezveznost naucnih radova izgleda da se penje na sasvim novi nivo.

uzbudljivo ^_^ pratim ovu pricu pomalo preko wagenmakersa (svi autori su mi drugari ili profesori sa mastera), a cak je i kod mene na poslu inspirisala raspravu o klasicnoj statistici, mada skoro da i nemamo tvrdih bejzijanaca. ali u pozadini je svakako postoji i file drawer problem - niz neobjavljenih studija koje nisu nasle nista. u svakom slucaju je bem uzbudio naucnu javnost.

[Indy]

Da se ne lazemo, ja bih voleo da postoji ESP, ako nista drugo mogao bih da to lepo iskoristim na hipodromu. Samo je zabrinjavajuce ovo masovno (?) muljanje po statistici, sto iz neznanja, sto namerno.

[betty]

Da se ne lazemo, ja bih voleo da postoji ESP, ako nista drugo mogao bih da to lepo iskoristim na hipodromu. Samo je zabrinjavajuce ovo masovno (?) muljanje po statistici, sto iz neznanja, sto namerno.

ja sam na masteru (minor mi je bio statistika/metodologija) stekla utisak da je statistika izrazito mlada grana matematike, jos uvek puna dinamicnih promena. takodje sam stekla utisak da su joj drustvene nauke sklonije, jer im je potrebnija makar nekakva kvantifikacija, ali da su drustveni naucnici naravno manje skloni da poznaju magiju u crnoj kutiji zvanoj SPSS. takodje su, verujem, manje skloni da prate sta se objavljuje u statistickim casopisima. ali nisam stekla utisak da dobri naucnici (sto bem jeste) imaju obicaj da pokusavaju da sami iskrive podatke kako im odgovara. review process je suvise zajebana stvar da se kockas sa kilavim/neprihvacenim analizama i rezultatima koji mogu da ispadnu sasvim drugaciji ako ti neko zatrazi da pokazes sta se dogadja kad izmenis neki mali parametar. bar u nasoj psihologijici, kad su anonimni, sve lesinar do lesinara ^_^ naravno, ima i nepostenih, ali pre je problem sto ti pravila igre dopustaju da donekle budes neposten.takodje, problem klasicne statistike je sto zakljucci pocivaju na verovatnoci, a od tebe se redovno zahteva da za svrhe objavljivanja doneses ili-jeste-ili-nije odluku, koju ces potom cak morati da interpretiras u sklopu neke teorije cak i ako ne zelis. bas sam juce procitala clanak sa fenomalnim nalazom, slucajno uocenim. pola clanka autori tumaraju pokusavajuci da daju neko objasnjenje, i sve to ispada traljavo i bezveze, a zapravo je tek nekoliko godina kasnije neko deseti dosao sa idejom o novoj teoriji u koju se podaci savrseno uklapaju. da je do njih, mozda bi samo objavili nalaze i pustili da podaci govore za sebe.

[Indy]

To je sve tacno za mladost statistike, sa 1 malim amandmanom, a to je da i nisu ideje toliko nove, koliko realizacija. Npr. Bayes nije bas novajlija (koliko vidim na Wikipediji, ne da bih ja znao), medjutim za 10.000 slucajnih uzorkovanja za svaku pojedinacnu analizu do pre koju deceniju mislim da su mozda samo najbolji univerziteti na svetu, i otprilike NASA, imali dovoljni kapacitet (a danas to mozes na mobilnom smartphoneu). Bez neke zelje da zvucim kao 1 od onih 4 Pajtonovih Yorkshiremen, ali kad sam ja pocinjao sa statistikom, radilo se peske (doduse, uz pomoc dzepnog kalkulatora, mada se kao klinac secam vremena i od pre toga). Shodno tome i metode su bile dosta ogranicene. Recimo ovo sto se sad zovu sofisticirane metode, tipa principal component analize i sl, nije se radilo jer bi broj preracunavanja za svaku analizu bio verovatno sulud (rotacije faktora i tome sl.)Istini za volju, nije bilo ni toliko podataka. Projekt se lepo mogao zavrsiti sa tabelama koje sve mogu da stanu u jednu npr. "skolsku svesku" (ako i toliko). Otuda su i ove metode redukcije podataka postale naglo popularne bas 1980-tih.Kako ja to sve vidim danas, pravih statisticara je malo po univerzitetima ili institutima, tamo gde sam radio je moralo dosta da se ceka za vrlo malo njihovog vremena. Ti si pomenula za drustvene nauke, pa u ovim primenjenim prirodno-tehnickim sa kojima sam ja imao posla, poznavanje statistike medju naucnim osobljem bas i nije neko. Obicno ima 1-2 na odeljenju koji se isticu (neko ko dolazi iz skola sa jakim matematikama, a to smo neretko mi kontinentalni Evropljani), a ostali se snalaze kako znaju (crna kutija sistem). I onda, postoji slican problem i urednistvu casopisa, obicno su u npr. bioloskim naukama oni koji tamo figuriraju, jel'da jaki biolozi, a ne matematicari/statisticari. I recenzenti radova su takodje obicno nestatisticari. Neki bolji casopisi s kojima sam imao posla su imali "statisticke savetnike" (medjutim, znajuci neke od njih licno, bas i nisu bili neki savetnici... opet je problem isti, naime statisticara je malo + oni naravno ne znaju npr. biologiju, a ponekad je to vrlo bitno, bar koliko i statistika*)A za ovu Fisherijansku verovatnocu, pa nije ona toliko losa, koliko mislim da se napustila konzervativnost u primeni i tumacenju iste. Meni je nekad k'o studentu utuvljivano u glavu da "A appears to affect B", "there appears to be association" i tome sl. To je sasvim u duhu cinjenice da je tamo neka svaka 20-ta znacajna korelacija verovatno fluke. Dok se ostane u tim okvirima, mislim da nema nekih problema (mada, istina, takvi zakljuci jako lose prodju ako ih preuzmu novinari, ono "appears" ima sklonost da "disappear".) ----* Da prepricam, smislili smo bili eksperimentalni plan, sve u detalje (nas nekoliko "primenjenih" kolega) i sve je trebalo da ide kako je zamisljeno, ali je nekako taj plan dospeo na ocenu pravom statisticaru/biometricaru (u pitanju je organizacija pri drzavnom ministarstvu, tako da se nismo mnogo pitali za misljenje). Uglavnom, on je procenio da split-plot sistem treba drugacije da se dizajnira, ukratko ispali su eksperimentalni "plots" mnogo manji (a vise njih) od onoga sto smo mi zamislili. Tako je to statisticar mislio da je bolje, i tako je to silom i proterano da bude, medjutim, nas plan je sadrzao 1 stvar koja je bila kljucna - detalj je bio da su veci eksperimentalni plots bili nuzni zbog 'revira' insekata cije smo populacije trebali da monitorujemo. Ti mali plots koje je smislio statisticar su bili suvise mali da se na njima zapate bube koje smo pratili, nije bilo sanse da tu bude 1 jak biodiverzitet... Tako zbog smetnji u vezama, i tome sl, dobismo okljastreni ogled od samog starta.

[BraveMargot]

pre jedno 2 nedelje sam pricala s nekoliko kolega o ovom radu, kolega koji je socijalni psiholog rekao je ba bem nikad nije bio posebno stabilan ali da je sada totalno poludeo no uprkos tome ovako nesto od njega ipak nisu ocekivali.