Procenat bezveznih naucnih radova u svetskim casopisima

[betty]

onda se slazemo da je vecina beskorisna :D a i ISI tu i tamo obuhvata i casopise ciji se impact factor ne razlikuje znacajno od nule (mada za drustvene, ne znam za ove prave).mene najvise fasciniraju radovi gde se nesto istrazuje a onda se zakljuci nesto sto gotovo da nema dodirnih tacaka s onim sto je ispitivano. bese prosle godine neki sa dalekoseznim zakljuccima o poreklu ljudske spiritualnosti a ono dali su ljudima da citaju bibliju i snimali im mozak. inace, nasi psiholozi su izmislili kategoriju za sebe: casopis od medjunarodnog znacaja. ne brkati sa medjunarodnim casopisom.edit: pardon, nije ISI nego SSCI. drustveni ISI.

Edited March 27, 2008 by betty

[Indy]

bese prosle godine neki sa dalekoseznim zakljuccima o poreklu ljudske spiritualnosti a ono dali su ljudima da citaju bibliju i snimali im mozak.

Sam Harris? Bas lep rad. :DSto se vise bavim ovom temom, manje se slazem sa >90% tezom, barem kad su biologija i medicina u pitanju. Na kraju, postoje i neki opipljivi rezultati koji proizilaze iz tih radova, ne svih, naravno... (u slucaju moje struke ih jedemo i pijemo, vise milijardi nas nego ikad ranije... pretty hard to deny that).

[kurdi]

onda se slazemo da je vecina beskorisna :D a i ISI tu i tamo obuhvata i casopise ciji se impact factor ne razlikuje znacajno od nule (mada za drustvene, ne znam za ove prave).

da, to bi trebalo da bude kao najsveoubuhvatnija baza (i za "prave"), sve sto iole ima smisla, pa ti dalje radi sta oces s tim.

[Oxford]

2kurdiNaravno da je pitanje "ako gledamo samo dobre". Ne, nego cemo da raspravljamo o procentu korisnih radova u Mesecnim sveskama drustva biohemicara Juzne Dakote!? Takvih opskurnih casopisa ima na milione, i svi oni objavljuju recenzirane priloge koji nisu ni radovi, ni naucni. Postavljati pitanje da li je u toj kakofoniji s/n veci od par procenata potpuno je bespredmetno. Koji su dobri, pa to je prilicno diskutabilno. Na mom departmanu se medju ozbiljne racunaju 4 casopisa plus Nature and Science i nije bitno da li ce sutra nekom od tih casopisa malo pasti ili malo porasti IF. Zarad diskusije hajde da uzmemo da su dobri casopisi oni koji spadaju u desetak najboljih u odredjenoj oblasti (taj kriterijum ce negde znaciti IF > 10, negde IF > 1). Ozbiljni casopisi su oni u kojima se rade ozbiljne recenzije od strane najmanje dva refereeja. Ovi svi primeri pogresnih radova koje ti pominjes idu pre svega na dusu casopisa. Mozemo da raspravljamo i o tome kako se desi da se tako nesto pojavi. Da li su to klanovi, odredjeni krediti koje izvikana imena imaju, lokalni interesi, ono sto se fudbalskim recnikom zove 3 za 3 (mi pustimo vas da nas dobijete kod kuce, vratimo vam sledecom prilikom)? Sta god da je od toga se ne moze pobeci. Ljudi koji se bave naukom jesu filtrirani kroz mnogo filtera, ali filter postenja nije nuzno i uvek medju njima. Dakle, uzmimo samo dobre casopise. Jako mi prepotentno zvuci tvrdnja da je medju tim radovima 90% prepisano ili pogresno ili obsolete. Taj prepotentan stav dolazi i od ubedjenja da se nauka jos uvek moze stvarati u dzinovskim koracima. Naravno da ne moze. Penicilin je otkriven kako je otkriven. Sada iza svakog otkrica stoji ogroman rad stotina istrazivaca. Jedan pomeri malo na jednu stranu, drugi na drugu i nekako napredujemo. Radovi tu ne sluze da bi se saopstila genijalna otkrica vec da bi postojao uvid u ovaj neprekidni tok napretka. Imas li predstavu koliko radova je vodilo do mapiranja genoma? Bukvalno hiljade. Nisu svi bili korisni, ali sigurno dobro vise od polovine jeste. Mozda je u fizici zaista tako kako kazes, ali onda mogu da kazem samo "Jadna fizika". Podsetio si me na kolegu fizicara koji mi je ne tako davno pricao da je moderna teorijska fizika zapala u krizu identiteta. Nasla se pred problemima koje vise ne moze da razume intuitivno, a prinudjena je da koristi matematicki aparat koji ne razume uopste (slobodno prepricano). Da li je to vas problem?

[Indy]

Nisu svi bili korisni, ali sigurno dobro vise od polovine jeste.

Tacno pola (© Risajkl)Salu na stranu, Oxforde, to bih nekako i ja rekao. Nisam se obrusio na kurdija kako znam prosto zato sto je svojih >90% primenio na svoju oblast, tj fiziku. Ja od fizike znam ono o akciji & reakciji, i to bi bilo to. Ne mogu da kazem da li je tako, ili ne. Za hemiju isto ne znam mnogo bolje (mada sam naucio da je iz npr. kristalografije moguce stancovati 'radove' u ogromnim kolicinama... svaki kristal, novi pejper). Za bioloske, a i medecinske, nauke, ubedjen sam da je % korisnosti bolji nego sto kaze kurdi (naravno, ako se zanemare Cuban Journal of Environmental Science, i tome slicno).Druga je stvar sto (dokazano) medju fizicarima (* ne nuzno ovima ovde!) postoji stav da je jedino fizika zaista nauka.---Dokaz sam procitao u draftu pejpera dosad neobjavljenog, koji je inace iznimno zanimljiv - radi se o razlicitim percepcijama toga sta je 'naucni metod' od strane naucnika u razlicitim disciplinama - ...ali, toliko o tome, posto za detaljniji prenos sadrzaja nemam dozvolu od autora.

[iDemo]

Druga je stvar sto (dokazano) medju fizicarima (* ne nuzno ovima ovde!) postoji stav da je jedino fizika zaista nauka.

[kurdi]

2kurdiNaravno da je pitanje "ako gledamo samo dobre".

ako gledamo samo dobre, onda je procenat losih 0%, pa ne moramo dalje da raspravljamo.al aj nije to bitno, pretpostavljam da samo nisi pazljivo procitao moju recenicu, pa mislio da se odnosi na casopise a ne na radove.mada bi mogli zoa da pitamo sta je mislio.drago mi je sto sam se (forumaski) iskusno ogranicio na fiziku, a u biologiji je mozda zaista mnogo bolja situacija.sto kaze indy ipak je nekako od direktnije prakticne koristi, pa ima neku vrednost i ako ona nije intelektualna. u fizici pak vecina toga nije ni korisno ni pametno.mada me, kurioziteta radi, ne bi previse iznenadilo da se i nivo (samo)kriticnosti i rigoroznosti u bio naukama navodi kao jedan od kamena temeljaca pominjanih teorija.ok, mozemo da se hipoteticki ogranicimo na 10 najboljih casopisa za neku oblast, mada imam ozbiljnih problema da se setim naziva 10 casopisa u kojima bih mogao procitati bilo sta iz svoje oblasti, a kamoli 10 dobrih. al ok, tim bolje. recimo da napabircimo 10.daklem sve sto sam rekao vazi i za tih najboljih 10 casopisa.ne radi se nuzno o dezorijentaciji cele oblasti, ili makar ja nisam na to mislio. ima i toga u nekim podoblastima, ali "problem" postoji i bez toga, mada ja o ovome ni ne pricam kao o nekom velikom problemu, niti nesto kukam, samo sam matter of factno odgovorio na zoovo pitanje. nemam ja nista posebno protiv objavljivanja bezveznih radova, cak mu indirektno nekada i sam doprinosim :Di svakako jeste problem mnogih pojedinaca sto nemaju nikakvu fizicku intuiciju i koriste matematicki aparat koji ne razumeju, ali to ne mora samo po sebi biti problem (nominalne) oblasti istrazivanja.niti se radi o mojim prevelikim ocekivanjima, kvantnim skokovima i sl., daleko od toga. to bi bila prica o 99, 99.9 ili 99.99%. ne ocekujem ja nista slicno (inace bih se i sam ubio :D), i to sam vec valjda objasnio, sta mi je sve prihvatljivo - s jedne strane library of congress itd (ili eto genom ako hoces) sto mi nije licno previse zanimljivo ali ok, treba, a s druge tek pogotovu bilo sta sto ima bilo kakav intelektualni sadrzaj, kuriozitet, zanimljivo opazanje, drugaciji pogled na stvari, bilo sta sto budi bilo kakvu zelju da procitam rad (makar posle i ne stigao).i generalno navodjenje konkretnih primera je neproduktivno, jer po konstrukciji biasuje statistiku na istrazivanja koja imaju nekog smisla, ili se barem daju (ciljno) definisati. a 90% otpada na ono "nista". sve za sta postoji bilo kakav razlog za objavljvanje je ok, ali za manje od 10% postoji bilo kakav razlog osim "objavljujemo zato sto mozemo/moramo".zasto je to tako je vec poznata prezvakana tama, publish or perish itd, ali nije to bilo ovde (polazno) pitanje.inace ne mislim da pogresnost ide prevashodno na dusu casopisa, recenzenti i urednici su tu da pokusaju kolko mogu da regulisu stvar, ali odgovornost je uvek primarno do autora.no, elem, ne mislim ja da je to neki poseban problem [fizike]. i [slazem se da u nauci i] dalje postoji neko zdravo (malo) jezgro koje lepo funkcionise. samo sto su (makar u fizici) brojevi mnogo manji nego sto vi tvrdite za biologiju. ali i dalje ne postoji problem da moras da kopas po djubristu; znas gde da gledas.ta neka optimisticna statistika gde je vise od pola radova dobro je kod mene (mislim na oblast, ne na celu fiziku, za neke oblasti postoje drugi, drugaciji, i mozda nesto mnogobrojniji casopisi, mada ovo poslednje sumnjam) definitvno primenljiva na samo jedan casopis, ne racunajuci nature i science koji u fizici objavljuju statisticki zanemarljiv broj radova (i to ne nuzno najboljih, ali to je druga prica). i ima jos mozda 2, 3 casopisa gde je neki makroskopski procenat dobrih radova, sad stvar je ukusa i stava da li se radi o 20 ili 50%. no, elem, sve to na stranu, mozemo se sloziti oko zakljucaka ako se slozimo oko definicije konteksta, nego ja i dalje ne mislim da je zo pitao "kolko ste zadovoljni onim sto uopste citate ili barem bacate pogled na", nego upravo da je hteo da ukaze to kakva je statistika u sveopstoj masovnoj produkciji.al moguce je da gresim.

[Oxford]

ako gledamo samo dobre, onda je procenat losih 0%, pa ne moramo dalje da raspravljamo.

Odgovoricu kasnije i na ostalo. Ja sam mislio na radove. Pitanje nije bilo koliko ima losih radova, vec koliko ima beskorisnih (bezveznih). Mozda se tu ne razumemo. Medju dobrim radovima ima beskorisnih, te zato ima smisla "da gledamo samo dobre". Losi radovi su beskorisni po defaultu. Postaje prava umetnost pronaci informaciju u svoj toj kakofoniji. Meni su najkorisniji godisnji pregledi koje u mojoj oblasti izdaje jedan belgijski institut. Neka vrsta vodica za prethodnu godinu sa izvucenim najvaznijim medjusobnim vezama.

[kurdi]

Odgovoricu kasnije i na ostalo. Ja sam mislio na radove. Pitanje nije bilo koliko ima losih radova, vec koliko ima beskorisnih (bezveznih). Mozda se tu ne razumemo. Medju dobrim radovima ima beskorisnih, te zato ima smisla "da gledamo samo dobre". Losi radovi su beskorisni po defaultu.

aha, pa i ja. ali zato razlicito koristimo rec "dobar" :D. a i beskoristan i bezvezan. i besmislen.uh... koliko semantickih nesporazuma.vidim da ni ja mozda nisam konzistentan u upotrebi reci (u svojoj glavi jesam, ali ne naglasavam mozda uvek na sta mislim), a tek ne mogu da pratim kako ih drugi kada koriste.pa da probam... o recima (uz ponavljanje radi naglasavanja)daklem ja ne gajim neke utilitarne vrednosti, ali ih priznajem kao validne.tako da ja od necega sto je meni (kolokvijalno) "dobro" (intelektualno) ne trazim nista vise, to mi je samo po sebi korist (za duhovni napredak covecanstva :D), i smisao. sve sto je intelektualno dobro (mi) je samim tim smisleno (objaviti).tako da zapravo dobri (u mom kolokvijalnom smislu) su meni podskup korisnih (ima i drugih nacina da se bude koristan, i samim tim smislen za objaviti), a tebi ocigledno obrnuto.pri cemu... i to je mozda posebno karakteristicno za fizicare, mada sigurno ipak vazi donekle i u drugim naukama, nemoguce je bas potpuno pobeci od toga [neke vrste eltizma i nadmenosti, naravno]... to "dobri" je vrlo subjektivno i definisano po principu i know it when i see it.(pri cemu ne suzavam skroz na ono sto je meni interesantno, ima i ta medjukategorija mene ne interesuje ali vidim da ima neke intelektualne vrednosti, i to je isto uracunato)taj subjektivni princip ("meni je ovo bezveze/strava") se naravno ne primenjuje (potpuno) pri recenziranju, ali se itekako primenjuje pri stvaranju misljenja o ljudima, pozivima na konferencije, zaposljavanju i sl.i zapravo je jedini smisleni pristup, i radi lepo, precutno ili ne, jer uostalom neke utilitarne formule bas i nema, obzirom da je recimo vremenski raskorak izmedju interesantne nauke i primenljivosti/industrije jako jako veliki, kapiram mnogo veci nego recimo u bio naukama. mi smo ti vise kao neki pesnici i (prirodni) filozofi :D e, a onda pored tih "dobrih" ima i drugih koji su korisni (c.f. library of congress, genom), onih koji su metodoloski sound i jebiga nesto mere, povecavaju ukupno katalogizirano znanje.pa prihvatam da su smisleni za objaviti iako su neinteresantni.(i ti bas i ne pomazu oko konferencija i zaposljavanja, makar na nekim institucijama)e daklem korisni/smisleni su mi unija ta dva skupa, veca od bilo kojeg pojedinacno.a sad glede polaznog pitanja... oko cijeg tumacenja se isto ne slazemo... ta unija i dalje pokriva manje od 10% ukupnog broja "naucnih radova u svetskim casopisima", pa cak i u casopisima sa kojima u principu povremeno imam nekog kontakta.(mali caveat je da na moj subjektivni utisak utice nekada kakve se gluposti submittuju, kako li se to kaze na srpskom, pa ja nekada moram da ih citam, a jeste statistika medju onima koji prodju recenziju malo bolja.)ostalo nije ni pametno ni u utilitarnom smislu korisno, te je sve zajedno beskorisno u najsirem mogucem smislu. sto ja i dalje mislim da je ono sto je zo pitao.a i tu mislim da se slazemo, mislim da je statistika takva ako je to pitanje.sto se tice informacije i kakofonije, mi zapravo nemamo taj problem. ili se barem ja licno nesto ne uzbudjujem. uglavnom zapravo citam prosto po autorima, osim kada nesto bas zapadne za oko ili mi neko skrene paznju. i ne stizem da citam sve sto bih hteo, ali nemam neki osecaj da nesto mnogo propustam u smislu da ni ne znam da postoji.ali mi smo tu u ogromnoj prednosti sto imamo http://arxiv.org/ gde se kace svi preprinti na istom mestu, i odatle se i cita, a ne iz objavljenih casopisa (posle pogledas konacnu verziju ako je nesto bitno, da vidis da li je nesto promenjeno, ali filtriranje se radi tu u startu).i to nije problem prosto svaki dan prescrollovati i ili ponekad nesto odstampati ili napraviti mental note da se nesto pojavilo, zavisno od bitnosti i trenutnog vremena. e sad ako se ne radi svaki dan, onda si najebao. tako da mogu da zamislimkako je kada se nakupi godinu dana.

[betty]

ti jos mozda mozes, ali... clanaka koji pokrivaju neuroscience stvari ima poslednjih godina oko 4000 godisnje, a pre toga nekoliko godina po 3000. ja uopste ne mogu da pojmim kako bi bilo ko mogao da ima uvid u opsti kvalitet.

[kurdi]

ti jos mozda mozes, ali... clanaka koji pokrivaju neuroscience stvari ima poslednjih godina oko 4000 godisnje, a pre toga nekoliko godina po 3000. ja uopste ne mogu da pojmim kako bi bilo ko mogao da ima uvid u opsti kvalitet.

da, kapiram. i sto je najzajebanije vise od pola toga je dobro, tako da ne mozes ni da preskaces.

[hazard]

*Bump*Ima li ovde nekoga ko je inzenjer, i bavi se akademskim radom (recimo u oblasti elektrotehnike)?Posle kratkog (nesto vise od 2 godine) iskustva akademskog rada u jednoj oblasti elektronike, mogu da kazem da je bar 40-50% radova koje imam priliku da vidim beskorisno...i to ne beskorisno zato sto je "bezveze" ili nema neku prakticnu vrednost, vec zato sto se radi o bezocnim lazima (ja bi to tako kvalifikovao...neko se se ne bi slozio samnom).Klasican obrazac, dakle, za rad iz eletronike jeste da (1) predstavite ideju, zatim (2) iznesete strukturu sistema, zatim idu mozda neke (3) simulacije, pa onda (4) objasnjenje nekih detalja implementacije pa zatim (5) eksperimentalni rezultati.E sad. Struktura iznesena pod (2) cesto je skroz razlicita od strukture koje ste vi zaista koristili da dobijete rezultate pod (5). Ono pod (2) je neka vasa ideja koja zvuci novo i super, ali ste onda shvatili da ima tu dosta nerazjasnjenih problema, ili da nemate sve resurse za bas takvu implementaciju, a rok za simpozijum je sledece nedelje, i onda dolazi do "precica", ma daj samo da uvatimo nesto, itd. Ako ste temeljan istrazivac nakon konferencijskog rada stvarno cete napraviti ono pod (2) i uhvatiti "prave" eskperimentalne rezultate i objaviti opsirniji rad u nekom casopisu...s druge strane mozda tek onda shvatite da ono sto se originalno predlozili ne moze nikako da funkcionise, i sve se zavrsava na tome.Da ne govorimo o "stelovanju" eksperimentalnih rezultata, tipa hm pa ovo bas ne radi kako treba, ali ajde smanji skalu na 200 mV, ukljuci bandwidth limit na osciloskopu, uf ne radi na promeni struje od 5 A ali zato na 10 A izgleda odlicno sad! Objavljuj. <_<E, da, iznosenje detalja implementacije (4) je tek dobar fazon. To se cesto svodi "e mi nismo uopste razmisljali o situaciji X i uslovima Y, ali neko ce nas pitati bas o tome, ajde da napisemo neki paragraf il' dva kako bi to moglo da se resi - je l' zvuci ok? ok, gotovo". To zna svako ko je pokusao da uradi detaljnu implementaciju tudjeg sistema (iz prethodno objavljenog rada) i onda shvatio da se sve raspada po savovima.Da ne pricamo o tome kako "neke" istrazivacke grupe objavljuju isti (bukvalno isti) polupeceni rad na 5 mesta (2 razlicita simpozijuma...pa casopis...pa opet ta 2 simpozijuma sledece godine) samo zato sto imaju odredjene veze i jednu vrlo veliku poznatu kompaniju koja im je sponzor. I da, onda situacije tipa:Pitanje: A zasto se mi mucimo hvatajuci eksperimentalne rezultate, evo ovaj ovde je objavio rad a samo simulacije ima?Odgovor: Jer mi nismo deo klana. Cuti i radi.<_<Naravno nisu svi radovi ovakvi, al' ima ih dosta. O ociglednim plagijatima necu ni da pricam.Eto...malo sam se izduv'o.

Edited May 28, 2008 by hazard

[Indy]

A gde se ti radovi objavljuju? Mislim da je to ipak do časopisa i njihovih review-era (kakva god da je srpska reč za to, recenzent?)

[Indy]

Inače, ne mogu da ne izrazim 1 podsmeh prema rezultatima ovog pooll-a ... da li se 90-100% društvo ikad zapita odakle ovoliki očigledni napredak koji mogu da vide oko sebe (za to ne treba biti rocket scientist), ako je u radovima manje-više sve beskorisno ili pogrešno? Interesantno je da pojedinci iz tog 90-100% lahko dođu na ideju kako je za tekovine moderne civilizacije neobično zadužena npr. hrišćanska religija... reklo bi se da tu ima ljudi koji su možda pogrešili profesiju, mislim da nam fali dobrih popova. Ili se, što je sasvim moguće, oni samo dobro za(ye)bavljaju...

Edited May 28, 2008 by Indy

[paculla]

Inače, ne mogu da ne izrazim 1 podsmeh prema rezultatima ovog pooll-a ... da li se 90-100% društvo ikad zapita odakle ovoliki očigledni napredak koji mogu da vide oko sebe (za to ne treba biti rocket scientist), ako je u radovima manje-više sve beskorisno ili pogrešno? Interesantno je da pojedinci iz tog 90-100% lahko dođu na ideju kako je za tekovine moderne civilizacije neobično zadužena npr. hrišćanska religija... reklo bi se da tu ima ljudi koji su možda pogrešili profesiju, mislim da nam fali dobrih popova. Ili se, što je sasvim moguće, oni samo dobro za(ye)bavljaju...

jedan od tih osam sam ja koja nisam lepo citala anketu, htela sam da kazem da je 90-100% korisno [uz argument da su cak i trivijelni radovi nekome korisni, da ne pricamo da je autorima svaki rad korisan]