Procenat bezveznih naucnih radova u svetskim casopisima

[noskich]

Ko to kaze da nema korisnih radova?!! Odmah prilazem linkove 2 istrazivanja koja su na mene ostavila najjaci utisak o korisnosti naucnih istrazivanja.http://tesla.rcub.bg.ac.yu/~japan/clanci/z...ecamo%20kad.htmhttp://tesla.rcub.bg.ac.yu/~japan/clanci/z...ima%20ludje.htmI onda jos kazu da japanski uniji nisu kreativni i da samo usavrsavaju postojece znanje. Pih, pa Uni of Tokyo bi trebalo da ima visi ranking od Oxbridge i Ivy league bratije!

Edited May 28, 2008 by noskich

[paculla]

...

a ono.... delimicno si u pravu, ali ja mislim delimicno. ne bavim se elektronikom, ali i u mojoj oblasti je slicno ovako. ne vidim sta je u tome lose. u primenjenim naukama je tesko (-> nemoguce) iscrpeti sve slucajeve i objaviti istinu o nekom sistemu. zato se i uvode pojednostavljenja i aproksimacije. pretpostavljam da je u elektronici to posebno izrazeno, posto se elektronicar ne bavi fizikom/teorijom elektro-magnetnih sistema, nego dizajnom i ispitivanjem. u ovakvim strukama je dobro krenuti od generalizovanog slucaja i uvoditi specijalizacije, posto to daje bolji uvod na to kako su autori dosli do specificnog dizajna. takodje, i za "publiku" rada je bolje da prvo dobije generalan koncept, nekako lakse dodje do nove ideje.i kod algoritama je slicno, predstavi se algoritam, a za eksperimentalni deo se algoritam pojednostavi za specificnu aplikaciju. u svakom slucaju, generalizacija->specijalizacija se cesto trazi, i u casopisima u kojima sam ja reviewer se specijalno zahteva od autora, cak i kad imaju jako dobre rezultate, da makar u uvodu ili diskusiji daju globalniju sliku, sto je obicno za inzenjere najveci problem.to sto ljudi objavljuju jedno te isto na vise konferencija dolazi od toga da postoje konferencije na kojima prolazi sve. u relativno pristojnim casopisima se to retko vidi. ponekad editor casopisa pozove autore interesantnog rada sa konferencije (obicno IEEE posto onda nema copyright problema) da malo prosire i nalickaju rad i posalju ga za casopis. to je onda ok.

Pitanje: A zasto se mi mucimo hvatajuci eksperimentalne rezultate, evo ovaj ovde je objavio rad a samo simulacije ima?Odgovor: Jer mi nismo deo klana. Cuti i radi.

e sad... jeste, ima klanova, ali dobar rad prolazi, u klanu ili ne. mozda se neki manje dobar "klan" rad provuce, ali to nije nas problem. sa vise razultata se prolazi bolje. jednostavno. na kraju krajeva, puno ozbiljnih casopisa ima blind review...

[Nicol]

sa druge strane, medicinski casopisi su vrlo prakticni i cene informaciju koju rad nosi, bez previse palamudjenja da li su autori smislili nesto novo. u najboljim medicinskim casopisima se ponekad moze videti rad koji je vise kao neko uputstvo ili savet nego ozbiljna naucna studija. za to mozemo reci da je naucno gledano trash, ali sigurno moze biti vredno mnogim ljudima. skroz im zavidim, posto se u tehnickim casopisima retko moze procitati nesto sto bi recezenti nazvali trivijelnim, a u sustini je vrlo bitno i korisno (i nije trivijelno). u zelji da se podigne 'kvalitet' radova i da casopisi poboljsaju svoj if, delimicno se izgubio po meni osnovni cilj objavljivanja, a to razmena informacija. sajtovi koji daju sve informacije, ukljucujuci i one koje su uncool za casopise su citaniji nego najcitiraniji radovi. slazem se sa indyjem, da neko ima blog i objavljuje rezultate, to bi bilo mnogo bolje, posto bi tu mogli da okace i 'lose' rezultate, zbog kojih bi ih recezenti pojeli.

mislim da je prvi pasus vrlo točan za kliničku medicinu. izuzetna poboljšanja u zdravstvenoj skrbi su dobivena dobro istraženim i vrlo jednostavnim, gotovo banalnim postupcima i vještinama (pada mi na pamet recimo rad o važnosti zahtjevanja od svakog dijabetičara da skinu cipele u ambulanti, čijim je uvođenjem u algoritam pregleda stopa amputacija ekstremiteta pala za neki nevjerojatan postotak, čak se vidila i značajna razlika na 5-godišnjem preživljenju). a takvih radova zbilja ima more u svim kliničkim područjima i nikako nisu beskorisni.to svakako jedan od razloga zavisti istraživača iz bazične medicine i grintanja kako je u klinici prelako objavljivat. :D Edited May 28, 2008 by Nicol

[BraveMargot]

Mislim da su rezultati ankete ovako neinformativni zbog toga sto je svako shvatio pitanje na drugi nacin - svako ima neke svoje kriterijume sta je korisno a sta nekorisno, a pritom se korisnost moze meriti objektivno (produbljuje znanje, unapredjuje zivot i sl) ili subjektivno (dobro je za autore i zanimljivo makar jos nekom). Ja sam glasala za 70-80% zato sto sam u tom trenutku usvojila jako strog kriterijum - rad bi trebalo da je u stanju da dovede do javne rasprave ili opipljivih promena da bi sam po sebi bio koristan. Medjutim, sama nauka nema tako stroge kriterijume, njoj su korisna i neobjavljena istrazivanja o kojima se raspreda na konferencijama jer se na taj nacin otkriva sta radi a sta ne radi i ide se mic po mic ka sve boljim eksperimentalnim resenjima i teorijskim modelima. E sad, pitanje je koliko su pojedinacni radovi u danasnjoj nauci korisni, jer zaista postoji velika produkcija i mislim da samo u nekim oblastima jos uvek svaki naucnik ima uvid u sve sto se u tom trenutku radi (recimo fizika ili matematika). Ja se bavim neuronaukama - proucavam neuralne korelate vizuelne paznje i prepoznavanja objekata. To je ogromna oblast tako da mi je jako tesko da ispratim sta se sve radi, broj casposisa je naprosto ogroman. Zato mi je i tesko da sudim o tome sta je od svega toga vise ili manje korisno. Ipak, mislim da rad stariji od nekoliko godina koji nije nijednom citiran (ili su ga 2-3 puta citirali sami autori cisto reda radi u nekim svojim kasnijim uradcima) u tom trenutku nema produktivnu vrednost iako je znacajan kao krajnji ishod nekog pristupa ili nacina razmisljanja, makar u tom smislu sto svojim postojanjem ukazuje istrazivacima na ideje ili paradigme koje su u to doba bile u modi. Medjutim, moze se desiti da u buducnosti neki autor otkrije inventivan nacin da to naizgled slepo crevo upotrebi, tada bi taj rad odjednom isplivao na povrsinu i postao koristan (tj citan). Slicne stvari su se vec desavale u vizuelnoj percepciji (npr dipper curve, kulikowski ih je opisao u jednom opskurnom radu mnogo godina pre nego sto su postale jedna od centralnih tema vizuelne psihofizike).

[hazard]

A gde se ti radovi objavljuju? Mislim da je to ipak do časopisa i njihovih review-era (kakva god da je srpska reč za to, recenzent?)

IEEE konferencije i casopisi.

a ono.... delimicno si u pravu, ali ja mislim delimicno. ne bavim se elektronikom, ali i u mojoj oblasti je slicno ovako. ne vidim sta je u tome lose. u primenjenim naukama je tesko (-> nemoguce) iscrpeti sve slucajeve i objaviti istinu o nekom sistemu. zato se i uvode pojednostavljenja i aproksimacije. pretpostavljam da je u elektronici to posebno izrazeno, posto se elektronicar ne bavi fizikom/teorijom elektro-magnetnih sistema, nego dizajnom i ispitivanjem. u ovakvim strukama je dobro krenuti od generalizovanog slucaja i uvoditi specijalizacije, posto to daje bolji uvod na to kako su autori dosli do specificnog dizajna. takodje, i za "publiku" rada je bolje da prvo dobije generalan koncept, nekako lakse dodje do nove ideje.

OK nisi me shvatila. Mi smo svi kao inzenjeri, i treba da napravimo nesto sto radi. Ja govorim o tome da se cesto objavljuju stvari za koje se tvrdi da rade, a ne spominje se posteno da npr. nisu reseni ovi ili oni problemi. U principu se svodi na to da ako pokusas da napravis to sto je objavljeno (a to je jedan od glavnih atributa naucnih radova jelte, ponovljivost) shvatis da je rad puna rupa i da to uopste ne radi tako. Ja na to ne gledam kao na aproksimacije i pojednostavljenja, nego kao na lazi.

to sto ljudi objavljuju jedno te isto na vise konferencija dolazi od toga da postoje konferencije na kojima prolazi sve. u relativno pristojnim casopisima se to retko vidi. ponekad editor casopisa pozove autore interesantnog rada sa konferencije (obicno IEEE posto onda nema copyright problema) da malo prosire i nalickaju rad i posalju ga za casopis. to je onda ok.

Postoje konferencije na kojima prolazi sve, ali ja sam u mom primeru mislio na 2 najprestiznije u toj oblasti + casopis.

e sad... jeste, ima klanova, ali dobar rad prolazi, u klanu ili ne. mozda se neki manje dobar "klan" rad provuce, ali to nije nas problem. sa vise razultata se prolazi bolje. jednostavno.

Jeste, ali sta kada prodje neko ko je deo "klana" a onda zbog toga odbiju nekog ko je zaista zasluzio? Recimo ti posaljes 2 rada, oba zasluzuju da budu objavljenja, ali onda tebi prime samo 1 a umesto drugog ubace nekog "preko veze". Druga stvar je sa prezentacijama na konferencijama, gde bi po pravilu najbolji radovi trebalo da idu na prezentaciju, a ovi ostali u poster session...medjutim, nije uvek bas tako...

na kraju krajeva, puno ozbiljnih casopisa ima blind review...

Za IEEE Transactions koliko znam nije tako. Bar mi vidimo ime autora kada nam dodje rad na review.

[Amelija]

Ako se gleda korisnost za sveopštu civilizaciju i čovečanstvo onda je procenat bezveznih radova definitivno 90-100%Ako se gledaju druge stvari onda je već druga priča.A što se tiče ovoga:

ako pokusas da napravis to sto je objavljeno (a to je jedan od glavnih atributa naucnih radova jelte, ponovljivost) shvatis da je rad puna rupa i da to uopste ne radi tako

ne staj mi na muku <_<Doduše, kod mene je malo drugi problem, glavna je fora što sve to njihovo zaista lepo radi, tj nije da ima rupa i tako to, ali - radi pod njihovim uslovima, a može vrlo lako da se desi da pod mojim uopšte ne radi, ili eventualno da kod mene radi mnogo manje efikasno nego kod njih.I to ume da bude veliki smor.

[paculla]

shvatam da ne prolaze uvek najbolji, da ima klanova koji jedni drugima pustaju radove, ali mislim da je to zanemarljiv broj. na kraju krajeva, i revieweri su ljudi koji i te kako mogu da pogrese, a teoreticari zavere to mogu svrstati pod "preko veze". takodje, ako reviewer vidi "poznato" ime na radu, lakse mu ode ruka na accept.

OK nisi me shvatila. Mi smo svi kao inzenjeri, i treba da napravimo nesto sto radi. Ja govorim o tome da se cesto objavljuju stvari za koje se tvrdi da rade, a ne spominje se posteno da npr. nisu reseni ovi ili oni problemi. U principu se svodi na to da ako pokusas da napravis to sto je objavljeno (a to je jedan od glavnih atributa naucnih radova jelte, ponovljivost) shvatis da je rad puna rupa i da to uopste ne radi tako. Ja na to ne gledam kao na aproksimacije i pojednostavljenja, nego kao na lazi.

daj neki primer, posto i dalje ne razumem. kako znas da je neko sakrio problem, a ne prevideo? meni se cesto desavalo da me reviewer pita nesto sto meni nikad nije palo na pamet. razliciti ljudi, razliciti nacini razmisljanja, zato valjda i objavljujemo, zato su (ponekad) cak i revieweri korisni. nekad se detalji namerno izostavljaju, ako nije zasticeno patentom ili se cuva kao trade secret. sa druge strane, detaljan i tacan opis sistema* i nije rad, nego se to pise u patentima. radovi treba da predstave ideju, a ne da opisu kako se nesto pravi. zamisli neko napravi algoritam za pretazivanje grafova. opise ideju, koncept, cak ni ne mora da objasni implementaciju. pokaze na jednom primeru kako algoritam radi, cak ni ne napise koje su parametre koristili za ekperimente. tu je na reviewerima da ocene da li je ideja dovoljno vredna za objavljivanje, uprkos tome sto su detalji/rezultati mrsavi ili tacno taj isti eksperiment niko ne moze da ponovi, jer se ne znaju ni ulazni podaci, ni parametri.....sve u svemu, u tehnickim naukama, akcenat nije na eksperimentima i mogucnosti ponovaljanja necijih rezultata, nego na ideji. ako neko hoce da doda i detalje implementacije, ne bi trebalo da bude sprecen (sto se cesto desava), ali to takodje ne bi trebalo da bude uslov. * da svako moze da napravi spravu, izvede proces i sl. p.s. za mnoge ieee trans, review je blind

[paculla]

Doduše, kod mene je malo drugi problem, glavna je fora što sve to njihovo zaista lepo radi, tj nije da ima rupa i tako to, ali - radi pod njihovim uslovima, a može vrlo lako da se desi da pod mojim uopšte ne radi, ili eventualno da kod mene radi mnogo manje efikasno nego kod njih.I to ume da bude veliki smor.

recimo... ne moramo uvek da vidimo veliku zaveru iza svakog problema.

[Indy]

Ako se gleda korisnost za sveopštu civilizaciju i čovečanstvo onda je procenat bezveznih radova definitivno 90-100%

Gde se onda objavljuju istraživanja koja vode ka korisnim stvarima koje očigledno postoje i to u kvantitetu i kvalitetu koji se ne može ni upoređivati ni sa jednim drugim periodom postojanja naše vrste? U Glasu Crkve?

[Amelija]

Gde se onda objavljuju istraživanja koja vode ka korisnim stvarima koje očigledno postoje i to u kvantitetu i kvalitetu koji se ne može ni upoređivati ni sa jednim drugim periodom postojanja naše vrste? U Glasu Crkve?

Di li mene nađe sa crkvom Pa, u onih preostalih 0-10%.Inače ja sam te procente shvatila kao godišnje, npr neke godine sve budu samo igrarije (otud nula), neke godine se pojavi manje zaista bitnih stvari (npr 2%), neke godine više (npr 9%), itd.

[Indy]

Pa, u onih preostalih 0-10%.

Aha, posebno u onih 0. Obzirom da se (skoro) svi koji smo na topiku prisutni bavimo ovime iz naslova teme, da li smo i mi u tih 0% (ili, hajde, 10%) koji nisu bezvezni, ili smo, ovaj...Ne znam zasto smo svi prakticno pristali da upadnemo u igrokaz za neciji poveliki ego.

[paculla]

evo jedan interesantan clanak o fotosopovanju radova, pretezno iz biomedicinske oblasti.

[Indy]

Znaci, 2.3% predatih (ne i objavljenih!) radova u Journal of Clinical Investigation ima manipulisane fotografije, pri cemu se (prema tekstu) u vecini slucajeva radi o ulepsavanju iz estetskih, ne prevarantskih razloga. The system works, mogli bismo reci. Cela prica vise govori o ogromnom pritisku da se rad objavi (i dobiju novi grantovi). Meni je najzanimljiviji zadnji deo teksta, sa slucajem Woo Suk Hwang-a. Lepo se uklapa u "moju" (ne mislim da je bas "moja") ideju o blogovanju rezultata istrazivanja, umesto ovog prilicno zastarelog peer review sistema koji imamo danas.

[Nicol]

indy, sad kad razmišljam o tvom prijedlogu pada mi na pamet ono kako su nas učili da bi znanstvena čestitost uključivala i obavezu objavljivanja svih loših rezultata. toga se, čini mi se, u ovim uvjetima zbilja teško pridržavati...

[paculla]

indy, sad kad razmišljam o tvom prijedlogu pada mi na pamet ono kako su nas učili da bi znanstvena čestitost uključivala i obavezu objavljivanja svih loših rezultata. toga se, čini mi se, u ovim uvjetima zbilja teško pridržavati...

ovo je jako tesko izvesti za casopise, narocito u nekim jako ekperimentalnim strukama. na primer, biolozi lose (u stvari, nisu losi, nego negativni) rezultate imaju stalno, editori i revieweri bi morali da procenjuju da li je taj negativan rezultat znacajan, sto ce proizvesti jos vece kukanje i teorije zavere. stavljanje rezultata na net je nacin da izbegnu ovi problemi.jednom sa pisala rad za workshop koji se objavio u internet casopisu. napises rad, posaljes, mozes da dodas slike, kod, sta god zelis. ostali registrovani korisnici mogu da ti napisu review, koji svako vidi. radovi mogu da se menjaju, ali sve verzije ostaju online, zbog perzistentnosti informacije ako neko referencira jednu verziju. meni se koncept jako svideo, ali posle workshopa nisam poslala nikad nista, jer je formalna korist i dalje mala, a potrebna mi je iz mnogo razloga. arXiv je slican koncept, ali manje interaktivan. u poslednje vreme je cesto da se salju vec publikovani radovi, sto bas i nije u skladu sa onim sto bi arXiv mogao biti.