naucni vocap - kad necete da smarate posten svet

[אַף אֶחָד]

9 hours ago, Indy said:

Zanima me zasto ovo mislis (ne dzon ioanidis, nego bas ti)?

 

Btw. ne kazem da nije tako, nego me zanima kako si dosao do tog zakljucka (posto mi ne ostavljas utisak tipa koji kupi poene popularnosti najpopularnijim sportom danasnjice, kontriranjem svemu, tj jeftinim cinizmom.) Kako moze neko da zna kakva je vecina "objavljene nauke" (danas, pa cak i juce)?

 

PS. Ne svadjam se, vec cakulam.

 

Ok, u pravu si. Polazim od moje i srodnih oblasti koje pazljivo pratim i, mozda nepravedno, preterujem kad kazem "ogroman procenat" i generalizujem kad to primenjujem na druge oblasti.

 

Cak i u mojoj oblasti ne znam koliki bi to bio procenat. Moj licni utisak je da je mozda jedan od 20 novoobjavljenih radova vredan citanja. Recimo, imas likove i grupe koje se bave nekakvim idealizovanim modelima necega sto je odavno modelirano i simulirano u veoma realisticnim scenarijima. Karikiram (ali ne mnogo), recimo da proucavaju klimu na Zemlji, ali pretpostavljajuci da nema Sunca ili da je zemlja savrseno okrugla i sa 100% cvrstom povrsinom. I u tom scenariju oni izvuku zakljucak o raspodeli vetrova po latitudama. Takve radove sam potpuno prestao da citam. U mojoj oblasti sigurno 5-10% odlazi na to. Direktno radim sa nekim ljudima koji se time bave i jedu mi dzigericu na dnevnoj bazi. Neke idealizacije su ok, ali neke stvari se ne mogu parcijalno idealizovati, a da pretekne ikakav smisao. Kako je isao onaj vic o sfernoj kravi?

 

Drugo su "posmatracki radovi" gde se uhvate za jedan parcijalni set podataka i onda to cede ko suvu drenovinu.

 

Trece su radovi gde je neko uzeo alat (eksperimentalni, posmatracki, teorijski) i krenuo da ga primenjuje kao black-box i da izvlaci zakljucke. Recimo, kad su teorijski modeli u pitanju, ima mnogo radova gde ljudi uzmu  modele i krenu nesto iz njih da izvlace, a da nemaju predstavu sta je input koji je koriscen u pravljenju modela. Na primer, imas neki kompleksan model klime na zemlji koji na pocetku pretpostavlja odredjen sastav atmosfere, a daje ti raspodelu temperatura, vetrova i kojecega, a ti iskoristis taj model da bi odredio - sastav atmosfere (pa jos on bude drugaciji od onog od kojeg si krenuo).

 

Ali pored tih metodoloski problematicnih radova, postoji i gomila gde se ljudi bave stvarno necim novim, ali toliko kompleksnim da su koraci koje prave veoma mali i zapravo nebitni,  objavljuju radove koji te male korake predstavljaju kao nesto epohalno. Obicno u takvim radovima, kad ih citas, najveci napor je da razumes sta je tu zapravo novo, a sta je mazanje ociju.

 

I poseban krug pakla za autore radova koji su stvarno dobri, novi i sadrze neku informaciju, ali bez sanse da budu reprodukovani rezultati. 

 

A ima i onih koji otkrivaju toplu vodu iznova i iznova. Posebno kad dodje do numerickih metoda. Mnogi istrazivaci nisu nikad imali nikakav kurs iz numerike. I onda kad se sretnu s problemom, krenu to da otkrivaju na svoj nacin, pa onda odmah metodi daju neko novo ime. I ti pomislis, gde, zanimljivo, ovo je novi pristup, i onda provedes nedelju dana pokusavajuci da shvatih sta su uradili, da bi ispalo da se to svodi na neku elementarnu metodu iz udzbenika numerike.

 

Ili, recimo, ljudi koji ne razumeju elementarnu fiziku. U mojoj oblasti ima dosta nekih padobranaca, matematicara, na primer, ili cak fizicara koji su se dugo bavili nekom drugom oblascu, pa se presaltovali. Neverovatno koliko njih recimo ne zna najosnovnije osnove termodinamike, ni kada su zakoni td primenjivi, ni sta oni zapravo znace u smislu statisticke fizike, sta je entropija, i tako dalje.

 

Eto, ne znam, u mojoj maloj oblasti izadje, recimo, 1000 radova godisnje. Od tih 1000 radova ima mozda 50 koji su vredni citanja i mozda 2-3 koja ce se pamtiti, citati i citirati (imati neki stvaran impakt i mimo njihovih autora) i za 20 godina.

[Rowanoke]

4 hours ago, chandra said:

poseban krug pakla za autore radova koji su stvarno dobri, novi i sadrze neku informaciju, ali bez sanse da budu reprodukovani rezultati

Ja muku mucim da jedan rad grupe iz Belgije ponovim. Da li sam zaostala ili glupa, na kraju cu da ih zamolim da dodjem da mi pokazu. 

 

[kurdi]

On 1.8.2021. at 21:51, beyoncé said:

na njegovoj stanford stranici kaže: 

"When contrasted against my vast ignorance, these values offer excellent proof that citation metrics can be horribly unreliable. I have no personal social media accounts - I admire people who can outpour their error-free wisdom in them, but I make a lot of errors, I need to revisit my writings multiple times before publishing, and I see no reason to make a fool of myself more frequently than it is sadly unavoidable." 

ovo se bas ne slaze sa tim da potpisuje ~70 radova godisnje. ocigledno ih ne pise sam, o revisitovanju da ne pricamo.

sad kad pogledam, spominjani brojevi sa google scholara su dobrim delom posledica oblasti kojom se bavi, u smislu da mu je odnos broja citata na google scholaru i na web of science istorijski 3 a sada raste jos vise... vecina tih citata nisu iz naucne literature.

i broj stvarnih citata je ogroman, ali ne tako neuobicajen za medical sciences.

inace ne znam ko je covek, nemam nikakvolicno misljenje.

slazem se da brojevi ne govore uvek mnogo/dovoljno.

 

za "ovo sto kaze chandra", pod navodnicima jer nisam siguran da razumem sta kaze...

jedno je pitanje kolko je radova bezveze (cime se bavi u poslednjem postu), a drugo ono sto je prethodno rekao - da neki koji nemaju pojma fiziku objavljuju naveliko...

 

meni je ovo drugo vise interesantno... slazem se da je rasprostranjeno, ali posle 20 godina razmisljanja ne znam sta iz toga da zakljucim.

ima naravno slucajeva onih koji ne znaju opstu fiziku, ne znaju svoju oblast, i (verovatno zbog toga) objavljuju lose radove.... ali to je najmanje zanimljiv, i verovatno po nauku i najmanje opasan slucaj.

ima mnogo intrigantnijih situacija.

npr ne razume opstu fiziku, nije ni generalno pametan, ali zna sta radi. ili ne razume ni to sto radi, ali objavljuje objektivno korisne radove.

meni su ti slucajevi tezi za shvatiti, i cesce vode licnoj frustraciji, ali realno po nauku nisu opasni. samo ukazuju da pamet i neko duboko razumevanje nisu ni dovoljni ni neophodni [za solidnu nauku].

s trece ili koje vec strane ono sto jeste i lose za nauku i mene licno frustrira je da ima pametnih koji svesno pisu stvari koje nisu formalno netacne, ali z akoje sami znaju da ce ih manje pametni pogresno razumeti.

ima bas svega.... 

 

[אַף אֶחָד]

16 hours ago, kurdi said:

ovo se bas ne slaze sa tim da potpisuje ~70 radova godisnje. ocigledno ih ne pise sam, o revisitovanju da ne pricamo.

sad kad pogledam, spominjani brojevi sa google scholara su dobrim delom posledica oblasti kojom se bavi, u smislu da mu je odnos broja citata na google scholaru i na web of science istorijski 3 a sada raste jos vise... vecina tih citata nisu iz naucne literature.

i broj stvarnih citata je ogroman, ali ne tako neuobicajen za medical sciences.

inace ne znam ko je covek, nemam nikakvolicno misljenje.

slazem se da brojevi ne govore uvek mnogo/dovoljno.

 

za "ovo sto kaze chandra", pod navodnicima jer nisam siguran da razumem sta kaze...

jedno je pitanje kolko je radova bezveze (cime se bavi u poslednjem postu), a drugo ono sto je prethodno rekao - da neki koji nemaju pojma fiziku objavljuju naveliko...

 

meni je ovo drugo vise interesantno... slazem se da je rasprostranjeno, ali posle 20 godina razmisljanja ne znam sta iz toga da zakljucim.

ima naravno slucajeva onih koji ne znaju opstu fiziku, ne znaju svoju oblast, i (verovatno zbog toga) objavljuju lose radove.... ali to je najmanje zanimljiv, i verovatno po nauku i najmanje opasan slucaj.

ima mnogo intrigantnijih situacija.

npr ne razume opstu fiziku, nije ni generalno pametan, ali zna sta radi. ili ne razume ni to sto radi, ali objavljuje objektivno korisne radove.

meni su ti slucajevi tezi za shvatiti, i cesce vode licnoj frustraciji, ali realno po nauku nisu opasni. samo ukazuju da pamet i neko duboko razumevanje nisu ni dovoljni ni neophodni [za solidnu nauku].

s trece ili koje vec strane ono sto jeste i lose za nauku i mene licno frustrira je da ima pametnih koji svesno pisu stvari koje nisu formalno netacne, ali z akoje sami znaju da ce ih manje pametni pogresno razumeti.

ima bas svega.... 

 

 

Chandrasekhar je bio u nekom trenutku glavni urednik ApJ. I tamo negde 60-tih, na nekom sastanku redakcije, nasali se na racun broja radova - da su zakoni fizike ugrozeni jer se ce brzina objavljivanja uskoro biti veca od brzine svetlosti. A onda se ispravio - to nije nikakav problem jer ti isti radovi ne sadrze nikakvu informaciju.

 

Bez obzira na to da li je anegdota istinita, zanimljivo je da se vec tada govorilo o hiper produkciji. A produkcija iz tog vremena, bar u mojoj oblasti, deluje kao suvo zlato u odnosu na ovo sto se sada objavljuje. Mnogo radova sada nije vise od crtice ili fusnote, bar po kolicini informacije koju nose.

 

Kod mene je krenula i pomama za deep learning poslednjih godina. Tek tu ima svacega...

[אַף אֶחָד]

21 hours ago, kurdi said:

npr ne razume opstu fiziku, nije ni generalno pametan, ali zna sta radi. ili ne razume ni to sto radi, ali objavljuje objektivno korisne radove.

meni su ti slucajevi tezi za shvatiti, i cesce vode licnoj frustraciji, ali realno po nauku nisu opasni. samo ukazuju da pamet i neko duboko razumevanje nisu ni dovoljni ni neophodni [za solidnu nauku].

 

 

 

ma razne likove sam sretao poslednjih godina. kad kazem ne razume osnove fizike, ne mislim na bilo sta komplikovano, vec na stvari koje se granice sa opstim obrazovanjem ili opstom kulturom. tipa - covek koji se bavi fizikom plazme i ne razume, ali ono bas dubinski ne kapira, sta je entropija. pritom mu se entropija pojavljuje u nekom racunu i tu je covek tretira kao da je nekakav koeficijent, pa sad moze da bude koeficijent a, a moze da se zove i drugacije. totalni nedostatak elementarne intuicije. naucio je negde "racun", dal od mentora ili samouko iz nekog programa i tera. za mene su takvi radovi uzasno frustrirajuci - na kraju ima nesto sto deluje kao koristan rezultat, ali ne kako da mu verujem, a da ne ponovim sve korak po korak ili reprodukujem na drugi nacin (a nije nimalo trivijalno da se racun moze ponoviti bez nekoliko nedelja okapavanja). ako odbacim to kao black box, mozda se lisavam korisnog trika. ako prihvatim, svaki put kad nesto nadogradim i daje cudan rezultat, pitacu se da li je posledica onoga ispod. a da ga testiram kako treba, opet bi odnelo vise vremena nego da to sam uradim. najgora opcija - proslediti studentu da testira - to se obicno zavrsi kataklizmicno.

[beyoncé]

On 2.8.2021. at 1:29, vememah said:

Joanidis je vrlo kontroverzna osoba, objavljivao je svakakve baljezgarije u vezi s pandemijom.

Ima ovde detaljnije:

https://www.washingtonpost.com/dc-md-va/2020/12/16/john-ioannidis-coronavirus-lockdowns-fox-news/

 

Uz jednu ispravku:

 

Topol ima označene hajlajte:

 

 

beyoncé

ne mogu da mu pročitam hajlajte, a sumnjam da si i ti uspeo da ih pročitaš. nije ni važno. taj isti eric topol ga je u jednom egzaltiranom intervjuu pre tri godine opisao kao najvećeg watchdoga u savremenoj nauci i nekog "who I have been dying to have a chat with for a long time. (...) You have taught us so much. You have really had a fantastic effect, like a wake-up call, and it has not just been one time; it is all the time. Every time I see something that is seriously flawed or possibly flawed, I think about you. Thank you for all of your effort and your continued pursuit of evidence that is real, and for excellence in research."   

 

utoliko su njegovi (ioannidisovi) ispadi u vezi kovida začudniji, pogotovo što je fejlovao tamo gde bi trebalo da bude apsolutno suveren: data science. počeću da mislim da je neki uvrnuti koncept u pitanju, na svom primeru dokazuje sopstvenu poentu. 

 

On 4.8.2021. at 23:46, kurdi said:

ovo se bas ne slaze sa tim da potpisuje ~70 radova godisnje. ocigledno ih ne pise sam, o revisitovanju da ne pricamo.

 

 

u citatu koji si citirao kaže da nema naloge na društvenim mrežama da se ne bi previše provaljivao u javnosti, ne da ne objavljuje mnogo radova, i da njegova (formalna) popularnost samo govori koliko je takav sistem vrednovanja pogrešan.   

   

što se tiče tih koji štancaju osamstopetsto radova godišnje, ima članak i o tome https://www.nature.com/articles/d41586-018-06185-8  prema njemu, ~80% hiperproduktivnih su fizičari, resto uglavnom kinezi

   

a kada je znanje i razumevanju u pitanju, i kod nas i u svetu, istraživanjima u medicini, pogotovo bazičnim i pretkliničkim,  se uglavnom ne bave medicinari, već biolozi, molekularci, biohemičari, farmakolozi, biotehnolozi i sl. koji po prirodi osnovnog obrazovanja nemaju baš mnogo predstavu o tome kako organizam u celini (i u detalje) izgleda i funkcioniše, ni u zdravlju, a još manje u bolesti, što je po meni inherentna falinka takvih istraživanja.  verovatno nisam u pravu, ali često osetim to i u radovima, i u komunikaciji/radu sa kolegama istraživačima.

   

kad kod bad science, aktuelni primer kod mene: dobila sam nedavno da recenziram rad za dobar časopis i kad se nisam šlogirala, aljkavije i lošije napisan rad nisam videla ni od jednog studenta + nedostaju elementarni podaci u metodologiji, slikama, legendama... ispod svakog standarda za naučni rad, a pogotovo za takav časopis. iznerviram se maksimalno, ali suština rada nije bila loša i krenem da ređam... 18 major i 11 minor points (koje su isto tako mogle da budu major) i još svašta nešto sitno što nisam napisala da ne preterujem. osetila sam se iskorišćeno i zloupotrebljeno, kao da radim posao onog koji je trebalo da supervizira tog kome je dato da piše rad.  

tek kada sam poslala recenziju, pogledam ko je taj koresponding autor i šta da vidim, čovek je rektor nekog univerziteta i ove godine je objavljen veliki intervju s njim u nature o njegovom fantastičnom radu i univerzitetu. samo sam se iznervirala još više.  

očigledno taj rad mora da se objavi, pa su navatali još dva recenzenta, pored mene i još jednog koji je komentarisao samo neke tri stvari koje sam i ja. to dodatno dvoje ništa nije zamerilo, samo par jezičkih grešaka!

   

danas stiže odgovor ovih mučenika, takvo posipanje pepelom nisam videla do sada: u tri rečenice deset puta ponovljeno, very stupid mistakes! stupid stupid stupid, careless careless careless... mogu da zamislim kako se ovaj rektor drao tom jadniku što je pisao, bilo mi malo žao. kad, pogledam novi manuskript i opet brljotine. nisam zadovoljna, a nisam ni ubeđena, i razmisliću još malo koji će mi biti odgovor. ali koji god da bude, taj rad će se objaviti. da nije dospeo u moje sitničave ruke, objavio bi se u maltene izvornom obliku sa svim stupid i careless greškama koje bi neko čitao i verovao u to.  

[vememah]

17 minutes ago, beyoncé said:

ne mogu da mu pročitam hajlajte, a sumnjam da si i ti uspeo da ih pročitaš.

 

Bez problema, otvoriš sliku u novom prozoru browsera i zumiraš koliko hoćeš ctrl tasterom i točkićem. Evo npr. prvog markiranog dela.

 

Edited August 8, 2021 by vememah

[kurdi]

15 minutes ago, beyoncé said:

u citatu koji si citirao kaže da nema naloge na društvenim mrežama da se ne bi previše provaljivao u javnosti, ne da ne objavljuje mnogo radova, i da njegova (formalna) popularnost samo govori koliko je takav sistem vrednovanja pogrešan.   

  

kaze u pocetku to za mreze... ali onda kao deo objasnjenja kaze "I need to revisit my writings multiple times before publishing"... sto ok, nije nuzno nekonzistentno i moze biti tacno, ali onda samo kazem da radovi koje potpisuju ne mogu svi spadati u "his writings". elem, nije konzistantan i ne laze ako je dato da potpisvanje rada ne podrazumeva pisanje istog (i ako si senior author)... sto jeste u nekim oblastima (ukljucujuci delove fizike) normalno i priznaje se bez srama. ja ne bih mogao da napisem vise od 5 kratkih radoba godisnje, a ne bih mogao da potpisem (skoro) nista sto nisam prakticno sam napisao, mada skoro uvek student ili postdoc napise prvi draft. da imam bolje studente i postdocove, i da samo nauku radim, mozda bih mogao do 10 doguram max uz odrzavanje istih standarda. 

[beyoncé]

@vememah

ma zumirala sam, ali mi je bilo mutno. hvala. pročitala sam na drugom mestu šta mu zameraju. ja ne toliko što je fulao prognozu za kovid (rekao je da je based on thin data), već što se uopšte upuštao u to. neko sa tolikim iskustvom bi trebalo da zna da bi mu se bilo kakvo prognoziranje u tom trenutku, na osnovu bilo kakvih podataka, može obiti od glavu. 

 

veći problem je rad o seroprevalenci infekcije koji je objavljen ubrzo posle te izjave i koji ima ozbiljnih problema sa podacima. jeste da je on i u njemu samo koautor, i pitanje je koliko je učestvovao u izradi, ali to ga ne abolira od odgovornosti, naravno.

Edited August 8, 2021 by beyoncé

[beyoncé]

2 minutes ago, kurdi said:

kaze u pocetku to za mreze... ali onda kao deo objasnjenja kaze "I need to revisit my writings multiple times before publishing"... sto ok, nije nuzno nekonzistentno i moze biti tacno, ali onda samo kazem da radovi koje potpisuju ne mogu svi spadati u "his writings". elem, nije konzistantan i ne laze ako je dato da potpisvanje rada ne podrazumeva pisanje istog (i ako si senior author)... sto jeste u nekim oblastima (ukljucujuci delove fizike) normalno i priznaje se bez srama. ja ne bih mogao da napisem vise od 5 kratkih radoba godisnje, a ne bih mogao da potpisem (skoro) nista sto nisam prakticno sam napisao, mada skoro uvek student ili postdoc napise prvi draft. da imam bolje studente i postdocove, i da samo nauku radim, mozda bih mogao do 10 doguram max uz odrzavanje istih standarda. 

 

i to se odnosi na isto, nema laku ruku za pisanje po mrežama

[vememah]

Lik i dan-danas tvrdi da lockdowni ne rade posao i drži se te procene smrtnosti koja je manja od smrtnosti u odnosu na celokupnu populaciju gomile država (u kojima pandemija naravno još ni blizu nije završena). Uz to je bio štetočina jer je zagovarao da se bukvalno ništa ne preduzima od protivepidemijskih mera dok se detaljnim studijama ne dokaže da je to efikasno, što je takođe notorna budalaština s obzirom na to da ovo nije prva epidemija zarazne bolesti u svetu.

 

Dakle, sve suprotno od onog cara iz SZO Majka Rajana koji je naglašavao brzinu reakcije kao ključnu stvar i potrebu da se greške ispravljaju u hodu umesto da se triput meri, a jednom seče.

[beyoncé]

moguće, nisam gledala toliko detaljno.

[Indy]

@vememah

 

Sigurno si ovo video, ali evo linka (mozda bude i nekom drugom zanimljivo.)

 

What the heck happened to John Ioannidis?

 

TL;DR: "He just guessed wrong, so very wrong! ... Prof. Ioannidis published shoddy research on COVID-19 that had raised the suspicion of having been politically motivated, or at the very least Prof. Ioannidis gave the impression of not having been as rigorous in his science as he had long demanded of other scientists. Then he got even worse ... Perhaps it was due to hubris, but it could also (or alternatively) been due to his political blindspots. Even so, I’d still say that there is no real shame in being wrong, if only one admits it frankly and tries to correct oneself. Unfortunately, with Prof. Ioannidis, that didn’t happen. Quite the opposite, in fact, as you will see."

 

[Rowanoke]

On 9.8.2021. at 2:41, kurdi said:

nista sto nisam prakticno sam napisao, mada skoro uvek student ili postdoc napise prvi draft. da imam bolje studente i postdocove, i da samo nauku radim, mozda bih mogao do 10 doguram max uz odrzavanje istih standarda. 

Moj mentor je zadnji put napisao clanak 2008, samostalno on, cim se docepao assoc. Prof. prestao je da pise. 

 

 

[Rowanoke]

On 9.8.2021. at 6:52, Indy said:

@vememah

 

Sigurno si ovo video, ali evo linka (mozda bude i nekom drugom zanimljivo.)

 

What the heck happened to John Ioannidis?

 

TL;DR: "He just guessed wrong, so very wrong! ... Prof. Ioannidis published shoddy research on COVID-19 that had raised the suspicion of having been politically motivated, or at the very least Prof. Ioannidis gave the impression of not having been as rigorous in his science as he had long demanded of other scientists. Then he got even worse ... Perhaps it was due to hubris, but it could also (or alternatively) been due to his political blindspots. Even so, I’d still say that there is no real shame in being wrong, if only one admits it frankly and tries to correct oneself. Unfortunately, with Prof. Ioannidis, that didn’t happen. Quite the opposite, in fact, as you will see."

 

Nestorovic