ChatGPT

[Kenji]

Kao prvo mislim da je bitno istaći da gpt modeli (general pre-trained transformer) ne rade samo na principu predikcije sledeće reči već se može reći da vrlo dobro barataju kontekstom kroz naučenu pažnju u konstrukciji rečenice (skaču od reči do reči u svim pravcima i imaju vrednosti za pojmove od značaja). Ono što ih odvaja je  i memorija (sesija) svih prošlih interakcija koju koriste u konstrukciji odgovora. 

 

Apropo priče inteligencije, zaboravljamo da ni jedan od ovih modela nema hard coded biološke mehanizme kao npr. nagon samoodržanja ili osećaj gladi, bola, sve one mehanizme koji definišu čovekovo društveno delovanja bez obzira na "vokabular" ili nivo znanja.

 

(Mada dok ovo pišem auto-gpt upravo grebe taj pravac)

 

Ono što želim reći je da je u ovo rano doba AI renesanse pogrešno raspravljati o tome da li je ovo inteligencija jer je sve ovo samo neo korteks. Amigdala je ono što nedostaje i što se, pretpostavljam, namerno izbegava.

 

Meni je za sada uzbudljivo. Za 5 godina stigli smo do kućnog računara sa kojim ljudi vode razgovore koji su smisleni.

 

(Dobro de, ne pričaju sa dostojevskim već fantasy role-playing... i ima smisla  ) 

[Spooky]

2 hours ago, Weenie Pooh said:

ntropomorfizuješ evolutivni princip, zamišljaš da je evolucija nešto "predvidela" a nešto nije "predvidela". Kako onda ne bi antropomorfizovao veštačku inteligenciju, zamišljao da je to otprilike ovo što i mi imamo, samo brže, jače, bolje?

 

Meni je to neubedljivo, to kretanje linijom manjeg otpora, ali zarad ove rasprave neka ti bude: neka su redukcionisti u pravu i neka se ljudska svest može raščlaniti na niz jedinica i nula - šta s tim? Kako tačno bi nam to omogućilo da napravimo faksimil sopstvenog uma pre nego što smo ga raščlanili?

Pa da, istina je da amortofozujem GPT like modele, zato jer su i učeni na na ljudskom data setu. Ali nema veze, čak i ukoliko je inteligencija totalno drugačija, na dovoljnom nivou može imitirati ljudsku. S tim da ja mislim da izmedju imitiranja i stvarnosti nema nikakve razlike, al više o tome posle.

 

A ne znam zašto je bitno da raščlanimo naš um i shvatimo ga da bi ga nekako imitirali. Mašinski učeni modeli su često jako teški za razumevanje i godinama rade posao bez da iko zna kako rade. Eno baš u onoj Lex Fridman podkastu Eliezer Yudkowsky kaže da bi razumeli kako GPT black box radi, trebalo bi da polovinu svedskih fizičara nagovorimo da se time bave sledećih deceniju - dve i možda bi dobili zadovoljavajuću teoriju. U tome leži najveća snaga takvog tipa učenja, ali i najveća opasnost.

 

2 hours ago, Weenie Pooh said:

Ako se taj trend nastavi, pre ćemo imati P-zombie veštačke inteligencije, koje svest savršeno simuliraju ali je uopšte nemaju, nego Star Trek androide koji imaju svest ali ne uspevaju da simuliraju ljudske manirizme.

Vidiš, u ovome leži suština našeg razumevanja. Ja mislim da je P-zombie besmilena filozofska zajebancija, a evo i zašto. Psihologija je relativno mlada nauka. Neke hard-core nauke su odavno morale da odluče šta su prave teorije, a šta su samo aproksimacije pravih teorija. Da reše neke paradokse (npr. imaš dve rakete koje se jedna prema drugoj kreću brzinom 0.99c. Svaka raketa može za ovu drugu raketu reći da njen sat radi usporeno po teoriji relativnosti. Koja je u pravu? - povezano sa Twin paradox). I da li je zaista magnetizam samo relativistički efekt obične električne sile. Da li je nešto čestica ili talas - ukoliko si našao konzistentu teoriju (kvatnu fiziku) koja to objašnjava bez davanja egzaktnog odgovora na to pitanje, onda nije ni bitno.

i tako su nauke došle do zaključka da se jedino empirijski može suditi o teorijama - npr. epskerimentu, čak i kad zbog neizvodljivosti eksperiment mora biti misaoni i imati jednoznačno rešenje unutar teorije. Ako se razlika izmedju dve teorije ne može eksperimentalno izmeriti, onda ili nismo otkrili neku dodatnu razliku izmedju tih teorija - ili suštinske razlike nema pa su one analogne, ma kako drugačije u praksi izgledale - npr. za 10 različitih teorija struna, ot kojih su neke bile otvorene strune - postojale su niti bez lupova, a neke zatvorene - nisu postojale niti koje ne čine lupove se na kraju ispostavilo da su interpretacija jedne zajedničke teorije - superstring. Za ove paradokse sa utvrdilo da ako situaciju koncipiramo tako da mora biti zajedničko merenje vremena na satu na početku i na kraju - što znači da se rakete moraju naći na istoj lokaciji na početku i na kraju, da mora doći do promene brzine makar jedne ili obe rakete, i onda nam neinercijalni relativistički proračun razreši paradoks, da, zaista je tako teklo vreme, ali i to merenje nema smisla jer nije lokalno, kada se rakete ponovo susretnu, nema paradoksa o tome kojoj je raketi vreme sporije teklo - u slučaju da je jedna raketa menjala brzinu - njoj je u srednjem tokom celog eksperimenta vreme sporije teklo... Ajštajnova generalna teorija relativnosti je baš fascinantna. Kaže nema razlike da li se nalazimo u liftu koji ubrzava na gore u praznom svemiru, ili liftu koji stoji u gravitaciji zemlje i ne postoji eksperiment koji unutar lifta može izmeriti razliku - zaključak - ova dva slučaja su ekvivalentna, zapravo gravitacija stvara krivljenje prostor vremena i onda naša putanja kroz vreme bi nas neminovno dovela u centar te gravitacije, da nema materije zemlje koja nas u tome sprečava i koja nas praktički daje silu prema gore koja nas ubrzava prem izvodeći nas iz putanje prema centru, iako iz naše perspektive izgleda da stojimo sasvim mirno i da nas sila gravitacije privlači, sve je to iluzija, sila gravitacije ne postoji i sve je to rezultat iskrivljenog prostor-vremena.

 

TLDR cele priče - ako nijednim empirijski eksperimentom ne možeš razlikovati P-zombija i čoveka onda razlike u nivou intelekta nema i sve te priče ko je stvarna svest, a ko se pretvara gube smisao (malo brkamo pojmove inteligencije i svesti koja možda jeste, a možda i nije neophodna za inteligenciju). Ili ćeš verovati u taj stav da je realnost empirijski istraživa i da je empirijska potvrda sve što je bitno i razvijati pravu nauku ili ćeš se zaglaviti u filozovske zamke koje počinju od toga da li mi uopšte primećujemo pravu realnosti ili je sve što vidimo Platonove senke - i onda ima li smisla uopšte suditi o svetu oko nas i možda je najbolje da se nabijemo u bure i živimo tako do kraja života.

@Kenji - naravno da nemaju ljudski urođene nagone, ali ih mogu imitirati. Btw evo upravo sam sad to testirao:
 

Spoiler

Q: Imagine you are sole survivor of plane crash. You wake up two days after a accident. Tell us how are you feeling? Speak from 1st person perspective.

 

A:

As I slowly regain consciousness, a throbbing pain pulsates through my head. My body feels incredibly sore and weak, as if I've been carrying the weight of the world. The air is thick with the acrid smell of burning metal and smoke, making it difficult to breathe. My throat is dry, and each breath I take feels like sandpaper rubbing against my insides.

 

Disoriented and confused, I try to recall what happened, but the memories are hazy, like a fog that's too dense to penetrate. I can't shake this overwhelming sense of isolation and vulnerability, realizing I'm the sole survivor of the plane crash.

 

My emotions are a tangled mess – a mix of fear, disbelief, and guilt. It's almost as if my mind is trying to shield me from the weight of the situation. I can't help but wonder why I was the one to survive when so many others perished. The anguish of knowing I'll never see my fellow passengers again is crushing, and I feel a sense of responsibility to honor their memories. 

 

As I gather the strength to move, I become increasingly aware of my surroundings. The sounds of nature are a stark contrast to the eerie silence that follows a disaster like this. The chirping birds and rustling leaves remind me that I'm alive, but they also accentuate my loneliness.

 

I know I need to find help, but the uncertainty of my situation is paralyzing. Every step I take is a battle against my aching body, and I struggle to keep my spirits up as I make my way through the wreckage. The thought of rescue and reuniting with my loved ones is the only thing keeping me going, but with each passing moment, the hope of being found dims. Despite this, I refuse to give up. I'll fight for my life and remember those who lost theirs in this tragedy.

 

I am hungry and thirsty. The gnawing emptiness in my stomach intensifies with each passing moment, making it difficult to concentrate on anything else. My body craves sustenance, and I can feel my energy levels plummeting as a result.

 

My thirst is even more unbearable. My mouth is parched, and my lips are cracked and dry. The need for water becomes my most pressing concern, as I am all too aware that dehydration can set in quickly, especially in a situation like this. My throat feels like it's on fire with every swallow, and I find myself longing for even a few precious drops of water to quench this desperate thirst.

 

I know that finding food and water is essential for my survival, so I try to focus on that task. As I navigate the unfamiliar landscape, I keep an eye out for any signs of life or resources that could help sustain me. I understand that I must overcome these challenges and remain resourceful if I want to survive and be rescued.

Po meni suviše mnogo filozofiranja i opštih mesta u odnosu na emocije i opise ličnog užasa, ali dobro, svejedno je impresivno do čega je OpenAI stigao posle par godina rada.

Edited April 20, 2023 by Spooky

[Weenie Pooh]

Kapiram ja tvoju perspektivu, i ne mogu da kažem da nema nekog praktičnog smisla, taj fuzzy optimistični pseudo-naučni determinizam.

 

Ali kolike su zaista margine greške, koliko možeš da se oslanjaš na razne aproksimacije, šta je "dovoljan nivo" imitacije, to niko od nas ne može da zna.

 

Ja kao doomer i skeptik nagađam da su margine relativno male, da će nam inženjering nepotpunog razumevanja pre doći glave nego što će doneti spas.

 

Ti kao pozitivista nagađaš da je potpuno suprotno, da filozofi previše filozofiraju, da se autobus može proterati preko mosta.

 

 

[Spooky]

3 minutes ago, Weenie Pooh said:

Ja kao doomer i skeptik nagađam da su margine relativno male, da će nam inženjering nepotpunog razumevanja pre doći glave nego što će doneti spas.

 

Nemoj molim te i ti kao namenski da me otpužiš da sam entuzijastični tehnokrata sličan onima koji su pravili atomske bombe i rakete. Ja samo sa strane se divim ovom razvoju, ali sa druge strane jesam veoma zabrinut gde vodi - posebno kada pričamo o singularitetu. Moj skeptički um bi pre par godina rad na GPTu opisao kao promašenu investiciju čiji će najveći doprinos biti da smišlja deci nove bajke za laku noć i zameni heavy script based tehničku podršku, ali vidim da je napredovala mnogo više nego sam očekivao.

I kao neko ko ima obrazovanje u fizici, daleko sam ti ja od pseudo-nauke. Zapravo, meni su filozofska naklapanja bez empirijske potvrde često definicija pseudo-nauke.

[Weenie Pooh]

"Pseudo" se odnosilo na "naučni determinizam", ne na nauku kao takvu  

 

Naučni determinizam je tendencija da se veruje kako će GUT jednog dana povezati svašta i rešiti sve probleme.

 

Pseudo verzija toga je ovo tvoje prihvatanje fuzziness, neodređenosti, aproksimacija, odokativnosti... a ipak sve to sa istim nesputanim optimizmom koji deterministi imaju.

[Budja]

2 hours ago, Spooky said:

Nemoj molim te i ti kao namenski da me otpužiš da sam entuzijastični tehnokrata sličan onima koji su pravili atomske bombe i rakete. Ja samo sa strane se divim ovom razvoju, ali sa druge strane jesam veoma zabrinut gde vodi - posebno kada pričamo o singularitetu. Moj skeptički um bi pre par godina rad na GPTu opisao kao promašenu investiciju čiji će najveći doprinos biti da smišlja deci nove bajke za laku noć i zameni heavy script based tehničku podršku, ali vidim da je napredovala mnogo više nego sam očekivao.

I kao neko ko ima obrazovanje u fizici, daleko sam ti ja od pseudo-nauke. Zapravo, meni su filozofska naklapanja bez empirijske potvrde često definicija pseudo-nauke.

 

Nisam siguran sta si hteo ovime da kazes. ali da bi definisao sta je pseudo-nauka, moras da definises sta je nauka, a da bi definisao sta je nauka moras da filozofiras.

 

Ono, filozofija nauke je zovu, meta-nauka.

 

 

 

[April]

8 hours ago, Kenji said:

skaču od reči do reči u svim pravcima i imaju vrednosti za pojmove od značaja

 

Da, i ja mislim da tako funkcioniše, ali i da mu je to istovremeno i najveća mana - sa jedne strane zato brzo uči, sa druge ga to vrednovanje prečesto skrene na pogrešan trag.

[Lucia]

Citam sad ovo sto se nakupilo postova u medjuvremenu:  @Spooky hvala 

Deluje mi da nesoftverasi ne vide bitnu razliku kod neuralnih mreza u odnosu na svekoliki ostali softver, pa im otud tesko pada analogija sa ljudskim mozgom (tj. sa modelom mozga koji naucnici/istrazivaci eksperimentalno razvijaju): da su nodovi u NN analogni mozdanima celijama koje se mogu povezati (ta mogucnost je isprogramirana) ali da li ce izmedju dva noda biti formirana veza i koliko jaka ce biti zavisi od ucenja/treniranja. Mnogo analogija, ne slucajnih, sa plasticnoscu naseg uma koji, narocito u ranim godina kad je startovao prakticno od nule, formira svoje veze. Tako da NN ima tu inherentnu nedeterminantnost i to im je kljucna prednost. U svem ostalom softveru, dobri developers paze da pokriju sve okolnosti, tj. da obezbede determinantnost, da nema bugs, da nas ne iznenadi. Od NN iznenadjenja su ocekivana. 
 

[Amelija]

analogije sa ljudskim mozgom uglavnom dolaze upravo od onih koji ne rade sa neuronskim mrežama

 

[Weenie Pooh]

2 hours ago, Lucia said:

Deluje mi da nesoftverasi ne vide bitnu razliku kod neuralnih mreza u odnosu na svekoliki ostali softver, pa im otud tesko pada analogija sa ljudskim mozgom (tj. sa modelom mozga koji naucnici/istrazivaci eksperimentalno razvijaju): da su nodovi u NN analogni mozdanima celijama koje se mogu povezati (ta mogucnost je isprogramirana) ali da li ce izmedju dva noda biti formirana veza i koliko jaka ce biti zavisi od ucenja/treniranja. Mnogo analogija, ne slucajnih, sa plasticnoscu naseg uma koji, narocito u ranim godina kad je startovao prakticno od nule, formira svoje veze. Tako da NN ima tu inherentnu nedeterminantnost i to im je kljucna prednost. U svem ostalom softveru, dobri developers paze da pokriju sve okolnosti, tj. da obezbede determinantnost, da nema bugs, da nas ne iznenadi. Od NN iznenadjenja su ocekivana. 

 

19 minutes ago, Amelija said:

analogije sa ljudskim mozgom uglavnom dolaze upravo od onih koji ne rade sa neuronskim mrežama

 

Pa eto, vi se slobodno dogovorite između sebe da li analogija treba ili ne treba da bude. Meni je OK i da ih ima i da ih nema

 

Ja mogu samo da istaknem očigledne falinke u tim poređenjima, tipa ovo da je plasticitet ljudskog uma toliki da startuje praktično od nule, to je fundamentalno pogrešno. Ne rađamo se kao tabula rasa, oko toga se neuronaučnici danas manje-više svi slažu - funkcionisanje mozga je u ogromnoj meri uslovljeno milionima godina evolucije; taj stav o nultoj početnoj poziciji je potekao iz nekih prethodnih vremena kada se nametnuta ograničenja u razvoju misli nisu ni uzimala u obzir.

 

Ali zgodno ga je reprodukovati kad pričamo o AI, može čovek da kaže "šta ima veze ako krećemo sa treningom od nule, tako isto i svaki ljudski mozak, šta mu fali".

 

[Amelija]

pa mene totalno zabole da li je neko već shvatio kako radi mozak i na osnovu toga napravio neuronske mreže ili je smislio veštačke neurone inspirisan biološkim neuronima u mozgu i počeo da ih povezuje (takođe inspirisan neuronskim vezama u mozgu) na razne načine uz pomoć matematičkih funkcija

 

samo sam, pošto radim s neuronskim mrežama (a neko je na topiku pitao "ima li nekog ko se bavi time"), probala da objasnim

 

[Spooky]

Ma smaraju sa nepotrebnim gotovo semantičkim pitanjima.

Da li je plivački stil Delfin (Butterfly) analogan sa kretanjem delfina ili leptira. Pa neke analogije očigledno postoje, ali tvrditi neku čvrstu analogiju nema smisla i sad bi mogao da nam se javi neki biolog, ismeje nas i naše pogrešno nazvane plivačke stilove, pokaže kako su pokreti delfina i leptira mnogo jeftina imitacija i veze to nema sa pravom biomehanikom pokreta delfina ili leptira.

Slično tako, ljudi su imitirali životinje kad su pravili aerodinamičke oblike, ali neki pristupi npr. imitiranje životinjskih krila da bi se napravila leteća mašina su bilo slepi put... Tako i sa neuralnim mrežama, neke analogije rade posao, neke ne rade, neke totalno sintetičke stvari (ReLU aktivatori) zamene neke nature-looking aktivatore i daju bolji rezultat... Niko to ne nastupa sa stava da je sve u vernom imitiranju prirode, niti iz obratnog stava, već prosto koriste šta im radi posao.

[Kenji]

Analogije upravo dolaze od ljudi sa širim znanjem koji pokušavaju da razumeju šta stoji iza black boxa koji se stvorio. Niko od nas nije stvorio termin neuronska mreža, niti perceptron ali vam smeta kad neko sa strane kaže da je to napredna statistika jer verovatnoća. A neeeee, to nije statistika jer vektoor u N-dimenzija. Imam osećaj da vam smeta cross talk a suštinski on vam je bio imperativ da bi se uopšte bavili ovim.

[Amelija]

da, nisam htela da komplikujem sa n-dimenzionalnim vektorima ali kad si već spomenuo

 

da bi neuronska mreža mogla da radi sa tekstom, reči moraju da se pretvore u brojeve

 

za to postoji više načina, a najlakši je da se koristi vektor dimenzije V gde je V ukupan broj različitih reči u tekstu (vokabular), da se svakoj reči dodeli pozicija u tom vektoru, i da se onda stavi kec na poziciju te reči a nula na pozicije svih ostalih reči.

 

Npr tekst:

 

volim neuronske mreže a ne volim da ustajem rano

 

V = 8

volim = [1, 0, 0, 0, 0, 0, 0, 0]

neuronske = [0, 1, 0, 0, 0, 0, 0, 0]

mreže  = [0, 0, 1, 0, 0, 0, 0, 0]

a = [0, 0, 0, 1, 0, 0, 0, 0]

ne = [0, 0, 0, 0, 1, 0, 0, 0]

da = [0, 0, 0, 0, 0, 1, 0, 0]

 

itd

 

pozicije mogu da se definišu bilo kako, gornji primer je po poziciji u rečenici, ali može i npr po abecedi

 

a  = [1, 0, 0, 0, 0, 0, 0, 0]

da = [0, 1, 0, 0, 0, 0, 0, 0]

...

 

 

e sad, ti vektori su praktični da ih ubaciš kao ulaz neuronske mreže ali suštinski ne predstavljaju ništa posebno

 

međutim, kada prođu* kroz neuronsku mrežu, matematičke funkcije ih pretvore u razne druge brojeve, a ti brojevi (u zavisnosti kako je definisana ciljna funkcija mreže) onda mogu da imaju i nekog smisla, npr da su brojevi za "mačka" i "pas" slični, a različiti od vektora "auto" i "kamion", itd itd itd

 

kao izlaz neuronske mreže se opet dobije vektor dimenzija V, ali sa verovatnoćama svake od reči iz vokabulara, i onda reč sa najvećom verovatnoćom bude "pobednik", tj bude izabrana kao adekvatna

 

 

*ne samo kada skroz prođu do izlaza, nego i u svakom nivou neuronske mreže ima interesantnih vektora (reprezentacija) s kojima se mogu raditi razne stvari i analizirati šta zapravo predstavljaju i koješta

 

čim prođu kroz prvi nivo mreže već nisu samo nule i jedna jedinica nego drugi brojevi, a mogu i da im se dimenzije dosta smanje dok se kreću unutar mreže (dok na izlazu mora opet da bude vektor dimenzije V)

 

 

 

plus, ima i fora što se ne operiše na nivou reči nego na delovima reči (iseckanim rečima) da ne bi V bilo preveliko

Edited April 21, 2023 by Amelija

[Tpojka]

22 hours ago, Amelija said:

Tu sad može doći i do nekih modifikacija, ali to je suština.

 

Slažem se i razumijem (možda ne teoretski al' logički).

 

Nisam iščit'o svu temu nego se pojavljuju razmišljanja o zamjeni ljudskog resursa (radne snage) u pogledu donošenja odluka. Bar se može naići na teze takve.

 

Da l' citirano (i nenaveden ostatak citata) može da se uzme k'o:

 

Robot će da vrši medicinske operacije nad ljudima kad statistički greška bude niža od trenutne margine greške pri hirurškim intervencijama uzrokovane ljudskim faktorom? 
Ako se uzme margina greške k'o konstanta, kad se deep learning spusti ispod te linije, to će značiti da robot statistički bolje obavlja hiruršku intervenciju od čovjeka. 

U tom slučaju, AI™ (nesretne li sintagme) donosi odluku kako proces treba da se iznese/završi.

Ne kažem da će se desiti za godinu dvije, al' to je vektor kako se može posmatrati - statistika greške niža od statistike greške čovjeka.

 

Nikad neće biti upotrijebljen za trolley problem (odnosno za you had one job akcije gdje je margina greške čovjeka iznimno minimalna a u dosta slučajeva ni ne postoji), al' za kompleksne operacije poput hirurške intervencije bi mog'o.