ChatGPT

[morgana]

mislim da neural network tu stoji kao paradigma za razvoj ai u smislu paralelne obrade podataka, ni prva ni posljednja

[Weenie Pooh]

1 hour ago, Kenji said:

To što chatgpt "ne zna" ništa posle 2020.  znači da je do tad treniran. Treniranje se nastavlja naravno ali vrlo oprezno jer nas nekolicina može uspešno da istroluje nove podatke onako iz zezanja. Čak i kad bi model sam sebe korigovao preko live veze na internetu opet je korupcija dataseta neizbežna. (Human nature)

 

Ovako sam i ja razumeo da stoje stvari - da su zatvorili kanale za učenje da ne bi prošao kao oni nesrećni Twitter chatbotovi koje je masa u roku od odmah zadojila najradikalnijim teorijama zavere, purely for the lolz.

 

[JozoMujica]

3 hours ago, Kenji said:

 Ako je prompt (upit) ovo, statistika kaže da će odgovor "najverovatnije" biti ovo.

 

U prilog ovome, mislim da sam već kačio na forumu, gledajući prvenstvo u fudbalu me je zaintrigiralo poreklo pentagrama na zastavi Maroka, pa sam ga pitao:

 

 

Ono što je interesantno je da i u prvom netačnom i trećem (ne znam da li je tačan) odgovoru, crvena boja simbolizuje krv junaka koji su se borili na nezavisnost Maroka.

Edited January 26, 2023 by JozoMujica

[Zverilla]

5 hours ago, Kenji said:

Mislim da priča o AI modelu koji u real time-u uči od ljudi jednostavno nije tačna i da je običan PR i liability stunt. AI/ML modeli su suštinski napredna statistika izgradjena od iterativnih ponavljanja: ovo je ovo a ovo je ovo, kroz dva konkurentna algoritma. Jedan "uči" a drugi ga koriguje kroz tačne unose. Proizvod ovoga je model koji je ustvari statistički i barata verovatnoćom. Ako je prompt (upit) ovo, statistika kaže da će odgovor "najverovatnije" biti ovo. Ovakav način učenja samo konceptualno podseća na humano kognitivno učenje ali se oslanja na iterativno ponavljanje, brute force, bez analize ili sinteze "naučene" informacije. Iteracije su višestruko brže (learning rate) od onoga što pruža interakcija sa korisnikom i najveći problem je ustvari što fact checking zahteva ljudsku intervenciju.

 

 

 

To što chatgpt "ne zna" ništa posle 2020.  znači da je do tad treniran. Treniranje se nastavlja naravno ali vrlo oprezno jer nas nekolicina može uspešno da istroluje nove podatke onako iz zezanja. Čak i kad bi model sam sebe korigovao preko live veze na internetu opet je korupcija dataseta neizbežna. (Human nature)

 

 

 

Dakle chatgpt je snapshot statistika do 2020. Model će se dotrenirati i sa hard kodom zakrpiti politička nekorektnost ili verovatnoća fifty fifty. Ali će razvoj zavisiti od stanja društva tj. biće taman prosečno "tačan" koliko i informacije na kojima je izgradjen. Pošto smo u post truth vremenu možete da zamislite u kom pravcu će ovo ići.

 

 

 

Nabacio bih samo i tezu da će se onako tehnokratski vrlo lako pretvoriti u ultimativni autoritet whats true or not. Jer neće niko imati ni volje ni kapaciteta da se bori protiv većine.

Ovo kao da je napisao chatgpt :-P 

 

Ima tačnih stvari, ima bogme i ozbiljno netačnih, ali proizvedeni tekst deluje veoma uverljivo. 

[Kenji]

Imao si pola sata me ispraviš. (reinforcement learning)

[Weenie Pooh]

Ne znam, ja nešto mislim da crvena boja na zastavi zaista simbolizuje krv junaka

[*edited by mod]

Malo sam samo zagrebao na aktuelne teme i odmah je zabagovao gore nego Wiki

 

 

Hvala Nole na bronzi iz Londona u timskom tenisu!

 

EDIT: Posle je krenuo dalje da baguje kako je Novak osvojio srebro 2016, pa kako je osvojio bronzu a da te godine srebro nije dodeljeno...

 

Ukratko za sada mi zvuci kao pijani ortak na pab kvizu...

Edited January 27, 2023 by *edited by mod

[JozoMujica]

5 hours ago, Weenie Pooh said:

Ne znam, ja nešto mislim da crvena boja na zastavi zaista simbolizuje krv junaka

 

Ma nije sporno da simbolizuje, nego mi je bilo interesantno kako i kada daje potpuno netačan odgovor oko izgleda zastave (više zvezda i horizontalne pruge) i kada daje tačan(?), ponavlja istu frazu za crvenu boju.

[Zverilla]

15 hours ago, Kenji said:

Mislim da priča o AI modelu koji u real time-u uči od ljudi jednostavno nije tačna i da je običan PR i liability stunt. AI/ML modeli su suštinski napredna statistika izgradjena od iterativnih ponavljanja: ovo je ovo a ovo je ovo, kroz dva konkurentna algoritma. Jedan "uči" a drugi ga koriguje kroz tačne unose. Proizvod ovoga je model koji je ustvari statistički i barata verovatnoćom. Ako je prompt (upit) ovo, statistika kaže da će odgovor "najverovatnije" biti ovo. Ovakav način učenja samo konceptualno podseća na humano kognitivno učenje ali se oslanja na iterativno ponavljanje, brute force, bez analize ili sinteze "naučene" informacije. Iteracije su višestruko brže (learning rate) od onoga što pruža interakcija sa korisnikom i najveći problem je ustvari što fact checking zahteva ljudsku intervenciju.

 

 

 

To što chatgpt "ne zna" ništa posle 2020.  znači da je do tad treniran. Treniranje se nastavlja naravno ali vrlo oprezno jer nas nekolicina može uspešno da istroluje nove podatke onako iz zezanja. Čak i kad bi model sam sebe korigovao preko live veze na internetu opet je korupcija dataseta neizbežna. (Human nature)

 

 

 

Dakle chatgpt je snapshot statistika do 2020. Model će se dotrenirati i sa hard kodom zakrpiti politička nekorektnost ili verovatnoća fifty fifty. Ali će razvoj zavisiti od stanja društva tj. biće taman prosečno "tačan" koliko i informacije na kojima je izgradjen. Pošto smo u post truth vremenu možete da zamislite u kom pravcu će ovo ići.

 

 

 

Nabacio bih samo i tezu da će se onako tehnokratski vrlo lako pretvoriti u ultimativni autoritet whats true or not. Jer neće niko imati ni volje ni kapaciteta da se bori protiv većine.

 

rado bih te ispravio, ali naprosto nemam vremena. a ukratko ne ide, pogotovo sto ima dosta toga sto je delimicno tacno, a tu onda mora bas dosta da se objasnjava sta i kako.

crveno - pogresno

narandzasto - delimicno tacno

zeleno - tacno

 

recimo ovo za statistiku i verovatnocu. ml modeli ne rade verovatnocama vec vektorima koji imaju proizvoljne vrednosti. u zavisnosti od toga sta model radi, kako mi interpretiramo njegove rezultate, oni se mogu dodatno normalizovati i onda dobijamo nesto sto lici na verovatnocu (nekada jeste, jer suma svih ishoda daje 1, nekada je pak izlaz/interpretacija takva da celokupni rezultat ne predstavlja verovatnocu, ali se i dalje moze videti koji je pojedinacni rezultat najverovatniji -> njegova vrednost je veca od vrednosti ostalih opcija u skupu vektora koji opisuju ishode).

 

pokusacu da iskopam par razumljivih linkova kako radi chatgpt, pa ce to malo pojasniti ove zabune oko toga sta on moze (i zasto chatgpt i njegove varijacije nikada nece moci da resava analiticko/matematicke probleme, niti da bude baza istinitih odgovora na pitanja*) i objasniti zasto nekada tako spektakularno pogresi.

ukratko: u jezgru chatgpt.a je takozvani transformer model koji veoma pametno zna da pogodi koja je sledeca rec u recenici.

tipa, ako mu dam prompt "preko prece naokolo ?", on ce znati da umesto ? ide "blize"

to radi i u varijacijama, pa ce znati da resi i prompt "preko prece ? blize" i slicne varijacije. 

ovo je zgodno za generisanje teksta, davanje odgovora, itd. ali ne moze da resava matematicke i ostale analiticke probleme (osim ako ih nije video toliko puta da ih je naucio napamet. mada ce i tada nekada da zabaguje i izgenerise pogresne reci)

 

chatgpt je dodao jos dosta toga oko transformera (izmedju ostalog koriste i Reinforcement Learning from Human Feedback, ali ne samo RL) i uspeli su da naprave zaista fascinantnu stvar koju pride mogu da pretvore u isplativ proizvod. svaka im cast za to, ali je zgodno znati ove detalje kako on radi, da bi se rezultati mogli smisleno interpretirati.

 

*mislim da je meta pocetkom kovid pandemije napravila slican model koji je trebao da daje odgovore na pitanja u vezi kovida. no on je zbrljao razne (same po sebi tacne) rezultate u jednu supu iz koje su ispadale totalne gluposti, jer on naprosto gadja sledecu rec i ne razume ceo kontekst kada nesto vazi i kada je nesto primenljivo.

Edited January 27, 2023 by Zverilla

[Amelija]

zapravo tu nema nikakve specijalne misterije, a da je zabavno i interesatno definitivno jeste

 

svi današnji sistemi/modeli/botovi u vezi jezika (konverzacija, kao chatGTP, jezički modeli, automatski prevodioci, itd itd) su napravljeni pomoću neuronskih mreža, i zahvaljujući tome vraški dobro umeju da pišu gramatički ispravne i čitljive tekstove

to pak ne znači da su ti tekstovi nužno i tačni -- zapravo tačnost im je slaba tačka

ali, ljudi podsvesno jako vole čitljive tekstove i uglavnom onda zanemaruju greške u vezi tačnosti koje su zapravo važnije

to je dosta bitno u celoj stvari i treba imati u vidu

 

inače neuronske mreže nisu nikakva analogija ljudskom mozgu (iako se to jako često može čuti i videti posvuda, a svaki put kada to neko kaže  zapravo negde ugine mače ili štene...), mada jesu *inspirisane* neuronima u mozgu i njihovim vezama

neuronske mreže su zapravo jako kompleksne matematičke funckije koje omogućavaju modeliranje praktično bilo čega

ima ih raznih vrsta, od vrlo jednostavnih do vrlo kompleksnih, što kompleksnije to više toga može da uradi ali ju je i teže obučiti i treba mnogo podataka

 

za zezalice u vezi jezika su počele da se koriste tek 2015 jer pre toga računari prosto nisu bili dovoljno moćni, pa su prvo počeli sa već postojećim vrstama (npr rekurentne neuronske mreže) i već su generisale mnogo bolje tekstove nego prethodni modeli*, a onda su guglaši 2017. izmislili novu vrstu (arhitekturu), "transformer" i primenili je na automatsko prevođenje sa idejom da poboljšaju proces obučavanja a da zadrže isti kvalitet teksta, a ono kvalitet teksta ispao još i bolji

 

i tako se rodio "transformer" koji se odonda koristi u praktično svim modelima za jezike, velikim obučenim jezičkim modelima, botovima, prevodiocima, itd itd itd, a i tu se mogu razne stvari isprobavati, ispitivati, podešavati

 

mogu se i obučiti za drugačije ciljeve pa u zavisnosti od toga rade malo drugačij, npr da predvide sledeću reč, da predvide sledeću rečenicu, da predvide reči koje nedostaju usred rečenice, da predvide rečenicu na nekom drugom jeziku, itd itd.

 

šta je još bitno: sve te zezalice traže velike količine tekstova za obučavanje, tako da što moćnije računare imaš i što više teksta možeš da im daš, radiće bolje

(tako da kvalitet tekstova nije isti za sve jezike prosto zbog različitih količina podataka, i sve to generalno najbolje radi za engleski)

 

 

*prethodni modeli koji su modelirali verovatnoće teksta pomoću frekvencija a ne pomoću neuronskih mreža, ili još prethodniji modeli koji su radili pomoću pravila (dakle skroz bez matematike)

 

 

i još nešto: veštačka inteligencija (AI) uopšte ne mora da bude bazirana na neuronskim mrežama: i staaari jezički modeli zasnovani samo i jedino na pravilima u jeziku su veštačka inteligencija

 

 

 

malo duži post ispade ali želela sam da lepo objasnim :-)

 

[Kenji]

8 hours ago, Zverilla said:

 

rado bih te ispravio, ali naprosto nemam vremena. a ukratko ne ide, pogotovo sto ima dosta toga sto je delimicno tacno, a tu onda mora bas dosta da se objasnjava sta i kako.

crveno - pogresno

narandzasto - delimicno tacno

zeleno - tacno

 

recimo ovo za statistiku i verovatnocu. ml modeli ne rade verovatnocama vec vektorima koji imaju proizvoljne vrednosti. u zavisnosti od toga sta model radi, kako mi interpretiramo njegove rezultate, oni se mogu dodatno normalizovati i onda dobijamo nesto sto lici na verovatnocu (nekada jeste, jer suma svih ishoda daje 1, nekada je pak izlaz/interpretacija takva da celokupni rezultat ne predstavlja verovatnocu, ali se i dalje moze videti koji je pojedinacni rezultat najverovatniji -> njegova vrednost je veca od vrednosti ostalih opcija u skupu vektora koji opisuju ishode).

 

pokusacu da iskopam par razumljivih linkova kako radi chatgpt, pa ce to malo pojasniti ove zabune oko toga sta on moze (i zasto chatgpt i njegove varijacije nikada nece moci da resava analiticko/matematicke probleme, niti da bude baza istinitih odgovora na pitanja*) i objasniti zasto nekada tako spektakularno pogresi.

ukratko: u jezgru chatgpt.a je takozvani transformer model koji veoma pametno zna da pogodi koja je sledeca rec u recenici.

tipa, ako mu dam prompt "preko prece naokolo ?", on ce znati da umesto ? ide "blize"

to radi i u varijacijama, pa ce znati da resi i prompt "preko prece ? blize" i slicne varijacije. 

ovo je zgodno za generisanje teksta, davanje odgovora, itd. ali ne moze da resava matematicke i ostale analiticke probleme (osim ako ih nije video toliko puta da ih je naucio napamet. mada ce i tada nekada da zabaguje i izgenerise pogresne reci)

 

chatgpt je dodao jos dosta toga oko transformera (izmedju ostalog koriste i Reinforcement Learning from Human Feedback, ali ne samo RL) i uspeli su da naprave zaista fascinantnu stvar koju pride mogu da pretvore u isplativ proizvod. svaka im cast za to, ali je zgodno znati ove detalje kako on radi, da bi se rezultati mogli smisleno interpretirati.

 

*mislim da je meta pocetkom kovid pandemije napravila slican model koji je trebao da daje odgovore na pitanja u vezi kovida. no on je zbrljao razne (same po sebi tacne) rezultate u jednu supu iz koje su ispadale totalne gluposti, jer on naprosto gadja sledecu rec i ne razume ceo kontekst kada nesto vazi i kada je nesto primenljivo.

Uh, tek sad vidim da sam paušalno uleteo u ongoing raspravu na svetskom nivou, Machine learning vs Statistika a pošto mi nije oblast laymanovo sam i sudeći po tvom odgovoru ne mnogo pogrešio. Razumem akademsku distinkciju striktno matematičke statistike ali kao što si i sam više puta pomenuo verovatnoću moram da naglasim da sam iste termine koristio ne-akademski i bez namere da unizim čitavu oblast mašinskog učenja. I da I see what you did there u prvom odgovoru.

 

Isto tako razumem da sam objašnjavao adversarial mreže jer su mnogo lakše za objašnjavanje od transformera (moguće da grešim pošto su deo mog istraživanja i to iz polja umetnosti)

 

 

[aram]

Uskoro stiže i Google Music LM - unesete tekst dobijete muziku koji komponuje AI. Jedva čekam.

Rad ima ovde, neki demo materijali i slično: https://arxiv.org/abs/2301.11325

[kipo]

Naletim na neki komentar kako grijesi kod ovakvih pitanja.. Kod Osim 29. Januara 2023. i 26. Decembra 2022., juče nisu bili ni drugi dani. je cekao ~7-8 sekundi prije odgovora, a kod tačnog odgovora je ozbiljno zastao, 10+ sec. Dalje nije provalio foru na osnovu prethodne prepiske, vec je sve ponovio.

[Lezilebovich]

 

[JozoMujica]