ChatGPT

[Spooky]

11 minutes ago, Venom said:

Kljucno pitanje je da li je ChatGPT u stanju da kreira nesto novo, ili samo zvace i prepakuje postojece.

Ovo je mnogo nejasan kriterijum. Šta uopšte znači nešto novo? Ako je to nova nikada ranije izgovorena rečenica/ grupa od dve rečenice ili strofa pesme. Onda je to položio. Prosto izaberete neku dužu rečenicu/grupu sa jedinstvenijim rečima (kao i kod ljudskog teksta na proizvoljnu temu) i voila - izguglate pod navodnicima i dobijete 0 hitova. Na srpskom (gde je trening data dosta slabiji) na strani 5 imate i primer kreiranja reči najmostovitiji u opisivanju Hamburga kao grada sa najviše mostova, prosto je upotrebio logiku koja postoji da se iz imenice dobije pridev i dodao naj predikat i sve bi imalo savršenog i gramatičkog i  morfološkog smisla osim što se ta reč ne pretvara u pridev, a slična reč brdo (grad sa najviše brda - brdo - brdovit - najbrdovitiji) pretvara, pa je izgledalo kao reč koju bi dete koje uči jezik iskonstruisalo.

Dana kad su univerzitetski profesori engleskog na esejima dali 10 za neku specifičnu temu (a i software za plagijarizam se nije bunio) za rad koji je napisao chatGPT neka granica je takođe pređena.

Ako je nešto novo, nešto jedinstveno u istoriji čovečanstva, nova teorija nauke ili novi izum koji pomera čovečanstvo napred onda nije. Ali i skoro svi ljudi padaju ovaj test, a niko za sadašnji AI ne tvrdi da je još na nivou ljudskog, pa je prerano očekivati ovakav uspeh za sada.

 

 

Da li GPT like model može postići ovu drugu definiciju u budućnosti? Ja ne znam. Pre 10 godina bi se 99%+ relevantnih stručnjaka nasmejalo i reklo ne. Danas kad ih je i ovaj subhuman Level GPT iznenadio u mnogo čemu niko se ne smeje i taj procenat je znatno manji od 99%.

[Lord Protector]

Oko novog...

 

Limiti ChatGPT su limiti logičkih modela. Neuralne mreže, pa tako i LLM su u osnovi logički modeli, tako su nastali i tako se razvijaju. Gedelove teoreme o nepotpunosti formalnih sistema daju ograničenja logike (i jezika).

 

Intuicija koja daje sasvim novo i genijalno, Spark of Ingenuity, ne pripada logici i naučnom diskursu, ona nadilazi logički sistem. Nije deo induktivnog, deduktivnog ili abduktivnog logičkog diskursa.

 

Ona je iznad jezika jer je nedokaziva (Gedel), iznad konačnosti jer je beskonačna (Kantor), iznad naučnog diskursa jer je intuitivna (Ajnštajn i Pauli)...

 

ChatGPT neće dokazati Rimanovu hipotezu ili rešiti P=NP problem

Edited April 28, 2023 by slow

[Amelija]

ali ne izmišlja on ništa novo, nego da, prepakuje ono što je već video

i da, jeste impresivno na koliko načina sve to ume da prepakuje, ali opet, treba imati u vidu sa kolikim količinama teksta je obučen

to su nenormalne količine svih mogućih vrsta teksta, koje nijedan čovek nikada nije sve video niti će

 

a kako "izmišlja" nove reči sam isto objasnila svojevremeno

[Amelija]

npr video je rečenicu "John je tvrdoglav" i ceo dugački opis o Johnu, e onda ga neko pita šta se dešava ako je Rober tvrdoglav, numerička reprezentacija (i to sam objasnila u nekom od prethodnih postova, neuronski jezički modeli rade sa numeričkim reprezentacijama reči i delova reči u obliku višedimenzionalnih vektora) će biti bliska numeričkoj reprezentaciji Johna i opisaće ga na isti ili vrlo sličan način

 

 

 

[Amelija]

a ako jezički modeli stvarno zavladaju svetom, tako mu i treba kad je glupav

[Lord Protector]

7 minutes ago, Amelija said:

ali ne izmišlja on ništa novo, nego da, prepakuje ono što je već video

i da, jeste impresivno na koliko načina sve to ume da prepakuje, ali opet, treba imati u vidu sa kolikim količinama teksta je obučen

to su nenormalne količine svih mogućih vrsta teksta, koje nijedan čovek nikada nije sve video niti će

 

a kako "izmišlja" nove reči sam isto objasnila svojevremeno

 

Slažem se, prepakuje i dopunjava poznatim, za sasvim novo bi mu trebala intuicija. Ide u okviru saznatog i poznatog, može da bude savršeni imitator, i da otkrije novo u okviru već ustrojene teorije.. Za dosta stvari to je sasvim dovoljno.

Edited April 28, 2023 by slow

[Amelija]

Just now, slow said:

 

Slažem se, prepakuje i dopunjava poznatim, za sasvim novo bi mu trebala intuicija. Ide u okviru saznatog i poznatog, može da bude savršeni imitator. Za dosta stvari to je sasvim dovoljno.

da, da

 

plus je baš *jako mnogo toga* video tako da ima i mnogo mogućnosti za prepakivanje

[Shan Jan]

Ali da li i mi na neki nacin ne radimo isto? Ono, ni nasa imaginacija, ideje i odluke ne dolaze iz nekog void-a vec su uslovljene iskustvima ovog sveta. Jedino sto je ovaj jos uvek isuvise tupav da radi to na visem nivou. 

 

Moj laicki pogled na ove vrlo kompleksne stvari 

[Amelija]

pa definitivno je sličan koncept , i ljudi i mašine uče od negde, samo je pitanje odakle uče  i na koji način

 

što, kao što sam već rekla, suštinski meni i nije bitno, neka jezički modeli i uče tačno isto kao i ljudi, možda su i naši mozgovi ustvari kompleksne trasnformer-mreže, totalno me zabole

 

jedino, pošto znam kako oni uče prosto moram da objasnim

 

 

 

a što se tiče nekakve opasnosti, jedino što vidim je neodgovorno korišćenje, pa bi to sve trebalo lepo izregulisati

[Shan Jan]

On topic: upravo stigao propis firme kako koristiti generative AI. Brzi su. Prenosim do's and dont's. Zanimljivo je da brane koriscenje ChatGPT za pravljenje koda.

 

Quote

 

Examples of permitted and restricted uses of Generative AI at company

You may use Generative AI tools for internal purposes only. Do not use, share, disclose or deliver the outputs of your use of Generative AI to any customer or external third party. 

1. As a writing aid
   1. Permitted Use:
      • Ask to change the tone or voice of text
      • Ask for text generation for a generic task
      • Ask for rephrasing or edits on text
   2. Not Permitted:
      • Include nor input any company proprietary nor confidential information in any Generative AI tool.
      • Name specific people, partners, customers, suppliers and partners in your prompt
      • Provide a context which you would not want published on the internet
      • Ask for rephrasing or edits on text which is not stripped of personally identifiable information (PII), or other confidential and proprietary information (ours, or our customers, suppliers and partners)
         
2. Topic summarization
   1. Permitted Use:
      • Summarize data that are generally and publicly available, such as web pages, public documents, etc.
      • Summarize a set of topics or summaries
      • Include important context in your summary prompt
   2. Not Permitted:
      • Include data produced by company, our customers, suppliers, and partners
      • Include data from your business apps (Outlook, Teams, etc.) which may reveal company IP.
      • Ask for summarization on text which is not stripped of PII, confidential and proprietary information (ours, or our customers, suppliers, and partners)
         
3. No code generation is permitted
    
4. Search or Q&A
   1. Permitted Use:
      • Ask general search questions, while treating the output answers with skepticism
      • Use ChatGPT to build a knowledge base on topic without PII or IP
   2. Not Permitted:
      • Use APIs to embed your emails, strategy documents, email with customers, suppliers, etc.
      • Assume an embedded text is ‘safe’ or ’free of context’
      • Provide a prompt which includes value added or enriched data produced by company  

 

Edited April 28, 2023 by Shan Jan

[Amelija]

3 minutes ago, Shan Jan said:

 Zanimljivo je da brane koriscenje ChatGPT za pravljenje koda.

 

[Weenie Pooh]

28 minutes ago, Shan Jan said:

Ali da li i mi na neki nacin ne radimo isto? Ono, ni nasa imaginacija, ideje i odluke ne dolaze iz nekog void-a vec su uslovljene iskustvima ovog sveta. Jedino sto je ovaj jos uvek isuvise tupav da radi to na visem nivou. 

 

Uslovljene su milionima godina evolucije, ona nam je dala intuitivnu heuristiku sa kojom se rađamo i bez koje ne bismo bili sposobni da procesuiramo ništa; jezik ne bi postojao, apstraktno mišljenje ne bi postojalo. To možeš da nazoveš "iskustvima ovog sveta". 

 

U slučaju LLM, njihove odluke su uslovljene gomilom teksta kojim su nahranjene i kompleksnim funkcijama kojim ih obrađuje, i jedno i drugo plod ljudskog rada. To ne može da se nazove "iskustvima ovog sveta", to su nebo-zemlja razlike.

 

[Shan Jan]

Pa dobro, ChatGPT nema senzore za vid, dodir, miris... ko mi pa da moze odatle da dobije input. Dobija za sada odakle moze. Meni je bitnija logika iza, koliko je u stanju da napravi nesto novo i smisleno od inputa koje ima. 

[Spooky]

@slow. Ne slažem se. Iako se pokrece na touring like mašinama, u samom algoritmu ima i ne-turingovih elemenata - tipa randomnless (koja se opet moze donekle aproksimirati pseudo-randomness, ali opet svi kvalitetni pseudo-random generatori uzimaju neke info spolja (brzinu ventilatora, temperaturu procesora, zauzetost diska) pa su takodje non-turing.

Anyway, materijalista sam i mozak je za mene skup neurona i zamisliti da skup logickih kola na silikonu (uz uplet ovih ne-turingovih elemenata) inovira mi ne zvuci nista neverovatnije od toga da to radi skup neurona.

 

1 hour ago, Amelija said:

npr video je rečenicu "John je tvrdoglav" i ceo dugački opis o Johnu, e onda ga neko pita šta se dešava ako je Rober tvrdoglav, numerička reprezentacija (i to sam objasnila u nekom od prethodnih postova, neuronski jezički modeli rade sa numeričkim reprezentacijama reči i delova reči u obliku višedimenzionalnih vektora) će biti bliska numeričkoj reprezentaciji Johna i opisaće ga na isti ili vrlo sličan način

Upravu si donekle sa prezentacijama, ali si totalno propustio svu finesu pitanja o Dzonu i koja tvoje ovde iznesene zaključke baca u vodu.

John is too stubborn to rise/give(something)/come/go/leave to. -sve one imaju slicnu numeričku implementaciju da je "Džon suviše tvrdoglav da popne se/da (nešto)/dodje/ide/ode do" i onda zameniš glagol sa talk - i po logici to bi trebala biti skoro ista numerička prezentacija, da predstavlja skoro istu formulacija i značenje (pa je zato onaj članak navodi kao liniju koju ovakvi generatori ne mogu preći), ali ne, ovaj sistem je ukapirao da ovo ne znači da je "Džon suviše tvrdoglav da priča sa (nekim), već da je suviše tvrdoglav da bi se sa njim pričalo, nerazuman i slično, tvrdih stavova što je model nasuprot očekivanjima ukapirao.

53 minutes ago, Weenie Pooh said:

Uslovljene su milionima godina evolucije, ona nam je dala intuitivnu heuristiku sa kojom se rađamo i bez koje ne bismo bili sposobni da procesuiramo ništa; jezik ne bi postojao, apstraktno mišljenje ne bi postojalo. To možeš da nazoveš "iskustvima ovog sveta". 

Ne slažu se mnogi oko Čomskog i sličnih teorija da je jezik evolutivno upisan u naš genetički kod, ali da ga opet ne kritikujem ja evo članka
https://www.scientificamerican.com/article/evidence-rebuts-chomsky-s-theory-of-language-learning/

 

Zapravo, evolutivno teško da je bilo šta iz poslednjih 50 000-100 000 godina razvoja evolutivno razvijeno. Evuluativno razvijeno imamo motoričke funcije, procesiju čula, generalne sposobnosti mozga, ali pismo, naučni metod, inžinjerstvo i zidanje na već izgrađenog u svemu tome i nauci nema veze sa evolucijom. Da ne spominjem koliko je naš jezik kompleksniji od jezika lovaca-huntera od pre 20000 godina. Svako ko je imao prilike da priča sa neobrazovanim, iako nekad pametnim ljudima koji nisu imali obrazovanje, pismenost i šanse da dolaze u susret sa puno različitih ljudi šireg rečnika zna da je jezik takvih ljudi često dosta ograničeniji. Zamislite onda lovce-sakupljače i njihov jezik.

Mi smo po mnogim stvarima naučnim/inženjerskim pristupom nadmašili evoluciju - letimo više nego ptice, brže nego ptice, krećemo se brže nego najbrže životinje i sl. Kompjuteri su u brzini aritmetičkih radnji odavno nadmašili ljude, i zbog toga ih u mnogim oblastima toliko i koristimo. Zašto je nemoguće zamisliti da možemo da nadmašimo evoluciju sličnim pristupom i po dubini intelekta....

 

22 minutes ago, Shan Jan said:

Pa dobro, ChatGPT nema senzore za vid, dodir, miris... ko mi pa da moze odatle da dobije input. Dobija za sada odakle moze. Meni je bitnija logika iza, koliko je u stanju da napravi nesto novo i smisleno od inputa koje ima. 

Pa trenutno nema, ali se radi na pluginovima koji mogu da mu daju te informacije. Bing verzija se čini da već ima neki rundimentarni vid, jer fotke dobijene searchom prolaze kroz neki (isto mašinski učen) preprocesor pa zna šta je na fotkama, koje boje i sl.

Ali opet, generalno govoreći sav napisani sadržaj bi nekom dovoljno inteligentnom biću trebao biti dovoljan da napiše teoriju svega u fizici (ako je ta teorija moguća), ili da nadje lek za mnoge bolesti (tipa neke vrste raka i sl), reši problem recikliranja nekih materija (isprinta genetski kod bakterije koja bi razlagala x vrstu plastike) i svašta nešto slično.

Edited April 28, 2023 by Spooky

[Amelija]

19 minutes ago, Spooky said:

 

John is too stubborn to rise/give(something)/come/go/leave to. -sve one imaju slicnu numeričku implementaciju da je "Džon suviše tvrdoglav da popne se/da (nešto)/dodje/ide/ode do" i onda zameniš glagol sa talk - i po logici to bi trebala biti skoro ista numerička prezentacija, da predstavlja skoro istu formulacija i značenje

 

pa nije isto značenje rise, give, talk (come and go jeste slično)

tako da nema nikakvih osnova da se misli da je reprezentacija sa "rise" obavezno slična onoj sa "talk"

 

plus, i te reprezentacije zavise od cilja pri obučavanju i predmet su posebnih istraživanja (šta koje reprezentacije čega iz različitih slojeva neuronske mreže ustvari predstavljaju)

 

i još nešto -- ti stvarno misliš da u tekstovima za obučavanje nije bilo različitih formulacija i opisa tvrdoglavosti?