Lord Protector Posted February 24 Share Posted February 24 (edited) preporuka za pogledati: multimodalna AI Edited February 24 by Lord Protector Quote Link to comment
Lord Protector Posted February 24 Share Posted February 24 (edited) dobar tutorial o attention mehanizmu od istog autora Edited February 24 by Lord Protector Quote Link to comment
Ras Posted March 1 Share Posted March 1 Lori Anderson ima izložbu I'll Be Your Mirror o AI generatoru teksta koji imitira stil Lu Rida: Lori Anderson: Potpuno sam "navučena" na veštačku inteligenciju i pokojnog supruga Lua Rida (nova.rs) Ovo na Nova portalu je priređen tekst iz Gardijana (ne mogu da prenesem direktan link): laurie anderson i'll be your mirror exhibition - Google претрага 1 1 Quote Link to comment
Lord Protector Posted March 2 Share Posted March 2 (edited) trenutno stanje stvari, citat: Quote Najjači čip sa najviše jezgara i najviše memorije i najveće brzine je Cerebras WSE-2, koji ima 850.000 jezgara, 2600 milijardi tranzistora, nekih 40GB keša sa brzinom protoka od 20 petabita u sekundi. Samo jedan taj čip omogućava treniranje LLM do 120.000 milijardi parametara, a nude sisteme sa do maksimalno 192 ovakva čipa, s tim da je 16 dovoljno za većinu NLP modela. Postoji mogućnost iznajmljivanja servisa kod Cirrascale Cloud Services, na kome za oko 2500$ možete da istrenirate ChatGPT-3 za samo 10 sati, dok je za model sa 70 milijardi parametara potrebno čak 85 dana i koštalo bi oko 2.5 miliona dolara. Na žalost, treniranje velikih jezičkih modela za bilo kakvu realnu primenu sada je u rukama samo nekoliko kompanija i startapova, svi ostali su izbačeni iz igre i mogu samo da se igraju nekim manjim modelima tražeći malo brže algoritme ili kvalitetnije modele, koji će opet za realnu primenu moći da se treniraju samo kod ovih nekoliko kompanija i startapova. https://venturebeat.com/ai/cerebras-unveils-worlds-larges-ai-training-supercomputer-with-54m-cores/ Edited March 2 by Lord Protector 1 Quote Link to comment
Lucia Posted March 2 Share Posted March 2 Ne razumem poslednji pasus. Ako je sve tako super brzo i jeftino sta sprecava navalu novih i postojecih kompanija, da ulete u igru? Sta sprecava tog ccloud services providera da sam gradi nas svojom superiornom platformom? Quote Link to comment
Lord Protector Posted March 2 Share Posted March 2 (edited) @Lucia ne znam gde je to rečeno Supercomputing je ekstremno skup sport, posebno cutting edge rešenja. Kod LLM veličina je presudan faktor. Novca, procesorske snage, parametara, kadrova... Meni je zanimljivo da su dostigli magičnu cifru od infrastrukturno mogućih 120 triliona parametara. (120 biliona ili 120.000 milijardi), na srpskom. Igramo se prvi put na nivou kompleksnosti ljudskog mozga, 100 triliona sinapsi, 86 milijardi neurona. 1.2 ×10^14 ??? Edited March 2 by Lord Protector Quote Link to comment
gone fishing Posted March 2 Share Posted March 2 koliko struje troši to čudo, sigurno mora da ima sopstvenu trafo stanicu , ako je potrošnja uporediva sa potrošnjom klasičnih cpu ispada da troši oko 3000 kW/h, odn oko 70000 kW/dan, što je potrošnja oko 5000 domaćinstava - najnoviji Quote supercomputer, Andromeda, which combines 16 WSE-2 chips into one cluster with 13.5 million AI-optimized cores, delivering up to 1 Exaflop of AI computing horsepower, or at least one quintillion (10 to the power of 18) operations per second.[34][35] The entire system consumes 500KW, which is a drastically lower amount than somewhat-comparable GPU-accelerated supercomputers. Quote Link to comment
Lucia Posted March 16 Share Posted March 16 On 1. 1. 2024. at 9:11, Lucia said: Andrej Karpathy (OpenAI) je poznat po YT hands-on serijama (From Zero to Hero, Let's Build GPT from scratch) koji su za svaku preporuku ali mozda ne bas zanimljivi za najsiru publiku bez osnovnog softverskog predznanja. Pre nekih mesec dana snimio je ovaj sjajan Intro to LLMs video - koji je bas za svakoga - pa cak i ako vam je skoro sve ovo poznato, nacin prezentacije i nesto od njegovog pogleda u buducnost vrede gledanja: @Lord Protector lajkovao si ovo pre par meseci na ovoj istoj temi Quote Link to comment
Lord Protector Posted March 16 Share Posted March 16 (edited) @Lucia Alchajmer LLM Edited March 16 by Lord Protector Quote Link to comment
Shan Jan Posted March 25 Share Posted March 25 Boga mi razvija se brze nego sto sam ocekivao... BTW, akcije nvidie koja proizvodi chipove za AI su porasle 20 puta od 2019 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.