În timp ce OpenAI deschide calea dezvoltării AI generative, mulți au acuzat Google că a rămas în urmă. Cu toate acestea, pentru a nu fi mai prejos, Google a lansat un nou model de limbă mare, PaLM 2, la conferința Google I/O din 2023.
Pregătit să vină în patru dimensiuni diferite pentru o gamă largă de aplicații, noul LLM al Google se pare că alimentează deja mai multe servicii Google, urmând să vină multe altele.
Ce este PaLM 2?
La Google I/O 2023, care a avut loc pe 10 mai, CEO-ul Google, Sunda Pichai, a dezvăluit cel mai recent joc Google: PALM 2.
Prescurtare de la Pathways Language Model 2, LLM actualizat de la Google este a doua iterație a PaLM, prima versiune fiind lansată în aprilie 2022. Nu-ți amintești de PaLM? Ei bine, la acea vreme, a fost o veste mare și a primit o grămadă de interes pentru capacitatea sa de a conversa puțin, de a spune glume de bază și așa mai departe. Înainte rapid șase luni și GPT-3.5 de la OpenAI a scos totul din apă, inclusiv PaLM.
De atunci, OpenAI a lansat GPT-4
, o actualizare masivă pentru GPT-3.5. Cu toate acestea, în timp ce modelul mai nou este integrat în numeroase instrumente, în special în Bing AI Chat de la Microsoft, Google urmărește la OpenAI și GPT-4 cu PaLM 2 și va spera că LLM-ul său actualizat poate închide ceea ce părea a fi un decalaj semnificativ - lansarea Google Bard a fost cu greu un hohote. succes.Pichai a anunțat că PaLM 2 va veni în patru dimensiuni diferite de model: Gecko, Otter, Bison și Unicorn.
Gecko este atât de ușor încât poate funcționa pe dispozitive mobile și este suficient de rapid pentru aplicații interactive grozave pe dispozitiv, chiar și atunci când este offline. Această versatilitate înseamnă că PaLM 2 poate fi reglat pentru a sprijini clase întregi de produse în mai multe moduri, pentru a ajuta mai mulți oameni.
Având în vedere că Gecko poate procesa aproximativ 20 de jetoane pe secundă — jetoanele sunt valorile atribuite cuvintelor reale pentru a fi utilizate de modelele AI generative — se pare că va schimba jocul pentru instrumentele AI implementabile pe mobil.
Date de antrenament PaLM 2
Google nu a fost tocmai receptiv cu datele de antrenament ale PaLM 2, de înțeles având în vedere că tocmai a fost lansat. Dar de la Google Raportul PaLM 2 [PDF] a spus că dorește ca PaLM 2 să aibă o înțelegere mai profundă a matematicii, logicii și științei și că o mare parte din corpusul său de instruire s-a concentrat pe aceste subiecte.
Cu toate acestea, merită remarcat faptul că PaLM nu a fost rătăcit. Când Google a dezvăluit PaLM, a confirmat că a fost antrenat pe 540 de miliarde de parametri, care la acea vreme era o cifră colosală.
Se presupune că GPT-4 de la OpenAI folosește peste un trilion de parametri, unele speculații punând această cifră la 1,7 trilioane. Este un pariu sigur că, deoarece Google dorește ca PaLM 2 să concureze direct cu LLM-urile OpenAI, va prezenta, cel puțin, o cifră comparabilă, dacă nu mai mult.
Un alt impuls semnificativ pentru PaLM 2 îl reprezintă datele de instruire lingvistică. Google a instruit PaLM 2 în peste 100 de limbi pentru a-i oferi o mai mare profunzime și înțelegere contextuală și pentru a-și crește capacitățile de traducere.
Dar nu sunt doar limbi vorbite. În legătură cu cererea Google pentru PaLM 2 pentru a oferi un raționament științific și matematic mai bun, LLM a De asemenea, a fost instruit în peste 20 de limbaje de programare, ceea ce îl face un atu fenomenal pentru programatori.
PaLM 2 alimentează deja serviciile Google, dar încă necesită o reglare fină
Nu va trece mult până când vom pune mâna pe PaLM 2 și vom vedea ce poate face. Cu ceva noroc, lansarea oricăror aplicații și servicii PaLM 2 va fi mai bună decât Bard.
Dar este posibil să fi folosit deja (din punct de vedere tehnic!) PaLM 2. Google a confirmat că PaLM 2 este deja implementat și utilizat în 25 dintre produsele sale, inclusiv Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets și multe altele.
Dar raportul PaLM 2 dezvăluie, de asemenea, că mai sunt de făcut, în special pentru răspunsuri toxice într-o serie de limbi.
De exemplu, atunci când i se oferă în mod specific solicitări toxice, PaLM 2 generează răspunsuri toxice mai mult de 30 la sută din timp. În plus, în anumite limbi – engleză, germană și portugheză – PaLM 2 a oferit răspunsuri toxice mai mult peste 17 la sută din timp, cu îndemnuri inclusiv identități rasiale și religii care împing această cifră superior.
Indiferent cât de mult încearcă cercetătorii să curețe datele de formare LLM, este inevitabil că unii vor scăpa. Următoarea fază este de a continua antrenamentul PaLM 2 pentru a reduce aceste răspunsuri toxice.
Este o perioadă de boom pentru modelele lingvistice mari
OpenAI nu a fost primul care a lansat un model de limbă mare, dar modelele sale GPT-3, GPT-3.5 și GPT-4 au aprins, fără îndoială, hârtia tactilă albastră pe AI generativă.
PaLM 2 de la Google are unele probleme de rezolvat, dar faptul că este deja utilizat în mai multe servicii Google arată încrederea pe care compania o are în ultimul său LLM.