Google PaLM 2 vs. OpenAI GPT-4: Care este diferența?

Google a dezvăluit următoarea generație a modelului său de limbaj Pathways (PaLM 2) pe 10 mai 2023, la Google I/O 2023. Noul său model de limbă mare (LLM) se mândrește cu multe îmbunătățiri față de predecesorul său (PaLM) și ar putea fi în sfârșit gata să-și înfrunte cel mai mare rival, GPT-4 al OpenAI.

Dar cât de mult a îmbunătățit Google? Este PaLM 2 factorul de diferență pe care Google speră să fie și, mai important, cu atât de multe capacități similare, prin ce este diferit PaLM 2 de GPT-4 de la OpenAI?

PaLM 2 vs. GPT-4: Prezentare generală a performanței

PaLM 2 este plin de capabilități noi și îmbunătățite peste predecesorul său. Unul dintre avantajele unice pe care PaLM 2 le are față de GPT-4 este faptul că este disponibil în dimensiuni mai mici specifice anumitor aplicații care nu au atât de multă putere de procesare la bord.

Toate aceste dimensiuni diferite au propriile lor modele mai mici numite Gecko, Otter, Bizon și Unicorn, Gecko fiind cel mai mic, urmat de Otter, Bizon și, în sfârșit, Unicorn, cel mai mare model.

Google susține, de asemenea, o îmbunătățire a capacităților de raționament față de GPT-4 în WinoGrande și DROP, primul trăgând o marjă îngustă în ARC-C. Cu toate acestea, există o îmbunătățire semnificativă în general când vine vorba de PaLM și SOTA.

PaLM 2 este, de asemenea, mai bun la matematică, conform celor 91 de pagini ale Google Lucrarea de cercetare PaLM 2 [PDF]. Cu toate acestea, modul în care Google și OpenAI și-au structurat rezultatele testelor face dificilă compararea directă a celor două modele. De asemenea, Google a omis unele comparații, probabil pentru că PaLM 2 nu a funcționat la fel de bine ca GPT-4.

În MMLU, GPT-4 a obținut 86,4, în timp ce PaLM 2 a obținut 81,2. Același lucru este valabil și pentru HellaSwag, unde a marcat GPT-4 95.3, dar PaLM 2 a putut aduna doar 86.8, iar ARC-E, unde GPT-4 și PaLM 2 au primit 96.3 și 89.7, respectiv.

Cel mai mare model din familia PaLM 2 este PaLM 2-L. Deși nu cunoaștem dimensiunea lui exactă, știm că este semnificativ mai mic decât cel mai mare model PaLM, dar utilizează mai mult calcul de antrenament. Potrivit Google, PaLM are 540 de miliarde de parametri, așa că „semnificativ mai mic” ar trebui să pună PaLM 2 între 10 și 300 de miliarde de parametri. Rețineți că aceste cifre sunt doar presupuneri bazate pe ceea ce a spus Google în lucrarea PaLM 2.

Dacă acest număr este aproape de 100 de miliarde sau mai puțin, PaLM 2 este cel mai probabil mai mic în ceea ce privește parametrii decât GPT-3.5. Considerând că un model cu potențial sub 100 de miliarde poate merge în picioare cu GPT-4 și chiar îl poate învinge la unele sarcini este impresionant. GPT-3.5 a aruncat inițial totul din apă, inclusiv PaLM, dar PaLM 2 a făcut o recuperare destul de mare.

Diferențele între datele de antrenament GPT-4 și PaLM 2

Deși Google nu a dezvăluit dimensiunea setului de date de antrenament al PaLM 2, compania raportează în lucrarea sa de cercetare că noul set de date de instruire al noului LLM este semnificativ mai mare. De asemenea, OpenAI a adoptat aceeași abordare atunci când a dezvăluit GPT-4, fără a pretinde mărimea setului de date de antrenament.

Cu toate acestea, Google a dorit să se concentreze pe o înțelegere mai profundă a matematicii, logicii, raționamentului și științei, ceea ce înseamnă că o mare parte din datele de antrenament ale PaLM 2 sunt concentrate pe subiectele menționate mai sus. Google spune în lucrarea sa că corpusul de pre-formare al PaLM 2 este compus din mai multe surse, inclusiv documente web, cărți, cod, matematică și date conversaționale, oferindu-i îmbunătățiri generale, cel puțin în comparație cu Palmier.

Abilitățile de conversație ale lui PaLM 2 ar trebui să fie, de asemenea, la un alt nivel, având în vedere că modelul a fost antrenat în peste 100 de limbi pentru a-i oferi o mai bună înțelegere contextuală și o traducere mai bună capabilități.

În ceea ce privește datele de antrenament ale GPT-4, OpenAI ne-a spus că a antrenat modelul folosind date disponibile public și datele pe care le-a licențiat. Pagina de cercetare a lui GPT-4 afirmă: „Datele sunt un corp de date la scară web care include soluții corecte și incorecte la probleme de matematică, slabe și raționament puternic, afirmații auto-contradictorii și consistente și reprezentând o mare varietate de ideologii și idei.”

Atunci când GPT-4 este adresată o întrebare, poate produce o mare varietate de răspunsuri, care nu toate pot fi relevante pentru interogarea dvs. Pentru a-l alinia cu intenția utilizatorului, OpenAI a reglat fin comportamentul modelului folosind învățarea prin consolidare cu feedback uman.

Deși este posibil să nu cunoaștem datele exacte de antrenament pe care au fost antrenate niciunul dintre aceste modele, știm că intenția de antrenament a fost foarte diferită. Va trebui să așteptăm și să vedem cum se diferențiază această diferență în intenția de instruire între cele două modele într-o implementare în lumea reală.

Chatbot și servicii PaLM 2 și GPT-4

Primul portal care accesează ambele LLM-uri folosește chatbot-urile respective, Bard de la PaLM 2 și ChatGPT de la GPT-4. Acestea fiind spuse, GPT-4 se află în spatele unui paywall cu ChatGPT Plus, iar utilizatorii gratuiti au acces doar la GPT-3.5. Bard, pe de altă parte, este gratuit pentru toți și disponibil în 180 de țări.

Asta nu înseamnă că nu poți accesa gratuit GPT-4. Bing AI Chat de la Microsoft folosește GPT-4 și este complet gratuit, deschis tuturor și disponibil chiar lângă Bing Search, cel mai mare rival al Google în spațiu.

Google I/O 2023 a fost plin de anunțuri despre modul în care PaLM 2 și integrarea AI generativă vor îmbunătăți Google Workspace experiență cu funcțiile AI care vin în Google Docs, Sheets, Slides, Gmail și aproape fiecare serviciu oferit de gigantul căutării. În plus, Google a confirmat că PaLM 2 a fost deja integrat în peste 25 de produse Google, inclusiv Android și YouTube.

În comparație, Microsoft a adus deja funcții AI în suita de programe Microsoft Office și multe dintre serviciile sale. În acest moment, puteți experimenta ambele LLM-uri în propriile versiuni ale ofertelor similare de la două companii rivale care se confruntă cap la cap în lupta AI.

Cu toate acestea, deoarece GPT-4 a apărut devreme și a avut grijă să evite multe dintre gafele pe care Google le-a făcut cu Bard-ul original, a fost LLM de facto pentru dezvoltatori terți, startup-uri și aproape oricine altcineva care caută să încorporeze un model AI capabil în serviciul lor, astfel încât departe. Noi avem o lista de aplicații GPT-4 dacă doriți să le verificați.

Asta nu înseamnă că dezvoltatorii nu vor trece la sau cel puțin nu vor încerca PaLM 2, dar Google încă trebuie să ajungă din urmă cu OpenAI în acest sens. Și faptul că PaLM 2 este open-source, în loc să fie blocat în spatele unui API plătit, înseamnă că are potențialul de a fi adoptat mai pe scară largă decât GPT-4.

Poate PaLM 2 să accepte GPT-4?

PaLM 2 este încă foarte nou, așa că răspunsul dacă poate accepta sau nu GPT-4 rămâne de răspuns. Cu toate acestea, cu tot ceea ce promite Google și cu maniera agresivă pe care a decis să o folosească pentru a-l propaga, se pare că PaLM 2 poate oferi GPT-4 o șansă pentru banii săi.

Cu toate acestea, GPT-4 este încă un model destul de capabil și, după cum am menționat anterior, depășește PaLM 2 în câteva comparații. Acestea fiind spuse, multiplele modele mai mici ale lui PaLM 2 îi conferă un avantaj de nerefuzat. Gecko în sine este atât de ușor încât poate funcționa pe dispozitive mobile, chiar și atunci când este offline. Aceasta înseamnă că PaLM 2 poate suporta o clasă complet diferită de produse și dispozitive care ar putea avea dificultăți să folosească GPT-4.

Cursa AI se încălzește

Odată cu lansarea PaLM2, cursa pentru dominația AI s-a încălzit, deoarece acesta ar putea fi doar primul adversar demn care să meargă împotriva GPT-4. Cu un model AI multimodal mai nou, numit „Gemeni”, tot în curs de formare, Google nu dă semne de încetinire aici.