Modelele de limbaj mari (LLM) sunt tehnologia de bază care a impulsionat ascensiunea fulgerătoare a chatbot-urilor AI generative. Instrumente precum ChatGPT, Google Bard și Bing Chat se bazează pe LLM-uri pentru a genera răspunsuri de tip uman la solicitările și întrebările dvs.

Dar ce sunt LLM-urile și cum funcționează ele? Aici ne-am propus să demitificăm LLM-urile.

Ce este un model de limbă mare?

În termenii săi cei mai simpli, un LLM este o bază de date masivă de date text care poate fi referită pentru a genera răspunsuri de tip uman la solicitările dumneavoastră. Textul provine dintr-o serie de surse și poate ajunge la miliarde de cuvinte.

Printre sursele comune de date text utilizate se numără:

  • Literatură: LLM-urile conțin adesea cantități enorme de literatură contemporană și clasică. Aceasta poate include cărți, poezie și piese de teatru.
  • Conținut online: Un LLM va conține cel mai adesea un depozit mare de conținut online, inclusiv bloguri, conținut web, întrebări și răspunsuri pe forum și alte texte online.
    • instagram viewer
  • Știri și actualități: Unii, dar nu toți, LLM-urile pot accesa subiecte de știri curente. Anumite LLM, precum GPT-3.5, sunt restricționate în acest sens.
  • Social Media: Social media reprezintă o resursă uriașă a limbajului natural. LLM-urile folosesc text de pe platforme majore precum Facebook, Twitter și Instagram.

Desigur, a avea o bază de date uriașă de text este un lucru, dar LLM-ii trebuie să fie instruiți pentru a-i da sens pentru a produce răspunsuri asemănătoare omului. Cum face acest lucru este ceea ce vom trata în continuare.

Cum funcționează LLM-urile?

Cum folosesc LLM-urile aceste depozite pentru a-și crea răspunsurile? Primul pas este analizarea datelor folosind un proces numit deep learning.

Învățarea profundă este folosită pentru a identifica tiparele și nuanțele limbajului uman. Aceasta include obținerea unei înțelegeri a gramaticii și a sintaxei. Dar, important, include și contextul. Înțelegerea contextului este o parte crucială a LLM.

Să ne uităm la un exemplu despre modul în care LLM-urile pot folosi contextul.

Solicitarea din imaginea următoare menționează a vedea un liliac noaptea. De aici, ChatGPT a înțeles că vorbim despre un animal și nu, de exemplu, o bâtă de baseball. Desigur, altor chatbot le place Bing Chat sau Google Bard poate răspunde cu totul diferit.

Cu toate acestea, nu este infailibil și, așa cum arată acest exemplu, uneori va trebui să furnizați informații suplimentare pentru a obține răspunsul dorit.

În acest caz, am aruncat în mod deliberat o mică minge curbă pentru a demonstra cât de ușor se pierde contextul. Dar oamenii pot înțelege greșit contextul întrebărilor și are nevoie doar de un prompt suplimentar pentru a corecta răspunsul.

Pentru a genera aceste răspunsuri, LLM-urile folosesc o tehnică numită generarea limbajului natural (NLG). Aceasta implică examinarea intrării și utilizarea tiparelor învățate din depozitul său de date pentru a genera un răspuns corect și relevant din punct de vedere contextual.

Dar LLM-urile merg mai adânc decât asta. De asemenea, pot adapta răspunsurile pentru a se potrivi cu tonul emoțional al intrării. Atunci când sunt combinate cu înțelegerea contextuală, cele două fațete sunt principalii factori care permit LLM-urilor să creeze răspunsuri asemănătoare omului.

Pentru a rezuma, LLM-urile folosesc o bază de date de text masivă cu o combinație de tehnici de învățare profundă și NLG pentru a crea răspunsuri de tip uman la solicitările dvs. Dar există limitări la ceea ce poate realiza acest lucru.

Care sunt limitările LLM-urilor?

LLM-urile reprezintă o realizare tehnologică impresionantă. Dar tehnologia este departe de a fi perfectă și există încă o mulțime de limitări cu privire la ceea ce pot realiza. Unele dintre cele mai notabile dintre acestea sunt enumerate mai jos:

  1. Înțelegerea contextuală: Am menționat acest lucru ca pe ceva pe care LLM-urile îl încorporează în răspunsurile lor. Cu toate acestea, ei nu înțeleg întotdeauna corect și adesea sunt incapabili să înțeleagă contextul, ceea ce duce la răspunsuri nepotrivite sau pur și simplu greșite.
  2. Părtinire: Orice părtinire prezentă în datele de antrenament poate fi adesea prezentă în răspunsuri. Aceasta include prejudecăți față de gen, rasă, geografie și cultură.
  3. Bun simț: Bunul simț este greu de cuantificat, dar oamenii învață acest lucru de la o vârstă fragedă pur și simplu urmărind lumea din jurul lor. LLM-urile nu au această experiență inerentă la care să recurgă. Ei înțeleg doar ceea ce le-a fost furnizat prin datele lor de antrenament, iar acest lucru nu le oferă o înțelegere adevărată a lumii în care există.
  4. Un LLM este la fel de bun ca datele sale de formare: Precizia nu poate fi niciodată garantată. Vechea zicală computerizată „Garbage In, Garbage Out” rezumă perfect această limitare. LLM-urile sunt la fel de bune pe cât le permit calitatea și cantitatea datelor lor de formare.

Există, de asemenea, un argument că preocupările etice pot fi considerate o limitare a LLM-urilor, dar acest subiect nu intră în domeniul de aplicare al acestui articol.

3 Exemple de LLM populare

Progresul continuu al IA este acum susținut în mare măsură de LLM. Deci, deși nu sunt tocmai o tehnologie nouă, cu siguranță au atins un moment critic, iar acum există multe modele.

Iată câteva dintre cele mai utilizate LLM-uri.

1. GPT

Generative Pre-Trained Transformer (GPT) este poate cel mai cunoscut LLM. GPT-3.5 alimentează platforma ChatGPT folosită pentru exemplele din acest articol, în timp ce cea mai nouă versiune, GPT-4, este disponibilă printr-un abonament ChatGPT Plus. Microsoft folosește și cea mai recentă versiune în platforma sa Bing Chat.

2. LaMDA

Acesta este LLM inițial folosit de Google Bard, chatbot-ul AI al Google. Versiunea cu care a fost lansată inițial Bard a fost descrisă ca o versiune „lite” a LLM. Iterația PaLM mai puternică a LLM a înlocuit aceasta.

3. BERT

BERT înseamnă Bi-directional Encoder Representation from Transformers. Caracteristicile bidirecționale ale modelului se diferențiază BERT de la alte LLM, cum ar fi GPT.

Au fost dezvoltate multe mai multe LLM, iar ramurile sunt comune de la principalele LLM. Pe măsură ce se dezvoltă, acestea vor continua să crească în complexitate, acuratețe și relevanță. Dar ce le rezervă viitorul LLM-urilor?

Viitorul LLM-urilor

Acestea vor modela, fără îndoială, modul în care interacționăm cu tehnologia în viitor. Adoptarea rapidă a modelelor precum ChatGPT și Bing Chat este o dovadă a acestui fapt. Pe termen scurt, Este puțin probabil ca AI să te înlocuiască la locul de muncă. Dar există încă incertitudine cu privire la cât de mare vor juca acestea în viețile noastre în viitor.

Argumentele etice pot avea încă un cuvânt de spus în modul în care integrăm aceste instrumente în societate. Cu toate acestea, lăsând acest lucru deoparte, unele dintre evoluțiile LLM așteptate includ:

  1. Eficiență îmbunătățită: Cu LLM-urile cu sute de milioane de parametri, aceștia sunt incredibil de amânați de resurse. Odată cu îmbunătățirea hardware-ului și a algoritmilor, este probabil ca aceștia să devină mai eficiente din punct de vedere energetic. Acest lucru va accelera, de asemenea, timpii de răspuns.
  2. Conștientizare contextuală îmbunătățită:LLM-urile sunt de autoformare; cu cât primesc mai multă utilizare și feedback, cu atât devin mai buni. Important este că acest lucru este fără nicio altă inginerie majoră. Pe măsură ce tehnologia progresează, se vor observa îmbunătățiri ale capacităților lingvistice și ale conștientizării contextuale.
  3. Antrenat pentru sarcini specifice: Instrumentele Jack-of-all-trade care sunt fața publică a LLM-urilor sunt predispuse la erori. Dar pe măsură ce se dezvoltă și utilizatorii îi instruiesc pentru nevoi specifice, LLM-urile pot juca un rol important în domenii precum medicină, drept, finanțe și educație.
  4. Integrare mai mare: LLM-urile ar putea deveni asistenți digitali personali. Gândește-te la Siri pe steroizi și ai înțeles ideea. LLM-urile ar putea deveni asistenți virtuali care vă ajută cu orice, de la sugerarea meselor până la gestionarea corespondenței dvs.

Acestea sunt doar câteva dintre domeniile în care LLM-urile vor deveni probabil o parte mai mare a modului în care trăim.

LLM-urile în transformare și educație

LLM-urile deschid o lume interesantă de posibilități. Creșterea rapidă a chatbot-urilor precum ChatGPT, Bing Chat și Google Bard este o dovadă a resurselor care sunt turnate în domeniu.

O astfel de proliferare a resurselor nu poate decât să vadă aceste instrumente devenind mai puternice, versatile și mai precise. Aplicațiile potențiale ale unor astfel de instrumente sunt vaste și, în acest moment, doar zgâriem suprafața unei noi resurse incredibile.