ChatGPT este chatbot-ul AI care schimbă jocul OpenAI, care ține internetul uimit. Împotriva tuturor tendințelor tehnologice consacrate, ChatGPT nu a durat mult să-și găsească drumul în aproape fiecare domeniu al vieții noastre digitale.
Foarte puține inovații tehnologice au strâns atât de mult interes pe cât a obținut ChatGPT într-un timp atât de scurt. Nu pare să rămână niciodată fără trucuri interesante – în fiecare zi, aflăm despre lucruri noi interesante despre care nu știam că le pot face.
Dar cum poate ChatGPT să facă lucrurile pe care le poate face? Cum funcționează ChatGPT?
Cum a fost creat ChatGPT?
Pentru a înțelege cum funcționează ChatGPT, merită să ne uităm la originile și la creierul din spatele chatbot-ului de ultimă oră AI.
În primul rând, oricât de magic ar părea ChatGPT, a fost construit de geniul oamenilor, la fel ca orice tehnologie software demnă de acolo. OpenAI a creat ChatGPT, compania revoluționară de cercetare și dezvoltare AI din spatele altor instrumente AI puternice precum DALL-E, InstructGPT și Codex. Am răspuns anterior
câteva întrebări pe care le-ați putea avea despre ChatGPT, așa că aruncați o privire.În timp ce ChatGPT a devenit viral spre sfârșitul anului 2022, cea mai mare parte a tehnologiei de bază care alimentează ChatGPT există de mult mai mult timp, deși cu mult mai puțină publicitate. Modelul ChatGPT este construit pe GPT-3 (sau, mai precis, GPT-3.5). GPT înseamnă „Generative Pre-trained Transformer 3”.
GPT-3 este a treia iterație a liniei GPT de modele AI și a fost precedată de GPT-2 și GPT. Iterațiile anterioare ale modelelor GPT sunt la fel de utile, dar GPT-3 și iterația GPT-3.5 fin reglată sunt mult mai puternice. Cele mai multe dintre ceea ce ChatGPT poate face se datorează tehnologiei GPT-3 de bază.
Ce este GPT?
Așa că am stabilit că ChatGPT este construit pe a treia generație a modelului GPT. Dar, oricum, ce este GPT?
Să începem prin a despacheta acronimele într-un mod ușor de digerat și non-tehnic.
- „Generativul” în GPT reprezintă capacitatea sa de a genera text în limbajul uman natural.
- „Pre-antrenat” reprezintă faptul că modelul a fost deja antrenat pe un set de date finit. La fel cum ați citi o carte sau poate mai multe cărți înainte de a vi se cere să răspundeți la întrebări despre ea.
- „Transformerul” reprezintă arhitectura de bază de învățare automată care alimentează GPT.
Acum, punând totul împreună, Generative Pre-Trained Transformer (GPT) este un model de limbaj care a fost instruit folosind date de pe internet cu scopul de a genera text în limbaj uman atunci când este prezentat cu a prompt. Deci, am spus în mod repetat că GPT a fost antrenat, dar cum a fost antrenat?
Cum a fost instruit ChatGPT?
ChatGPT în sine nu a fost antrenat de la zero. În schimb, este o versiune reglată fin a GPT-3.5, care în sine este o versiune reglată fin a GPT-3. Modelul GPT-3 a fost antrenat cu o cantitate masivă de date colectate de pe internet. Gândiți-vă la Wikipedia, Twitter și Reddit - a fost alimentat cu date și text uman răzuit din toate colțurile internetului.
Dacă vă întrebați cum funcționează antrenamentul GPT, GPT-3 a fost antrenat folosind o combinație de învățare supravegheată și învățare prin consolidare prin feedback uman (RLHF). Învățarea supravegheată este etapa în care modelul este antrenat pe un set mare de date de text extras de pe internet. Etapa de învățare prin întărire este cea în care este antrenat pentru a produce răspunsuri mai bune care se aliniază cu ceea ce oamenii ar accepta ca fiind atât asemănătoare omului, cât și corecte.
Antrenament cu învățare supravegheată
Pentru a înțelege mai bine modul în care învățarea supravegheată și de întărire se aplică ChatGPT, imaginați-vă un scenariu în care un elev este învățat să scrie un eseu de către un profesor. Învățarea supravegheată ar fi echivalentul faptului că profesorul îi oferă elevului sute de eseuri de citit. Scopul aici este ca studentul să învețe cum ar trebui scris un eseu, obișnuindu-se cu tonul, vocabularul și structura a sute de eseuri.
Cu toate acestea, vor fi bune și rele printre acele sute de eseuri. Deoarece studentul a fost instruit atât pentru copii bune, cât și pentru cele rele, uneori, studentul ar putea scrie un eseu prost, deoarece studentul a fost alimentat și cu eseuri proaste la un moment dat. Aceasta înseamnă că atunci când i se cere să scrie un eseu, elevul poate scrie o copie care nu este acceptabilă sau suficient de bună pentru profesor. Aici intervine învățarea prin întărire.
Antrenament cu învățare de întărire
Odată ce profesorul stabilește că elevul înțelege regulile generale de redactare a eseurilor citind sute de eseuri, profesorul îi va oferi elevului teme frecvente pentru redactarea eseurilor. Ulterior, profesorul va oferi feedback cu privire la temele de scriere a eseului, spunându-le elevilor ce au făcut bine și ce ar putea îmbunătăți. Elevul folosește feedback-ul pentru a ghida temele ulterioare de scriere a eseurilor, ajutându-l să se îmbunătățească în timp.
Aceasta este similară cu etapa de învățare prin consolidare a antrenării modelului GPT. După ce a fost alimentat cu o cantitate masivă de text răzuit de pe internet, modelul poate răspunde la întrebări. Cu toate acestea, precizia sa nu va fi suficient de bună. Formatorii umani pun modelului o întrebare și oferă feedback cu privire la răspunsul care este mai potrivit pentru fiecare întrebare.
Modelul folosește feedback-ul pentru a-și îmbunătăți capacitatea de a răspunde la întrebări mai precis și mai mult ca modul în care ar răspunde un om. Acesta este modul în care ChatGPT poate genera răspunsuri care sună uman, care sunt atât coerente, captivante și, în general, precise.
Cum poate ChatGPT să răspundă la întrebări?
Deci, vizitați site-ul web ChatGPT și vă conectați. Solicitați ChatGPT: „scrieți o melodie rap în stilul lui Snoop Dogg”. Răspunde cu versuri la un cântec rap care arată izbitor de asemănător cu ceea ce ar scrie Snoop Dogg. Cum este posibil acest lucru?
Ei bine, „magia” din spatele ChatGPT se leagă perfect de antrenamentul său.
După ce ați acoperit fiecare centimetru din manualul dvs. de fizică 101, există șanse mari să puteți răspunde la orice întrebare care vi se pune. De ce? Pentru că ai citit-o și ai învățat-o. Este același lucru cu ChatGPT - învață. Și așa cum a arătat civilizația umană, cu suficientă pregătire, rezolvarea aproape oricărei probleme este posibilă.
Deși probabil că poți gestiona sute de cărți de-a lungul vieții, ChatGPT sau GPT a consumat deja o mare parte din internet. Aceasta este o bogăție imensă de informații. Acolo, undeva, sunt probabil versurile numeroaselor cântece ale lui Snoop Dogg. Deci, desigur, ChatGPT trebuie să fi consumat-o (nu uitați, este pre-antrenat) și să fi recunoscut modele în versurile lui Snoop Dogg. Apoi, ar folosi o „cunoaștere” a acestui model pentru a „prevaza” versurile unei melodii asemănătoare cu ceea ce ar scrie Snoop Dogg.
Accentul aici este pus pe „prevăd”. ChatGPT nu răspunde la întrebări la fel ca noi ca oameni. De exemplu, când te confrunți cu o întrebare de genul „Care este capitala Portugaliei?” ai putea spune Lisabona și spune-o pentru un „fapt”. Cu toate acestea, ChatGPT nu răspunde la întrebări cu certitudine 100%. În schimb, încearcă să prezică răspunsul corect având în vedere datele pe care le-a consumat în setul de date de antrenament.
Abordarea ChatGPT pentru a răspunde la întrebări
Pentru a înțelege mai bine conceptul de predicție a răspunsurilor, imaginați-vă că ChatGPT este un detectiv însărcinat să rezolve o crimă. Detectivului i se prezintă dovezi, dar nu știu cine a comis crima și cum s-a întâmplat. Cu toate acestea, cu suficiente dovezi, detectivul poate „prevaza” cu mare acuratețe cine este responsabil pentru crimă și cum a fost comisă crima.
După ce consumă date de pe internet, ChatGPT renunță la datele originale și stochează conexiunile neuronale sau modelele pe care le-a învățat din date. Aceste conexiuni sau modele sunt ca niște dovezi pe care ChatGPT le analizează atunci când încearcă să răspundă la orice solicitare.
Deci, teoretic, ChatGPT este ca un detectiv foarte bun. Nu știe sigur care ar trebui să fie faptele unui răspuns, dar încearcă, cu impresionante acuratețe, pentru a prezice o secvență logică a textului în limbajul uman care ar răspunde cel mai adecvat la întrebare. Așa obțineți răspunsuri la întrebările dvs.
Și acesta este și motivul pentru care unele dintre aceste răspunsuri par foarte convingătoare, dar sunt îngrozitor de greșite.
ChatGPT: Răspunde ca un om, gândește ca o mașină
Detaliile tehnice de bază ale ChatGPT sunt complexe. Cu toate acestea, dintr-un punct de vedere rudimentar, funcționează prin învățarea și reproducerea a ceea ce a învățat atunci când este solicitat, la fel cum facem noi ca oameni.
Pe măsură ce ChatGPT evoluează prin cercetare, modul în care funcționează s-ar putea schimba. Cu toate acestea, principiile sale fundamentale de lucru vor rămâne aceleași pentru o perioadă, cel puțin până când apare o nouă tehnologie perturbatoare.
