Care este limita de token ChatGPT și o puteți depăși?

ChatGPT a luat cu asalt lumea tehnologică și nu lipsesc progresele și actualizările. Dar, în ciuda utilizării tehnologiei avansate, există destul de mulți factori limitatori în versiunea actuală.

Un astfel de factor este sistemul de token, care continuă să rupă ciclul de evoluție, aducând în genunchi utilitatea aplicației. Dacă utilizați ChatGPT, este posibil să doriți să știți despre jetoanele ChatGPT și ce să faceți când rămâneți fără jetoane.

Să facem un pas înapoi și să vă oferim o perspectivă asupra a tot ce trebuie să știți despre mecanismele de lucru de bază ale aplicației.

Ce este un token ChatGPT?

Dacă treci pe lângă fațada aplicației, tot ce vezi este un limbaj de computer care respectă comenzile tale și îți oferă răspunsurile pe care le cauți. Cu toate acestea, backend-ul este doar o mulțime de cod, care învață în fiecare minut și se află la curent cu întrebările la care răspunde.

ChatGPT convertește fiecare cuvânt într-un simbol lizibil ori de câte ori pui o întrebare. Pentru a defalca în continuare, token-urile sunt fragmente de text și fiecare limbaj de programare folosește un set diferit de valori token pentru a înțelege cerințele.

Deoarece computerele nu înțeleg valorile textului în mod direct, ele le descompun într-o combinație de numere, adesea numite încorporare. Puteți lua în considerare chiar și înglobări precum Liste Python, care seamănă cu o listă de numere înrudite, cum ar fi [1.1,2.1,3.1,4.1…n].

Odată ce ChatGPT preia intrarea inițială, încearcă să prezică următoarea intrare posibilă pe baza informațiilor anterioare. Alege întreaga listă de token-uri anterioare și, folosind sinteza sa de codare, încearcă să prevină introducerea ulterioară de către utilizator. Utilizează și prezice câte un token la un moment dat pentru a simplifica limbajul să înțeleagă utilizarea.

Pentru a îmbunătăți predicțiile și a îmbunătăți acuratețea, preia întreaga listă de înglobare și o trece prin straturi transformatoare pentru a stabili asocieri între cuvinte. De exemplu, când pui o întrebare precum „Cine este Thomas Edison?”, ChatGPT preia cele mai valoroase cuvinte din listă: OMS și Edison.

Straturile transformatoare au rolul lor de jucat în întregul proces. Aceste straturi sunt o formă de arhitectură a rețelei neuronale antrenate pentru a prelua cele mai relevante cuvinte cheie dintr-un șir de cuvinte. Cu toate acestea, procesul de antrenament nu este atât de simplu pe cât pare, deoarece este nevoie de mult timp pentru a antrena straturile transformatoare pe gigaocteți de date.

Chiar dacă ChatGPT prezice un singur token la un moment dat, tehnologia sa auto-regresivă este programată pentru a prezice și a alimenta modelul primar pentru a elibera rezultatul. Modelul este reglat să ruleze o singură dată pentru fiecare jeton, astfel încât rezultatul este tipărit câte un cuvânt. Ieșirea se oprește automat atunci când aplicația întâlnește o comandă stop token.

De exemplu, dacă te uiți la calculatorul de simboluri de pe site-ul web ChatGPT, poți calcula utilizarea simbolului pe baza întrebărilor tale.

Să introducem un text exemplu, cum ar fi:

Cum explic utilizarea jetoanelor în ChatGPT?

Conform calculatorului, există 46 de caractere în acest șir, care vor consuma 13 jetoane. Dacă îl descompuneți în ID-uri Token, arată cam așa:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Conform Calculator de jetoane OpenAI:

O regulă utilă este că un simbol corespunde, în general, la ~4 caractere de text pentru textul obișnuit în limba engleză. Acest lucru se traduce în aproximativ ¾ dintr-un cuvânt (deci 100 de jetoane ~= 75 de cuvinte).

Gratuit vs. Jetoane plătite

Pentru a vă oferi o aromă a ceea ce este în cadrul aplicației ChatGPT, OpenAI vă oferă un abonament cu simbol limitat gratuit. Dacă doriți să experimentați cu API-ul ChatGPT, utilizați creditul gratuit de 5 USD, care este valabil trei luni. Odată ce limita este epuizată (sau perioada de probă a expirat), puteți plăti pe măsură ce utilizați, ceea ce crește cota maximă la 120 USD.

ChatGPT Plus: Merită abonamentul plătit?

Pentru a trece la un nivel superior, puteți chiar să vă înscrieți la Oferta ChatGPT Plus, ceea ce vă aduce înapoi cu 20 USD pe lună. Având în vedere utilizarea extinsă și popularitatea întregului model AI, iată caracteristicile de top ale modelului de abonament cu plată:

• Acces la ChatGPT, chiar și atunci când site-ul web se confruntă cu perioade de nefuncționare din cauza afluxului de utilizatori
• Rate de răspuns îmbunătățite
• Acces direct la noi funcții și versiuni

Dacă simțiți că aceste funcții merită pe deplin și pe aleea voastră, vă puteți înscrie pentru abonamentul cu plată și puteți beneficia de ele imediat.

Structura de prețuri ChatGPT Token

Există câteva modele diferite de aplicații disponibile, pe care le puteți alege în funcție de cerințele dvs.:

Ada este cel mai rapid, în timp ce DaVinci este cel mai puternic model din această listă de modele. Promptul este întrebarea, în timp ce completarea se ocupă de răspunsuri.

Limite maxime de jetoane

Fiecare model vă permite să setați numărul maxim de jetoane în cadrul fiecărei interogări. Această metodă controlează numărul maxim de jetoane pe care aplicația le generează într-un singur apel, limitând rezultatul. Caracteristica max_token este destul de utilă, mai ales atunci când doriți să controlați lungimea ieșirii, evitând în același timp utilizarea excesivă a token-ului și a creditelor. Lungimea implicită este fixată la 2048 de jetoane, în timp ce cea maximă poate fi setată la 4096 de jetoane.

Restricționarea utilizării token-ului poate duce la răspunsuri scurte, care ar putea limita rezultatul și vă pot deteriora experiența de utilizare.

ChatGPT3 are o limită superioară de 4096; cu toate acestea, odată cu introducerea ChatGPT4, limitele token-ului sunt crescute, după cum urmează:

Dacă rezultatul este trunchiat, trebuie să creșteți limita maximă specificată din tabloul de bord. Amintiți-vă, suma jetoanelor prompte și maxime ar trebui să fie întotdeauna mai mică decât egală cu limita maximă de jetoane a modelului.

De exemplu, în cadrul modelului ChatGPT, prompt_tokens + max_tokens <= 4096 jetoane.

Învață să-ți controlezi solicitările ChatGPT pentru cele mai bune rezultate

Indiferent cum folosești aplicația bazată pe inteligență artificială, sunt șanse să fii nevoit să găsești modalități de a te juca inteligent cu întrebările și frazele tale. În funcție de tiparele dvs. de utilizare, probabil că veți folosi ChatGPT pe scară largă pentru fiecare sarcină.

Pentru a obține cele mai bune rezultate, trebuie să învățați cum să lucrați cu metodologia token-ului și să vă îmbunătățiți abilitățile pentru a vă asigura că limitele de utilizare rămân intacte, oferindu-vă în același timp cele mai bune răspunsuri posibile.