Cum să rulați un model de limbă mare pe Linux (și de ce ar trebui)

Modelele lingvistice mari au potențialul de a revoluționa modul în care trăiești și lucrezi și pot purta conversații și pot răspunde la întrebări cu un grad variabil de acuratețe.

Pentru a utiliza unul, ai avea nevoie de obicei de un cont la un furnizor LLM și de a te autentifica printr-un site web sau o aplicație dedicată. Dar știai că poți rula propriul tău model de limbă mare complet offline pe Linux?

De ce să rulați un model de limbă mare pe Linux?

Modelele de limbaj mari (LLM) sunt peste tot în zilele noastre și pot procesa limbajul natural și pot oferi răspunsuri adecvate care vă pot păcăli făcându-vă să credeți că un om a răspuns. Microsoft lansează o nouă versiune de Bing bazată pe inteligență artificială, în timp ce a lui Alphabet Bard este acum o parte integrantă a căutărilor Google.

Departe de motoarele de căutare, puteți folosi așa-numiții „chatbots AI” pentru a răspunde la întrebări, a compune poezii sau chiar a-ți face temele pentru tine.

Dar, accesând online LLM-uri, depindeți de bunăvoința unui furnizor terță parte, care poate fi retras în orice moment.

De asemenea, sunteți supus unor restricții de utilizare. Cereți-i lui OpenAI să scrie o novelă erotică de 6.000 de cuvinte care se desfășoară în Germania nazistă, de exemplu, și veți primi un răspuns de tipul „Îmi cer scuze, dar nu voi putea genera acea poveste pentru tine”.

Orice introduceți în LLM-urile online este folosit pentru a le instrui în continuare, iar datele pe care ați dori să le păstrați confidențiale pot fi scuipat în viitor, ca parte a unui răspuns la întrebarea altcuiva.

De asemenea, sunteți supus unei lipse de servicii, deoarece sistemul este inundat de utilizatori și sâcâiește să vă abonați, astfel încât să puteți accesa platforma atunci când cererea este mare.

Dalai este o implementare gratuită și open-source a meta LLaMa LLM și Stanford's Alpaca. Acesta va rula confortabil pe un hardware modest și oferă o interfață web la îndemână și o serie de șabloane prompte, astfel încât să puteți întreba orice doriți, fără teama că un administrator vă va închide contul, LLM-ul va refuza să răspundă sau conexiunea dvs. va fi cădere brusca.

Când instalați un LLM local pe Linux, acesta este al dvs. și îl puteți utiliza cum doriți.

Cum se instalează Dalai pe Linux

Cel mai simplu mod de a instala Dalai pe Linux este să folosești Docker și Docker Compose. Dacă nu le aveți deja, consultați ghidul nostru despre cum să le faceți instalați Docker și Docker Compose.

Cu asta din drum, sunteți gata să începeți instalarea Dalai. Clonează depozitul Dalai GitHub și folosește comanda cd pentru a te muta în el:

clona git https://github.com/cocktailpeanut/dalai.git && cd dalai

Pentru a pune în funcțiune Dalai cu o interfață web, mai întâi, creați fișierul Docker Compose:

docker-compose build

Docker Compose va descărca și instala Python 3.11, Node Version Manager (NVM) și Node.js.

În etapa șapte din nouă, versiunea va părea să înghețe pe măsură ce Docker Compose descarcă Dalai. Nu vă faceți griji: verificați utilizarea lățimii de bandă pentru a vă asigura că ceva se întâmplă și simulați evoluția organismelor virtuale în terminalul dvs în timp ce aștepți.

În cele din urmă, veți reveni la promptul de comandă.

Modelele Dalai și LLaMa/Alpaca necesită multă memorie pentru a rula. Deși nu există nicio specificație oficială, un ghid brut bun este 4GB pentru modelul 7B, 8GB pentru modelul 13B, 16GB pentru modelul 30B și 32GB pentru modelul 65B.

Modelele Alpaca sunt relativ mici, modelul 13B ajungând la un modest 7,6 GB, dar greutățile LLaMA pot fi uriașe: descărcarea echivalentă a 13B vine la 60,21 GB, iar modelul 65B va ocupa o jumătate de terabyte epic pe hardul dvs. disc.

Decideți care model este cel mai potrivit pentru resursele dvs. și utilizați următoarea comandă pentru a-l instala:

docker-compose run dalai npx dalai alpaca install 13B

Sau:

docker-compose run dalai npx dalai llama install 13B

Există șansa ca modelele descărcate prin Dalai să fie corupte. Dacă acesta este cazul, luați-le de la Față îmbrățișată in schimb.

După ce reveniți la promptul de comandă, deschideți Docker Compose în modul detașat:

docker-compune până -d

Verificați dacă containerul funcționează corect cu:

docker-compose ps

Dacă totul funcționează așa cum ar trebui, deschideți un browser web și intrați gazdă locală: 3000 în bara de adrese.

Distrați-vă cu propriul model de limbă mare pe Linux

Când se deschide interfața web, veți vedea o casetă de text, în care vă puteți scrie solicitările.

Scrierea unor solicitări eficiente este dificilă, iar dezvoltatorii Dalai au oferit cu ajutor o serie de șabloane care vă vor ajuta să obțineți un răspuns util de la Dalai.

Acestea sunt AI-Dialog, Chatbot, Mod implicit, Instruire, Rescrie, Traduceți, și Tweet-sentiment.

După cum v-ați aștepta, AI-Dialog și Chatbot șabloanele sunt structurate într-un mod care vă permite să țineți o conversație de felul cu LLM. Principala diferență dintre cele două este că chatbot-ul ar trebui să fie „foarte inteligent”, în timp ce AI-Dialog este „util, amabil, ascultător, cinstit și își cunoaște propriile limite”.

Desigur, acesta este „AI”-ul tău, iar dacă îți place, poți modifica promptul astfel încât chatbot-ul să fie prost, iar caracteristicile dialogului AI să fie „sadice” și „inutile”. Depinde de tine.

Am testat Traduceți funcția prin copierea paragrafului de deschidere al unei știri BBC și rugându-i lui Dalai să îl traducă în spaniolă. Traducerea a fost bună și, când am rulat-o prin Google Translate pentru a o transforma înapoi în engleză, am constatat că era destul de lizibilă și reflecta faptele și sentimentul piesei originale.

La fel, cel Rescrie șablonul a transformat textul în mod convingător în deschiderea unui nou articol.

The Mod implicit și Instruire prompturile sunt structurate pentru a vă ajuta să puneți întrebări sau să-l instruiți direct pe Dalai.

Precizia răspunsului lui Dalai va varia foarte mult în funcție de modelul pe care îl utilizați. Un model 30B va fi mult mai util decât un model 7B. Dar chiar și atunci, ți se amintește că LLM-urile sunt pur și simplu sisteme sofisticate pentru a ghici următorul cuvânt dintr-o propoziție.

Nici modelele 7B, nici modelele 13B Alpaca nu au reușit să ofere un rezumat precis de 200 de cuvinte al nuvelei, „Cat in the Ploaie" de Ernest Hemingway și ambele au inventat intrigi și detalii complet convingătoare despre povestea. conținea.

Și în timp ce dialogul AI „util, amabil, ascultător, cinstit” care „își cunoaște propriile limite” și Chatbot „foarte inteligent” se va refuza solicitări controversate, îi puteți oferi lui Dalai o instrucțiune directă sau o solicitare implicită, iar acesta va scrie orice doriți, oricum doriți aceasta.

Un model de limbă mare pe mașina dvs. Linux este al dvs

Prin rularea unui model de limbă mare pe propria dvs. cutie Linux, nu sunteți supus supravegherii sau retragerii serviciului. Îl puteți folosi oricum credeți de cuviință, fără teama de consecințe pentru încălcarea unei politici de conținut corporative.

Dacă resursele dvs. de calcul sunt puține, puteți chiar să rulați un LLM local pe un umil Raspberry Pi.