4 exemple care arată că nu poți avea încredere în ZeroGPT și alte instrumente de detectare AI

Chatbot-urile AI sunt, fără îndoială, instrumente puternice și utile. Cu toate acestea, capacitatea de a distinge între conținutul generat de oameni și conținutul generat de AI devine o problemă importantă.

Pentru a rezolva această problemă, au apărut instrumente precum ZeroGPT. Acestea sunt concepute pentru a face diferența între AI și conținutul generat de oameni. Dar ele funcționează?

Să aruncăm o privire mai atentă la instrumentele de detectare AI și să vedem dacă pot face diferența dintre textul uman și cel generat de AI.

Se spune că dovada budincii este în mâncare. Deci, să încercăm câteva teste și să vedem cât de eficiente sunt aceste instrumente. Este imposibil să testați fiecare instrument, așa că testăm unul dintre cele mai populare instrumente – ZeroGPT.

În ceea ce privește materialul, ne-am gândit că ar fi destul de distractiv să oferim ChatGPT să scriem o introducere pentru acest articol și apoi să o comparăm cu introducerea „generată de oameni”:

Testul unu: compararea unui articol uman și a unui articol generat de inteligență artificială

Primul lucru pe care l-am făcut a fost să facem ChatGPT să genereze o introducere. Am introdus titlul și nu i-am dat alte informații. Pentru înregistrare, am folosit GPT-3.5 pentru test.

Apoi am copiat textul și l-am lipit în ZeroGPT. După cum puteți vedea, rezultatele au fost mai puțin decât stelare.

Un început discret, dar ilustrează cât de eficienți sunt chatboții AI. Pentru a finaliza testul, l-am lăsat pe ZeroGPT să analizeze o schiță de introducere creată de oameni.

Cel puțin a corectat această parte. În general, ZeroGPT a eșuat în această rundă. A stabilit că cel puțin o parte din introducerea generată de IA era suspectă, dar nu a evidențiat probleme specifice.

Testul doi: Problema fals pozitiv

Pe măsură ce utilizarea ChatGPT și a altor instrumente AI crește, probabilitatea de a cunoaște sau de a auzi despre cineva care se confruntă cu afirmațiile că munca sa a fost generată de AI crește. Aceste acuzații sunt una dintre cele mai grave probleme cu ChatGPT și instrumentele de detectare AI precum ZeroGPT, deoarece acest tip de eroare poate afecta reputația și poate afecta mijloacele de trai.

Fals pozitive apar atunci când conținutul generat de oameni este semnalat incorect ca fiind opera AI. După cum arată exemplul de mai jos, problema este ușor de replicat. Sunt un pasionat de pescari, așa că am decis să scriu o introducere la un articol imaginar despre pescuitul în Florida. Am lăsat apoi ZeroGPT să analizeze textul - a semnalat că textul a fost 100% generat de IA.

Ca să fiu corect, urmăream acest rezultat. Am păstrat textul generic și am folosit limbajul „salesy”. Dar punctul că un om a scris asta rămâne la fel de valabil. Acesta nu este un inconvenient sau ceva ce poate fi doar respins din umeri. Erorile de genul acesta pot avea ramificații serioase pentru scriitori, studenți și alți profesioniști care creează lucrări scrise.

Testul trei: testarea ZeroGPT pe ficțiune

Pentru al treilea test, vom folosi ChatGPT și îi vom cere să scrie ceva ficțiune. Pentru a face acest lucru, am creat un scenariu și am solicitat ChatGPT să scrie o scurtă introducere la o poveste fictivă.

Am fost simplu și am cerut doar să scriem o intro pentru o poveste despre doi străini care se întâlnesc pe un peron de cale ferată:

Și iată răspunsul de la ZeroGPT:

După cum reiese din rezultat, ZeroGPT nu poate deosebi faptele de ficțiune atunci când se ocupă de ficțiune!

Testul patru: articole de știri

Există ceva neliniștitor în faptul că AI poate să ne informeze despre ceea ce se întâmplă în lumea din jurul nostru. Aceasta nu este întotdeauna neapărat „știri false”, deoarece poate fi relevantă și informativă, dar există preocupări etice clare cu privire la IA.

Pentru a fi corect față de ZeroGPT, a funcționat bine în acest test. Am cerut ChatGPT și Bing Chat să scrie articole de știri despre mai multe subiecte, iar ZeroGPT a reușit de fiecare dată. Exemplul de mai jos arată că declară corect un articol generat de Bing Chat ca fiind 100% generat de AI.

Instrumentul a semnalat atât de constant fiecare articol de știri ca fiind generat de inteligență artificială, încât am decis să-l testăm pe un articol de știri fals pe care l-am scris în acest scop.

Cel puțin a identificat unele dintre articole ca fiind generate de oameni, dar a semnalat peste 70% ca fiind generate de AI. Din nou, trebuie să fim corecți aici; aceasta a fost o re-hash destul de simplă a articolului Bing și nu a fost calitatea premiului Pulitzer.

Dar ideea rămâne valabilă. Acesta a fost scris de un om folosind cercetări găsite pe internet.

Nu există un singur motiv în spatele defectelor în instrumente precum ZeroGPT. Cu toate acestea, o problemă fundamentală este eficiența chatbot-urilor AI generative. Acestea reprezintă o tehnologie incredibil de puternică și care evoluează rapid, care le face efectiv o țintă mobilă pentru instrumentele de detectare AI.

Chatbot-ii AI îmbunătățesc continuu calitatea și „umanitatea” rezultatelor lor, iar acest lucru face ca sarcina să fie extrem de provocatoare. Cu toate acestea, indiferent de dificultăți, partea AI a ecuației trebuie să facă un apel de judecată fără supraveghere umană.

Instrumente precum ZeroGPT folosesc AI pentru a-și decide. Dar AI nu se trezește doar dimineața și știe ce să facă. Trebuie antrenat și aici devine relevantă partea tehnică a ecuației.

Prejudecățile algoritmice și date de antrenament sunt inevitabile, având în vedere dimensiunea mare a modele mari de limbaj pe care sunt instruite aceste instrumente. Aceasta nu este o problemă care este limitată la instrumentele de detectare AI, aceleași părtiniri pot determina generarea de chatbot-uri AI. răspunsuri incorecte și halucinații IA.

Cu toate acestea, aceste erori se manifestă ca „steaguri AI” incorecte în instrumentele de detectare. Acest lucru nu este ideal, dar este o reflectare a stării actuale a tehnologiei AI. Prejudecățile inerente datelor de antrenament pot duce la fals pozitive sau false negative.

Un alt factor care trebuie luat în considerare este ceea ce constituie conținutul generat de AI. Dacă conținutul generat de AI este pur și simplu reformulat, este conținut uman sau generat de AI? Aceasta reprezintă o altă provocare majoră - estomparea liniilor dintre cele două face ca definirea conținutului creat de mașini să fie aproape imposibilă.

Privind spre viitorul detectării AI

Acest lucru poate suna ca și cum am bate instrumente precum ZeroGPT. Acesta nu este cazul; ei se confruntă cu provocări masive, iar tehnologia abia nu iese din scutece. Adoptarea rapidă a instrumentelor precum ChatGPT a creat o cerere pentru detectarea AI, iar tehnologiei ar trebui să aibă șansa de a se maturiza și de a învăța.

Nu se poate aștepta ca aceste instrumente să facă față singure provocărilor prezentate de chatbot. Dar ele pot juca un rol valoros într-un efort concertat și cu mai multe fațete de a aborda provocările AI. Ele reprezintă o piesă dintr-un puzzle mai mare care include practici etice AI, supraveghere umană și cercetare și dezvoltare în curs.

Provocările cu care se confruntă aceste instrumente sunt imagini în oglindă ale provocărilor cu care se confruntă societatea în timp ce ne confruntăm cu dilemele asociate cu o nouă eră tehnologică.

AI sau nu AI? Aceasta este întrebarea

Instrumente precum ZeroGPT sunt defecte, nu există nicio îndoială. Dar nu sunt lipsite de valoare și reprezintă un pas important pe măsură ce încercăm să gestionăm și să reglementăm AI. Precizia lor se va îmbunătăți, dar la fel se va îmbunătăți și sofisticarea IA pe care sunt instruiți să o detecteze. Undeva, în mijlocul acestei curse înarmărilor, trebuie să găsim un echilibru cu care societatea este confortabilă.

Întrebarea — AI sau nu AI? Este mai mult decât o simplă discuție despre dacă ceva este generat de AI sau nu. Este indicativ pentru întrebările mai mari cu care se confruntă societatea pe măsură ce ne adaptăm la noua lume curajoasă a AI.

Pentru înregistrare, și conform ZeroGPT, 27,21% din această concluzie a fost generată de IA. Hmm.