Ce este muzica deepfake? Și cum este creat?

Multă vreme, muzica a reușit să evite lumea deepfake-urilor pentru că era pur și simplu prea complicat să sintetizezi vocea cuiva. Totul s-a schimbat odată cu progresele în tehnologia AI. A rezultat clone de voce ale artiștilor celebri care pot fi folosite pentru a produce noi piese vocale.

Odată cu instrumentele AI care devin mai accesibile oamenilor obișnuiți, muzica deepfake este o problemă în creștere. Iată ce este și cum este creat.

Evoluția muzicii deepfake

Când auzi artistul tău preferat cântând pe Spotify sau YouTube, cu greu crezi că ar putea fi fals, dar progresele AI au făcut acest lucru să devină realitate. Pe lângă imaginile și videoclipurile false, există și muzica deepfake.

Instrumentele AI pot reproduce cu fidelitate vocea cântând a unei persoane prin antrenarea unui model AI pe mostre audio ale vocii sale. Creat de fani ai artistului sau fani ai tehnologiei AI, mai mulți oameni încearcă să creeze doppelgänger vocali.

Oamenii au încercat să sintetizeze vocea folosind un computer de ani de zile, mergând încă din 1961, când IBM 7094 a fost primul computer care a cântat. Puteți auzi voce generată de computer cântând Daisy Bell într-un clip YouTube și încearcă să-ți imaginezi cât de uimitor a fost acest moment.

Avansarea rapidă către secolul 21, iar tehnologia AI a îmbunătățit calitatea vocii sintetizate și ne-a permis să facem lucruri pe care cei mai mulți dintre noi nu le-am crezut niciodată posibile până acum, cum ar fi clonarea vocilor oamenilor.

Aruncă o privire la acest clip cu Roberto Nickson transformându-și vocea în artistul și rapperul Kanye West. Vizionarea videoclipului pare ciudat, sună cu adevărat exact ca Kanye, dar este și incomod de vizionat. Fără să se gândească prea mult la modul în care artistul ar putea gândi sau simți și fără permisiune, ar putea fi văzută ca însușirea vocii cuiva.

Spre deosebire de interpretarea computerizată a lui Daisy Bell, clonarea vocală AI este capabilă să reproducă asemănarea exactă cu vocea cuiva, care include toate diferențele subtile de timbru care ne ajută să identificăm vocea unică a cuiva profil. Fără licență și făcută fără permisiune, totuși, muzica deepfake are câteva probleme serioase, la care vom ajunge mai târziu.

Cum sunt create melodiile Deepfake

Sunt folosite diferite metode pentru a crea melodii deepfake, dar multe dintre ele folosesc tehnologia AI. Proiecte open-source cum ar fi Proiectul SoftVC VITS Singing Voice Conversion pe GitHub, de exemplu, au dezvoltat un model AI care face ceea ce spune în numele său: convertește un eșantion audio într-o voce cântând.

Acest model preia un fișier audio existent al unei persoane care cântă și îl convertește în vocea altcuiva. Lucruri precum versurile și ritmul vocii originale sunt păstrate, dar tonul, timbrul și calitățile vocale personale sunt convertite la vocea specificată de setul de date de antrenament.

Rețineți că alte părți ale cântecului pot fi produse în continuare manual, cum ar fi crearea de ritmuri și melodii în același stil și gen ca artistul original.

Pentru a crea un deepfake al vocii lui Kanye West, un set de date terță parte a trebuit să fie introdus în modelul SoftVC VITS, care ar include mostre ale vocii reale a lui Kanye. Fișierul care conține setul de date a fost eliminat de către autor, ceea ce nu este surprinzător având în vedere teritoriul legal tulbure care ar putea veni cu seturi de date neautorizate.

Deși nu a fost transformată într-o aplicație comercială, puteți găsi o versiune a aplicației Model SoftVC VITS pe Google Colab care este mai ușor de utilizat.

Până la stabilirea limitelor etice și legale, este posibil ca aplicații de clonare a vocii mai ușor de utilizat pop-up — nu prea diferit de aplicația Drayk.it care a transformat o descriere text în melodii cu stilul artistului Drake. Mai târziu a fost închis.

Alte instrumente care sunt folosite pentru a crea muzică deepfake includ modele de limbaj mari, cum ar fi ChatGPT, care poate fi folosit pentru a scrie versuri în stilul unui artist celebru; și Jukebox-ul OpenAI și MusicLM de la Google, care sunt modele AI generative care pot crea muzică sub formă audio brută complet de la zero.

Poti auzi diferenta?

O piesă creată de un utilizator anonim numit Ghostwriter a devenit virală pe TikTok în aprilie 2023, în mare măsură pentru că conținea versuri cântate de artiștii Drake și The Weeknd. Desigur, acestea nu au fost vocile reale ale artiștilor, ci vocile false.

Dacă vocea nu ar fi fost o copie atât de bună a originalului, s-ar putea să nu fi fost un hit. Cu un pic de săpătură, ai putea afla destul de repede dacă a fost adevărata afacere sau nu, dar folosind doar urechile, ai putea doar ghici dacă a fost autentic.

Dacă doriți să identifica o imagine generată de AI există cel puțin câteva aberații vizuale pe care le-ați putea căuta. În ceea ce privește sunetul, semnele precum sunetul de joasă fidelitate sau erorile din piesă nu înseamnă mare lucru, deoarece acestea sunt alegeri creative folosite în producția muzicală tot timpul.

Ceea ce este și mai interesant este că multor oameni le place cu adevărat melodia, chiar și după ce au descoperit că nu sunt vocile reale ale lui Drake sau The Weeknd. Admiratorii au subliniat că nu totul a fost pur și simplu generat cu inteligență artificială și că abilitățile și munca reale au fost implicate în scrierea versurilor, compunerea ritmurilor și a pune totul cap la cap.

Piesa a ajuns pe Spotify și YouTube înainte de a fi eliminată în zilele următoare, dar nu înainte ca fanii să fi descărcat melodia ca mp3. Puteți găsi în continuare copii ale melodiei online dacă căutați „Heart On My Sleeve, Drake ft. Sfarsitul de saptamana".

Destul de curând, identificarea diferenței dintre clonele vocale generate de AI și vocea umană reală va deveni aproape imposibilă. Având în vedere acest lucru, oamenii se întreabă dacă aceasta este o bună utilizare a tehnologiei AI, în primul rând, sau chiar o utilizare legală a acesteia.

Probleme cu muzica deepfake

Pe de o parte, oamenilor le place să asculte mashup-uri făcute de fani ale artiștilor lor preferați și respectă creativitatea care face ca acestea să devină realitate. Dar capacitatea de a avea clone vocale în primul rând se bazează pe seturi de date care pot fi sau nu autorizate.

Fără permisiune, mostre de voce ale unei persoane sunt colectate într-un set de date care este apoi folosit pentru a antrena un model de conversie a vocii AI. Este asemănător cu problema cu care se confruntă artiști care doresc să-și elimine imaginile din seturile de date de antrenament care sunt folosite pentru a antrena generatoare de imagini AI precum Dall-E sau Midjourney.

Nici legea drepturilor de autor nu este pregătită să se ocupe de muzica deepfake. În 2020, artistul Jay-Z a eșuat în încercarea de a forța YouTube să elimine sunetul generat de inteligență artificială cu replicile lui care rapeau din solilocviul „To Be or Not to Be” al lui William Shakespeare.

Când o melodie deepfake este încărcată pe Spotify sau YouTube, se pune și întrebarea cine face bani. Ar trebui să poți câștiga bani pe o melodie care copie aproape exact vocea altcuiva?

Holly Herndon este o artistă care a încercat să creeze un sistem pentru ca oamenii să o compenseze în schimbul utilizării modelului ei de voce pentru a crea lucrări originale. În timp ce alți artiști precum Nick Cave au a vorbit împotriva AI, scriind:

Cântecele apar din suferință, ceea ce vreau să spun că sunt bazate pe lupta umană internă complexă a creației și, ei bine, din câte știu eu, algoritmii nu simt.

Uneori, Textul generat de AI poate lipsi de creativitate cu totul, dar sunt încă postate online. AI ar putea avea ca rezultat o mulțime de muzică proastă care a avut foarte puțin efort.

Găsirea unui echilibru între muzică și inteligență artificială

Muzica deepfake este creată folosind instrumente AI și modele AI care au fost instruite pe seturi de date neautorizate. Unele modele sunt open-source și sunt accesibile gratuit, în timp ce s-au făcut alte încercări de a le împacheta într-o aplicație ușor de utilizat.

Pe măsură ce mai mulți oameni pun mâna pe modele sau aplicații muzicale deepfake, merită să ne gândim la impactul asupra artistului. Obținerea consimțământului pentru seturile de date de antrenament și compensarea artistului sunt doar câteva dintre problemele care planează asupra tehnologiei muzicale AI.