Ce este motorul neuronal Apple și cum funcționează?

iPhone, iPad, Mac și Apple TV folosesc o unitate de procesare neuronală specializată numită Apple Neural Engine (ANE), care este mult mai rapidă și mai eficientă din punct de vedere energetic decât CPU sau GPU.

ANE face posibile funcții avansate de pe dispozitiv, cum ar fi procesarea limbajului natural și analiza imaginilor, fără a accesa cloud-ul sau a folosi puterea excesivă.

Să explorăm modul în care funcționează ANE și evoluția sa, inclusiv inferența și inteligența pe care o oferă pe platformele Apple și modul în care dezvoltatorii o pot folosi în aplicații terță parte.

Ce este Apple Neural Engine (ANE)?

Apple Neural Engine este un nume de marketing pentru un cluster de nuclee de calcul foarte specializate, optimizate pentru execuția eficientă din punct de vedere energetic a rețelelor neuronale profunde pe dispozitivele Apple. Accelerează algoritmii de învățare automată (ML) și inteligență artificială (AI), oferind avantaje extraordinare de viteză, memorie și putere față de CPU sau GPU principal.

ANE este o mare parte din motivul pentru care cele mai recente iPhone-uri, iPad-uri, Mac-uri și televizoare Apple sunt receptive și nu se încinge în timpul calculelor grele de ML și AI. Din păcate, nu toate dispozitivele Apple au un ANE - Apple Watch, Mac-urile bazate pe Intel și dispozitivele mai vechi de 2016 nu au unul.

Primul ANE care a debutat în chipul Apple A11 în iPhone X din 2017 a fost suficient de puternic pentru a suporta Face ID și Animoji. Prin comparație, cel mai recent ANE din cipul A15 Bionic este de 26 de ori mai rapid decât prima versiune. În zilele noastre, ANE permite funcții precum Siri offline, iar dezvoltatorii îl pot folosi pentru a rula modele ML antrenate anterior, eliberând CPU și GPU pentru a se concentra pe sarcini care sunt mai potrivite pentru ele.

Cum funcționează motorul neuronal Apple?

ANE oferă control și logică aritmetică optimizată pentru efectuarea de operațiuni de calcul extinse, cum ar fi înmulțirea și acumulare, utilizată în mod obișnuit în algoritmii ML și AI, cum ar fi clasificarea imaginilor, analiza media, traducerea automată și Mai mult.

Conform Brevetul Apple intitulat „Motor planar multimodal pentru procesor neuronal”, ANE constă din mai multe nuclee de motor neural și unul sau mai multe circuite plane multimode.

Designul este optimizat pentru calculul paralel, unde multe operații, cum ar fi înmulțirile de matrice care rulează în trilioane de iterații, trebuie efectuate simultan.

Pentru a accelera inferența în algoritmii AI, ANE utilizează modele predictive. În plus, ANE are propriul cache și acceptă doar câteva tipuri de date, ceea ce ajută la maximizarea performanței.

Caracteristici AI oferite de ANE

Iată câteva caracteristici de pe dispozitiv cu care este posibil să fiți familiarizat, pe care ANE le face posibile.

• Procesarea limbajului natural: Recunoaștere vocală mai rapidă și mai fiabilă pentru Dictation și Siri; Învățare îmbunătățită a limbajului natural în aplicația Translate și în întregul sistem; Traducerea instantanee a textului în Fotografii, Cameră foto și alte aplicații pentru iPhone.
• Viziune computerizată: Găsirea de obiecte în imagini, cum ar fi repere, animale de companie, plante, cărți și flori folosind aplicația Fotografii sau căutarea Spotlight; Obținerea de informații suplimentare despre obiecte recunoscute folosind Visual Look Up în locuri precum Safari, Mail și Messages.
• Realitate augmentată: ocluzia persoanelor și urmărirea mișcării în aplicațiile AR.
• Analiza video: Detectarea fețelor și a obiectelor pe videoclipuri în aplicații precum Final Cut Pro.
• Efectele camerei: Decupare automată cu Center Stage; Încețoșarea fundalului în timpul apelurilor video FaceTime.
• Jocuri: Efecte fotorealiste în jocurile video 3D.
• Text live: Oferă recunoaștere optică a caracterelor (OCR) în Cameră și Fotografii, permițându-vă să copiați cu ușurință scrisul de mână sau text precum o parolă sau o adresă Wi-Fi din imagini.
• Fotografie computațională: Deep Fusion analizează pixelii pentru o mai bună reducere a zgomotului, o gamă dinamică mai mare și o expunere automată și echilibru de alb îmbunătățite, valorificând Smart HDR atunci când este cazul; Fotografie cu adâncime mică de câmp, inclusiv realizarea de portrete în modul de noapte; Reglarea nivelului de estompare a fundalului cu Controlul adâncimii.
• Tidbits: ANE este, de asemenea, folosit pentru Stiluri fotografice în aplicația Cameră, curatarea Amintiri și efecte stilistice în Fotografii, recomandări personalizate, cum ar fi sugestii de imagini de fundal, subtitrări VoiceOver, găsirea de duplicate de imagini în Fotografii etc.

Unele dintre funcțiile menționate mai sus, cum ar fi recunoașterea imaginii, funcționează și fără un prezent ANE, dar vor funcționa mult mai lent și vor solicita bateria dispozitivului.

O scurtă istorie a motorului neuronal Apple: de la iPhone X la Mac-urile M2

În 2017, Apple a implementat primul său ANE sub forma a două nuclee specializate în cipul A11 al iPhone X. Conform standardelor actuale, a fost relativ lent, cu doar 600 de miliarde de operațiuni pe secundă.

ANE de a doua generație a apărut în interiorul cipului A12 în 2018, având de patru ori mai multe nuclee. Evaluat la cinci trilioane de operațiuni pe secundă, acest ANE a fost de aproape nouă ori mai rapid și a folosit o zecime din puterea predecesorului său.

Cipul A13 din 2019 a avut același ANE cu opt nuclee, dar a funcționat cu o cincime mai rapid în timp ce folosea cu 15% mai puțină putere, un produs al nodului semiconductor îmbunătățit de 7 nm al TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabrică cipuri proiectate de Apple.

Evoluția motorului neuronal Apple

În anul următor, Apple A14 aproape a dublat performanța ANE la 11 trilioane de operațiuni pe secundă, obținute prin creșterea numărului de nuclee ANE de la 8 la 16. În 2021, A15 Bionic a beneficiat de procesul de 5 nm de a doua generație al TSMC, care a sporit și mai mult performanța ANE la 15,8 trilioane de operațiuni pe secundă fără a adăuga mai multe nuclee.

Primele cipuri M1, M1 Pro și M1 Max legate de Mac au avut același ANE ca și A14, aducând ML și AI avansate, accelerate de hardware pe platforma macOS, pentru prima dată.

În 2022, M1 Ultra a combinat două cipuri M1 Max într-un singur pachet folosind interconexiunea personalizată de la Apple, numită UltraFusion. Cu de două ori mai multe nuclee ANE (32), M1 Ultra a dublat performanța ANE la 22 de trilioane de operații pe secundă.

Apple A16 în 2022 a fost fabricat folosind nodul N4 îmbunătățit al TSMC, aducând o performanță ANE cu aproximativ 8% mai rapidă (17 trilioane de operații pe secundă) față de ANE-ul A15.

Primele iPad-uri compatibile cu ANE au fost iPad mini de a cincea generație (2019), iPad Air de a treia generație (2019) și iPad de generația a opta (2020). Toate iPad-urile lansate de atunci au un ANE.

Cum pot dezvoltatorii să folosească ANE în aplicații?

Multe aplicații terță parte folosesc ANE pentru funcții care altfel nu ar fi fezabile. De exemplu, editorul de imagini Pixelmator Pro oferă instrumente precum ML Super Resolution și ML Enhance. Și în djay Pro, ANE separă ritmurile, instrumentele și melodiile vocale dintr-o înregistrare.

Cu toate acestea, dezvoltatorii terți nu au acces la nivel scăzut la ANE. În schimb, toate apelurile ANE trebuie să treacă prin cadrul software Apple pentru învățarea automată, Core ML. Cu Core ML, dezvoltatorii își pot construi, antrena și rula modelele lor ML direct pe dispozitiv. Un astfel de model este apoi utilizat pentru a face predicții bazate pe date noi de intrare.

„Odată ce un model se află pe dispozitivul unui utilizator, puteți utiliza Core ML pentru a-l reinstrui sau pentru a-l ajusta pe dispozitiv, cu datele utilizatorului respectiv”, conform prezentării generale a Core ML de pe dispozitiv. Site-ul Apple.

Pentru a accelera algoritmii ML și AI, Core ML folosește nu doar ANE, ci și CPU și GPU. Acest lucru permite Core ML să ruleze un model chiar dacă nu este disponibil ANE. Dar cu un ANE prezent, Core ML va rula mult mai repede, iar bateria nu se va descărca la fel de repede.

Multe funcții Apple nu ar funcționa fără ANE

Multe funcții de pe dispozitiv nu ar fi posibile fără procesarea rapidă a algoritmilor AI și ML și amprenta minimă de memorie și consumul de energie pe care ANE le aduce la masă. Magia Apple este să aibă un coprocesor dedicat pentru rularea rețelelor neuronale în mod privat pe dispozitiv, în loc să descarce acele sarcini pe serverele din cloud.

Cu ANE, atât Apple, cât și dezvoltatorii pot implementa rețele neuronale profunde și pot beneficia de beneficiile accelerate învățarea automată pentru diverse modele predictive, cum ar fi traducerea automată, detectarea obiectelor, clasificarea imaginilor, etc.