Ce este TensorFlow Lite și cum este un cadru de învățare profundă?

Este posibil să fi întâlnit TensorFlow Lite în timp ce parcurgeți plăci de dezvoltare Edge AI sau proiecte de accelerare AI.

TensorFlow Lite este un cadru de pachete software care permite instruirea ML la nivel local pe hardware. Această procesare și calcul de pe dispozitiv permite dezvoltatorilor să-și ruleze modelele pe hardware-ul vizat. Hardware-ul include plăci de dezvoltare, module hardware, dispozitive încorporate și IoT.

Prezentare generală a cadrului TensorFlow Lite

TensorFlow este un termen popular în învățarea profundă, deoarece mulți dezvoltatori de ML folosesc acest cadru pentru diferite cazuri de utilizare. Oferă ușurința implementării modele de învățare automată și inferențe pentru aplicații AI.

Dar TensorFlow Lite este un cadru de învățare profundă pentru inferența locală, în special pentru hardware-ul de calcul redus. Permite învățarea automată pe dispozitiv, asistând dezvoltatorii în rularea modelelor lor pe dispozitive hardware și IoT compatibile.

Un dezvoltator trebuie să selecteze un model adecvat în funcție de cazul de utilizare. Cadrul oferă, de asemenea, o opțiune de recalificare a modelului existent și pe un set de date personalizat. Deoarece modelul tampon de protocol al TensorFlow vine cu o dimensiune mare și necesită o putere de calcul avansată, acesta permite conversia modelului TensorFlow în modelul TensorFlow Lite.

Personalizarea parametrilor de optimizare și cuantificare permite reducerea dimensiunii și latenței modelului.

În afară de beneficiile de latență și dimensiune ale TensorFlow Lite, cadrul oferă securitatea datelor, deoarece instruirea are loc local pe dispozitiv. În plus, nu este nevoie de conectivitate la internet. Astfel, implementarea aplicațiilor nu este limitată la anumite zone cu conectivitate.

Acești factori reduc în cele din urmă consumul de energie al dispozitivului prin eliminarea factorului de conectivitate și creșterea eficienței inferenței învățării profunde.

Modelele cadrului TensorFlow Lite există într-un format multiplataforma cunoscut sub numele de FlatBuffers. Este o bibliotecă de serializare care stochează date ierarhice într-un buffer binar plat, astfel încât accesul direct este posibil fără despachetare. De asemenea, puteți observa extensia „.tflite” pentru modelele TensorFlow Lite. Această tehnică de reprezentare permite optimizări în calcule și reduce cerințele de memorie. Prin urmare, o face mult mai bună decât modelele TensorFlow

TinyML pe TensorFlow Lite Micro

Deoarece TensorFlow Lite este compatibil cu diferite platforme pentru aplicații Edge AI, era necesară o convergență suplimentară a bibliotecii. Prin urmare, organizația a venit cu o bibliotecă de subseturi a TensorFlow Lite, cunoscută sub numele de TensorFlow Lite Micro. TensorFlow Lite Micro rulează în mod specific modele de învățare automată pe microcontrolere la nivel local, cu cerințe minime de memorie de aproximativ câțiva kiloocteți.

Runtime-ul principal al procedurii se integrează cu 16 KB pe un Arm Cortex M3 și poate funcționa pe diferite modele. Cadrul nu necesită suport suplimentar pentru sistemul de operare sau alte biblioteci de limbaj la nivel înalt ca dependențe pentru executarea inferenței pe dispozitiv.

Dezvoltarea rădăcinilor TensorFlow Lite Micro către C ++ 11, care are nevoie de arhitectură pe 32 de biți pentru compatibilitate. Vorbind mai multe despre arhitecturi, biblioteca funcționează bine pe o gamă robustă de procesoare bazate pe arhitectura Arm Cortex-M Series la altele arhitecturi de proiectare precum ESP32.

Flux de lucru pentru cazuri de utilizare micro TensorFlow Lite

Procesul de instruire a rețelei neuronale necesită hardware de calcul ridicat. Astfel, este instruit asupra generalului Modelul TensorFlow. Cu toate acestea, instruirea este necesară numai dacă un set de date personalizat se potrivește unui model de învățare profundă, în timp ce modelele pre-instruite din cadrul cadrului pot fi utilizate și pentru aplicații.

Presupunând un caz de utilizare personalizat cu setul de date specific aplicației, utilizatorul pregătește modelul pe cadrul general TensorFlow cu capacitate și arhitectură de procesare ridicate. Odată încheiat antrenamentul, evaluarea modelului utilizând tehnici de testare verifică acuratețea și fiabilitatea modelului. Mai mult, procesul este urmat de convertirea modelului TensorFlow în modelul TensorFlow Lite compatibil hardware în format .tflite.

Formatul .tflite este un fișier tampon plat comun cadrului TensorFlow Lite și hardware-ului compatibil. Modelul poate fi utilizat în continuare pentru instruirea de inferență cu privire la datele în timp real primite pe model. Pregătirea prin inferență a optimizat modelele pentru cazuri de utilizare robuste. Prin urmare, opțiunea de instruire prin inferență este crucială pentru margine Aplicații AI.

Majoritatea firmware-ului microcontrolerului nu acceptă sistemul de fișiere nativ pentru încorporarea directă a formatului tampon plat al modelului TensorFlow Lite. Prin urmare, conversia fișierului .tflite este necesară într-un format de structură matrice, care este compatibil cu microcontrolerele.

Includerea programului în matricea C urmată de compilarea normală este o tehnică ușoară pentru o astfel de conversie. Formatul rezultat acționează ca un fișier sursă și constă dintr-o matrice de caractere compatibilă cu microcontrolerele.

Dispozitive care acceptă TensorFlow Lite Micro

TensorFlow Lite este potrivit pentru dispozitive puternice, dar vine cu dezavantajul încărcării mai mari a procesorului. Deși TensorFlow Lite Micro are fișiere de dimensiuni mici predispuse la inadecvare, optimizând dimensiunea fișierului se potrivește cu memoria poate îmbunătăți semnificativ ieșirea pentru hardware de procesare redusă și redusă, cum ar fi microcontrolere.

Iată lista plăcilor de dezvoltare din documentația oficială TensorFlow care acceptă TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• Set de descoperire STM32F746
• Adafruit EdgeBadge
• Kit Adafruit TensorFlow Lite pentru microcontrolere
• Adafruit Circuit Playground Bluefruit
• Espressif ESP32-DevKitC
• Espressif ESP-EYE
• Terminal Wio: ATSAMD51
• Himax WE-I Plus EVB Endpoint AI Development Board

TensorFlow Lite Micro este disponibil și ca bibliotecă Arduino pentru suport extins pentru microcontrolere. De asemenea, poate construi proiecte pentru medii de dezvoltare hardware similare cu Mbed.

TensorFlow Lite oferă multe

Cadrul de învățare profundă TensorFlow Lite deschide posibilitățile pentru o serie de aplicații de margine AI. Întrucât cadrul este open-source pentru entuziaștii AI, suportul comunității îl face și mai popular pentru cazurile de utilizare a învățării automate. Platforma generală a TensorFlow Lite îmbunătățește mediul pentru creșterea aplicațiilor de vârf pentru dispozitive încorporate și IoT

În plus, există diverse exemple pentru începători care să îi ajute cu cazuri practice de utilizare în cadrul. Unele dintre aceste exemple includ detectarea persoanelor în funcție de datele colectate de senzorul de imagine al plăcii de dezvoltare și programul standard Hello World pentru toate plăcile de dezvoltare. Exemplele includ, de asemenea, aplicații precum detectarea gesturilor și recunoașterea vorbirii și pentru plăcile de dezvoltare specifice.

Pentru mai multe informații despre TensorFlow Lite și TensorFlow Lite Micro, puteți vizita pagina de documentație oficială a organizației. Există o mulțime de secțiuni conceptuale și tutoriale pentru o mai bună înțelegere a cadrului.

Începeți cu recunoașterea imaginilor folosind TensorFlow și Raspberry Pi

Doriți să faceți cunoștință cu recunoașterea imaginii? Datorită Tensorflow și Raspberry Pi, puteți începe imediat.

Citiți în continuare

Despre autor