Cinci întrebări despre "Proiectul HoloLens" Microsoft

Publicitate

Miercuri dimineață, Microsoft a arătat un proiect la care lucrează de șapte ani, a apelat un set cu cască de realitate augmentată Proiect HoloLens.

Viziunea este ambițioasă: vor să schimbe fundamental modul în care oamenii interacționează cu calculatoarele construirea unei perechi de ochelari care pot amesteca fluid conținutul virtual și real împreună în spațiul fizic al utilizatorul. Acesta este ca. tehnologie de realitate virtuală De ce tehnologia realității virtuale îți va suflă mintea în 5 aniViitorul realității virtuale include urmărirea capului, ochilor și expresiilor, atingerea simulată și multe altele. Aceste tehnologii uimitoare vă vor fi disponibile în 5 ani sau mai puțin. Citeste mai mult , dar fundamental mai puternic. Mai mult, vor să facă toate procesările la nivel local pe ochelari - fără computer, fără telefon, fără cabluri. Chiar lansează o versiune specială de Windows doar pentru noul hardware. Aceasta este următoarea etapă a evoluției tehnologice pentru toți aceia

Jocuri AR Aplicații de realitate mărită: utile, sau doar Hype? Teste MakeUseOfÎn 2011, analiștii au prezis creșterea aplicațiilor mobile cu Realitate Augmentată. Tehnologia în curs de dezvoltare ar revoluționa modul în care interacționăm cu dispozitivele noastre mobile. Flash forward doi ani și zeci de aplicații AR populează toate ... Citeste mai mult ați instalat pe telefon o dată și nu ați mai atins de atunci.

Perioada lor de timp este chiar mai ambițioasă decât obiectivele lor: vor să livreze kituri de dezvoltatori în primăvara acestui an, iar produsul de consum „în timpul timpului Windows 10”. Iată terenul.

Toate acestea sună grozav, dar recunosc un grad destul de ridicat de scepticism.

Tehnologiile pe care le folosește Microsoft au provocări serioase și fundamentale și, până în prezent, Microsoft a fost foarte atentă cu privire la modul în care (sau dacă) le-au rezolvat. Dacă nu le-au rezolvat, atunci obiectivul lor de transport în termen de un an este foarte preocupant. Ultimul lucru de care are nevoie VR și AR este o mare companie care livrează un alt produs pe jumătate coapte, cum ar fi Kinect. Amintiți-vă Proiect demo Natal din 2009?

Fără alte detalii, iată cele mai importante cinci lucruri pe care aș dori să le știu despre HoloLens.

Este acesta un afișaj de câmp luminos?

Pentru a-l înțelege pe acesta, trebuie să privim puțin mai adânc în 3D și cum funcționează. Pentru a obține senzația unei lumi 3D reale și tangibile, creierul nostru integrează o mulțime de informații diferite. Obținem semne de profunzime despre lume în trei moduri principale:

• Adâncime stereo - disparitatea dintre ceea ce văd amândoi ochii. Fake este modul în care funcționează filmele 3D
• Paralaxul mișcării - mișcări subtile ale capului și trunchiului nostru ne oferă indicii suplimentare de adâncime pentru obiectele care sunt mai îndepărtate
• Focalizare optică - atunci când ne concentrăm pe ceva, lentilele ochilor noștri se deformează fizic până când se pune accentul; obiectele din câmpul apropiat necesită o distorsiune mai mare a lentilelor, ceea ce oferă informații profunde despre ceea ce privim

Focalizarea optică este ușor de verificat pentru tine: închide un ochi și ține degetul mare în fața unui perete de-a lungul camerei. Apoi, mutați focalizarea de la miniatură la suprafața din spatele acesteia. Când priviți de degetul mare, degetul mare se va opri din focar, deoarece lentila ochiului este acum mai puțin deformată și nu poate colecta corect lumina care vine de la ea.

Căștile VR precum Oculus Rift oferă primele două indicii extrem de exacte, dar nu și ultimele, ceea ce iese în mod surprinzător bine: ochii noștri se relaxează complet, din moment ce optica focalizează imaginile, deoarece prin lumină veneau de la infinit de departe departe. Lipsa indicelui de focalizare optică nu este realistă, dar de obicei nu distrage atenția. Mai poți avea experiențe de joc foarte misto 5 experiențe de jocuri Oculus Rift care vă vor arunca în aerAcum că cea de-a doua generație a kitului de dezvoltare Oculus Rift a terminat și este în mâinile dezvoltatorilor din întreaga lume, să analizăm câteva dintre cele mai bune lucruri care s-au lovit de Rift până acum. Citeste mai mult fără.

În realitatea augmentată, problema este diferită, deoarece trebuie să amestecați lumina cu obiecte reale și virtuale. Lumina din lumea reală va fi în mod natural concentrată la o varietate de adâncimi. Cu toate acestea, conținutul virtual va fi focalizat la o distanță fixă, artificială, dictată de optică - probabil pe infinit. Obiectele virtuale nu vor părea că fac parte din scenă. Acestea se vor concentra atunci când privești lucrurile reale la aceeași adâncime și invers. Nu va fi posibil să vă mutați ochiul fluent pe scenă, păstrându-l în centrul atenției, așa cum faceți în mod normal. Observațiile în adâncime conflictuale vor fi confuze și în cel mai rău caz.

Pentru a remedia acest lucru, aveți nevoie de ceva numit afișaj câmp luminos. Ecranele de câmp luminos sunt afișaje care folosesc o serie de lentile minuscule pentru a afișa lumina focalizată la multe adâncimi simultan. Acest lucru permite utilizatorului să se concentreze în mod natural pe afișaj și (pentru realitate mărită) rezolvă problema descrisă mai sus.

Există totuși o problemă: câmpurile de lumină afișează, în esență, un singur ecran 2D pe un câmp de lumină tridimensional, ceea ce înseamnă că fiecare „adâncime pixel ”pe care utilizatorul îl percepe (și există la o anumită adâncime focală a scenei) este format din lumină de la mulți pixeli de pe original afişa. Cu cât adâncimea fină pe care doriți să o înfățișați, cu atât mai multă rezoluție trebuie să renunțați.

În general, câmpurile ușoare au aproximativ un an opt ori scăderea rezoluției pentru a da o precizie de adâncime adecvată. Cele mai bune microdispozitive disponibile au o rezoluție de aproximativ 1080p. Dacă presupunem un microdisplay high-end care conduce fiecare ochi, aceasta ar face ca rezoluția reală a setului cu cască Microsoft să fie doar de aproximativ 500 x 500 pixeli pe ochi, mai puțin decât Oculus Rift DK1. Dacă afișajul are un câmp vizual ridicat, obiectele virtuale vor fi blocuri de pixeli de neînțeles. Dacă nu, imersiunea va suferi proporțional. Niciodată nu ajungem să vedem prin obiectiv (doar recreările computerului despre ceea ce vede utilizatorul), așa că nu avem idee cum este experiența utilizatorului.

Este posibil ca Microsoft să fi oferit o soluție nouă la această problemă, pentru a permite utilizarea unui afișaj de câmp ușor fără compensarea rezoluției. Cu toate acestea, Microsoft a fost extrem de înțepător în privința tehnologiei lor de afișare, ceea ce mă face să bănuiesc că nu au făcut-o. Iată cea mai bună explicație pe care am primit-o până acum (de la WIRED Demo).

Pentru a crea imaginile Proiectului HoloLens, particulele de lumină sărit de aproximativ milioane de ori în așa-numitul motor luminos al dispozitivului. Apoi fotonii intră în cele două lentile de ochelari de protecție, unde se ricoșează între straturile de sticlă albastră, verde și roșie înainte să ajungă în spatele ochiului.

Acest tip de descriere a tehnologiei ar putea însemna practic orice (deși, pentru corectitudinea față de Microsoft, hardware-ul a impresionat WIRED, deși articolul era clar pe detalii).

Nu vom ști mai multe cu siguranță până când Microsoft nu va începe să lanseze specificații tehnice, probabil luni de acum înainte. Pe o notă suplimentară de culegere de nit, este într-adevăr necesar să îneceți proiectul în acest mult-marketing-vorbire? Procesorul dedicat pe care îl folosesc pentru urmărirea capului se numește „procesor holografic”, iar imaginile sunt numite „holograme”, fără un motiv anume. Produsul este suficient de interesant, încât nu este necesar să îl obosești așa.

Urmărirea este suficientă?

Căștile HoloLens Project au o cameră FOV de înaltă adâncime montată pe ea (precum Kinect), pe care o folosește pentru a afla unde se află setul cu cască este în spațiu (încercând să alinieze imaginea de profunzime pe care o vede cu modelul său de lume, compus din profunzimea trecută imagini). Iată demo-ul live al căștii în acțiune.

Urmărirea este impresionantă, având în vedere că nu folosește markeri sau alte trucuri, dar chiar și în acel videoclip (în sec condiții puternic controlate), puteți vedea o anumită cantitate de urcări: urmărirea nu este complet stabilă. Asta trebuie să așteptăm: acest tip de urmărire interioară este extrem de greu.

Cu toate acestea, marea lecție din diverse prototipuri Oculus Rift Urmăriți-ne Încercați Oculus Rift Crescent Bay La CES 2015Oculus Rift Crescent Bay este un prototip nou, care arată câteva îmbunătățiri interesante în tehnologia realității virtuale. O încercăm la CES 2015. Citeste mai mult este că acuratețea urmăririi contează foarte mult. Urmărirea amețitoare este doar enervantă când este vorba despre câteva obiecte într-o lume reală în mare măsură stabilă, dar în scene precum demonstrația Marte au arătat în conceptul lor video, în care aproape tot ce vedeți este virtual, urmărirea imprecisă ar putea duce la lipsa „prezenței” în scena virtuală sau chiar în simulator boală. Poate Microsoft să urmărească urmărirea la standardul stabilit de Oculus (precizie de urmărire sub-milimetru și latență totală mai mică de 20 ms) până la data livrării lor la sfârșitul acestui an?

Iată Michael Abrash, un cercetător VR care a lucrat atât pentru Valve cât și pentru Oculus, vorbind despre problemă

[Deoarece întotdeauna există întârziere la generarea de imagini virtuale, [...] este foarte dificil să obțineți imagini virtuale și reale să se înregistreze suficient de aproape, astfel încât ochiul să nu observe. De exemplu, să presupunem că aveți o cutie de cocs reală pe care doriți să o transformați într-o cutie AR Pepsi, desenând un logo Pepsi peste sigla Coke. Dacă este nevoie de zeci de milisecunde să redescrieți sigla Pepsi, de fiecare dată când rotiți capul, efectul va fi acela sigla Pepsi va părea să se deplaseze cu câteva grade în raport cu cutia, iar o parte din sigla Coke va deveni vizibilă; atunci logo-ul Pepsi se va bloca înapoi la locul potrivit când încetați mișcarea. În mod clar, acest lucru nu este suficient de bun pentru AR

Se poate afișa ecranul negru?

O altă problemă, pe lângă profunzimea focală și urmărirea, are legătură cu desenarea culorilor întunecate. Adăugarea mai multă lumină într-o scenă este relativ simplă, folosind împărțitori de fascicul. A scoate lumina este mult mai greu. Cum întunecați selectiv părți din lumea reală? Poziționarea unui ecran LCD transparent transparent nu îl va reduce, deoarece nu poate fi întotdeauna în centrul atenției pentru a bloca ceea ce privești. Instrumentele optice pentru rezolvarea acestei probleme, cu excepția cazului în care Microsoft le-a inventat în secret, pur și simplu nu există.

Acest lucru contează, pentru că pentru o mulțime de aplicații Microsoft se afișează (cum ar fi vizionarea Netflix pe peretele tău), setul cu cască are nevoie cu adevărat abilitatea de a elimina lumina care vine de pe perete sau altfel filmul dvs. va avea întotdeauna un model vizibil de stuc suprapus cu acesta: va fi imposibil pentru imagini să blocheze obiecte reale din scenă, ceea ce face ca utilizarea căștilor să depindă foarte mult de iluminarea ambientală Condiții. Înapoi la Michael Abrash:

[S] n-a ieșit în evidență nimic în acest fel în industria sau literatura de specialitate AR și, cu excepția cazului în care nu se poate întâmpla, până în momentul în care acest lucru, AR, în sensul SF pe care îl știm și îl iubim cu toții, nu se poate întâmpla, decât în ​​întunericul aproape.

Asta nu înseamnă că AR este în afara mesei, doar că, pentru un timp, va fi o AR soft, bazată pe amestecuri aditive [...] Din nou, gândiți-vă translucid ca „Ghostbusters”. Imaginile virtuale de intensitate înaltă, fără zone întunecate, vor funcționa, de asemenea, în special cu ajutorul întunecării regionale sau globale - acestea nu vor arăta ca o parte a realului lume.

Ce spuneți despre ocluzie?

„Ocluzie” este termenul pentru ceea ce se întâmplă când un obiect trece prin fața altuia și te împiedică să vezi ce se află în spatele său. Pentru ca peisajele virtuale să se simtă ca o parte tangibilă a lumii, este important ca obiectele reale să ocupe virtual obiecte: dacă țineți mâna în fața unei imagini virtuale, nu ar trebui să o puteți vedea prin intermediul dvs. mână. Datorită utilizării unei camere de adâncime pe căști, acest lucru este posibil. Dar, urmăriți din nou demo-ul live:

În general, controlează cu atenție unghiurile camerei, pentru a evita trecerea obiectelor reale în fața celor virtuale. Cu toate acestea, atunci când demonstratorul interacționează cu meniul Windows, puteți vedea că mâna ei nu o închide deloc. Dacă acest lucru este dincolo de îndemâna tehnologiei lor, acesta este un semn foarte rău pentru viabilitatea produsului lor de consum.

Și vorbind despre acea interfață de utilizator ...

Este aceasta într-adevăr interfața utilizatorului final?

Interfața de utilizare afișată de Microsoft în videoclipurile lor demo pare să funcționeze folosind o combinație de priviri și mână urmărirea pentru a controla un cursor în scena virtuală, în timp ce utilizați controale vocale pentru a selecta între diferite Opțiuni. Acest lucru are două dezavantaje majore: te face să arăți ca micuțul din Strălucirea care vorbește cu degetul, dar, mai important, reprezintă, de asemenea, o paradigmă de design fundamental defectuos.

Istoric, cele mai bune interfețe de utilizator au fost cele care aduc intuiții fizice despre lume în lumea virtuală. Mouse-ul a adus clicuri, glisare și ferestre. Interfața tactilă a adus glisorul pentru a derula și fixa pentru a mări. Ambele au fost esențiale pentru a face computerele mai accesibile și mai utile pentru populația generală - pentru că erau fundamental mai intuitive decât ceea ce a venit înainte.

VR și AR îți oferă mult mai multă libertate în calitate de proiectant: poți plasa elemente UI oriunde pe un spațiu 3D și ca utilizatorii să interacționeze cu ei în mod natural, ca și cum ar fi obiecte fizice. Un număr imens de metafore evidente se sugerează. Atingeți un element UI virtual pentru a-l selecta. Prindeți-l și ridicați-l. Glisați-l din drum pentru a-l depozita temporar. Zdrobiți-l pentru a-l șterge. Vă puteți imagina construind o interfață de utilizator atât de intuitivă încât nu necesită explicații. Ceva pe care bunica ta îl poate ridica instantaneu, pentru că este construit pe o bază de intuiții fizice de bază pe care toată lumea o construiește de-a lungul unei vieți de interacțiune cu lumea. Faceți un minut și ascultați această persoană inteligentă ce descrie interfețele imersive.

Cu alte cuvinte, mi se pare evident (pentru mine) că ar trebui să existe o interfață de utilizator imersivă macar la fel de intuitiv ca interfețele tactile pioniere de iPhone pentru ecrane multitouch 2D. Construirea unei interfețe în jurul manipulării unui „mouse” VR este un pas înapoi și expune fie o tehnologie profundă deficiențe în tehnologia lor de urmărire a mâinilor sau o neînțelegere fundamentală a ceea ce este interesant despre acest nou mediu. Oricum, este un semn foarte rău pentru acest produs fiind mai mult decât un flop colosal, la scară Kinect.

Sperăm că Microsoft are timp să obțină feedback în acest sens și să facă o treabă mai bună. Ca exemplu, iată o interfață proiectată de un hobbyist pentru Oculus Rift DK2 și Leap Motion. Un UI imersiv conceput de o companie mare ar trebui să fie cel puțin acest lucru bun.

Un semn al lucrurilor viitoare

În general, sunt extrem de sceptic în ceea ce privește proiectul HoloLens în ansamblu. Mă bucur foarte mult că o companie cu resurse Microsoft investighează această problemă, dar sunt îngrijorat că sunt încercarea de a grăbi un produs fără a rezolva anumite probleme tehnice care stau la baza, sau a stabili o interfață de utilizare bună paradigmă. HoloLens este un semn al lucrurilor viitoare, dar asta nu înseamnă că produsul în sine va oferi o experiență bună consumatorilor.

Credit de imagine: amabilitatea Microsoft