Almás szemüveg

A pletykák szerint az Apple-nek több száz alkalmazottból álló titkos csapata dolgozik virtuális és kiterjesztett valóság projekteken.

• Igen
• Nem

Az Apple titkos kiterjesztett és virtuális valóság projektje

Tartalom

1. Az Apple titkos kiterjesztett és virtuális valóság projektje
• Vegyes valóság fejhallgató
• AR okosszemüveg
• iOS 14 AR szivárgások
• AR az Xcode-ban
• Valve Partnerség?
• Egyéb pletykák
2. Kiterjesztett valóság kontra virtuális valóság
3. Az Apple VR/AR csapata
• Felvesz
• Felvásárlások
4. AR / VR szabadalmak
5. Indítási dátum
6. Jövőbeli AR/VR tervek
7. Apple szemüveg idővonal

Az Apple több mint 10 éve kutatja a virtuális valóság és a kiterjesztett valóság technológiáit szabadalmi bejelentések alapján, de a virtuális és a kiterjesztett valóság népszerűsége robbanásszerűen megnőtt az ARKit elindításával, az Apple tépelődése egyre komolyabb, és várhatóan AR// VR termék 2022-ben.

A pletykák szerint az Apple-nek van egy titkos kutatóegysége, amelyben több száz alkalmazott dolgozik AR-n és VR-n, és azt kutatja, hogy a feltörekvő technológiákat hogyan lehetne felhasználni a jövőbeni Apple-termékekben. A VR/AR munkaerő-felvétele az elmúlt néhány évben felgyorsult, és az Apple több AR/VR vállalatot is felvásárolt, miközben tovább fejleszti az AR/VR területen végzett munkáját.

A pletykák szerint az Apple legalább dolgozik kettő AR-projektek, amelyek tartalmaznak egy kiterjesztett valóságú fejhallgatót, amely 2022 körül fog megjelenni, majd egy karcsúbb kibővített valóság szemüveget egy későbbi időpontban. Sok pletyka azonban kizárólag a szemüvegre összpontosul, ami némi zavart okoz az Apple terveit illetően, de úgy tűnik, az AR/VRheadset lesz az első piacra dobott termék.

Az Apple elemzője, Ming-Chi Kuo úgy véli, hogy az Apple „vegyes valóság” fejhallgatója ki fog jönni 2022 végén vagy 2023 elején, az Apple Glasses pedig 2025-ben jön, bár más források szerint a szemüveg 2023-ban fog megjelenni. A headset AR/VR, más néven kevert valóság, míg az Apple Glasses kibővített valóság.

Vegyes valóság fejhallgató

Az információ és Bloomberg mindketten azt mondták, hogy az Apple intelligens szemüvegen ÉS egy AR/VR fejhallgatón (más néven vegyes valóságon) dolgozik, és először a headset jön ki, majd a szemüveg. A fejhallgató a pletykák szerint hasonló a Facebook Oculus Quest virtuális valóság-fejhallgatójához, de karcsúbb kialakítású, amely szöveteket és könnyű anyagokat használ a fülhallgató kényelméért.

Állítólag jellemző két nagy felbontású 8K kijelző és szemérzékelő kamerák, amelyek lehetővé teszik a felhasználók számára, hogy „kis betűkkel olvassanak” és „lássanak más embereket, akik virtuális objektumok előtt és mögött állnak”. A headset képes lesz a helyiségek felületeinek, éleinek és méreteinek feltérképezésére „nagyobb pontossággal, mint a piacon lévő eszközök”. Fejlettebb kijelzővel és chippel rendelkezik, amely még az M1 processzornál is gyorsabb lesz a 2020-as Mac gépeken.

Az információ februárban Azt mondta, hogy több mint egy tucat kamerával lesznek felszerelve a kézmozgások nyomon követésére a külvilág megtekintésére szolgáló kamerákon kívül, és a kialakítás blokkolja a perifériás látást, hogy megakadályozza a fény szivárgását a viselő látóterébe. A kijelzőbe egy kifelé néző napellenző is beépíthető, amely lehetővé teszi viselőjének, hogy grafikákat mutasson meg másoknak.

Az Elec azt állítja a VR headset nagy felbontású, akár 3000 pixel/hüvelyk felbontású mikro OLED kijelzővel rendelkezik majd. Korábban az okosszemüveghez mikro OLED kijelzőt pletykáltak, a VR fejhallgatóhoz viszont nem.

Az Apple elemzője, Ming-Chi Kuo azt mondta, hogy az Apple közelgő vegyes valóságos fejhallgatója 15 optikai kameramodult tartalmaz majd összesen. A 15 kameramodul közül nyolcat átlátszó kiterjesztett valóság élményekhez, hat modult „innovatív biometrikus adatokhoz”, egy kameramodult pedig környezetérzékeléshez használnak majd.

Kuo is hiszi hogy az Apple fejhallgatója fejlett szemkövető rendszerrel lesz felszerelve, amely intuitív vizuális élményt biztosít, amely zökkenőmentesen kölcsönhatásba lép a külső környezettel, valamint intuitívabb működést, amely szemmozgással vezérelhető, és csökkenti a számítási terhelést. felbontás, ahol a felhasználó nem keres.

Tervezési szempontból a headsetet úgy írták le, mint 'karcsú, ívelt védőszemüveget, amely hálós anyaggal és cserélhető fejpántokkal van az archoz rögzítve'. Az egyik fejpánt állítólag térhangzási technológiát, például az AirPods Pro-t tartalmaz a térhangzáshoz hasonló élmény érdekében, a másik pedig hosszabb akkumulátor-üzemidőt biztosít útközben. Az Apple többféle vezérlési módszeren dolgozik, beleértve a „gyűszűszerű eszközt, amelyet az ember ujján kell viselni”. A headset képes lenne reagálni a viselő szemmozgásaira és kézmozdulataira is, míg a headset egyik prototípusa a szemellenző oldalán fizikai számlappal is rendelkezett. Az Apple a Siri bemenetet is tesztelte.

Az Apple akarja hozzon létre egy App Store-t a fejhallgatóhoz, a játékra, a videotartalom streamelésére és a videokonferenciára összpontosítva. által leírták Bloomberg mint egy „mindent átfogó 3-D digitális környezet”, amelyet játékra, videónézésre és kommunikációra terveztek.

Jelenlegi headset prototípusok mondják 200-300 gramm körüli lesz, de az Apple célja a végső tömeg 100-200 grammra csökkentése, ha sikerül megoldani a technikai problémákat, amivel könnyebbé válna a headset a meglévő VR-eszközöknél. A headset hordozható lesz független tápellátással és tárhellyel, de nem lesz „mobil”, mint egy iPhone. A jelenleg elérhető VR-termékeket felülmúló „magával ragadó élményt” biztosít, és integrálható az Apple TV+-hoz és az Apple Arcade-hoz.

A fejhallgató kiterjesztett valóság funkciója „korlátozottabb”, és bár a megjelenést 2022-re tervezik, az Apple állítólag számos fejlesztési akadályba ütközött, és „konzervatív” eladási becslései vannak az eszközzel kapcsolatban. Az Apple körülbelül 180 000 darab eladására számít, ami egyenértékű az olyan drágább eszközökkel, mint a Mac Pro. A headset várhatóan jóval drágább lesz, mint más cégek fejhallgatói, és Az információ azt mondja, hogy az Apple megbeszélte, hogy a headset ára körülbelül 3000 dollár.

Az eredeti kialakítás ventilátort és nagy teljesítményű processzorokat tartalmazott, ami túl nehéz eszközt eredményezett. Az Apple állítólag úgy döntött, hogy közelebb hozza a headsetet az archoz, hogy csökkentse a méretét. A felhasználók nem viselhetnek majd szemüveget a headset használata közben, ezért az Apple olyan rendszert hozott létre, ahol egyedi dioptriás lencséket lehet behelyezni a VR-képernyők fölé.

Kuo úgy véli, hogy a fülhallgató hibrid Fresnel lencsét fog használni , amely szemenként három egymásra helyezett, könnyű műanyagból készült lencsét tartalmaz. A tervezés célja az, hogy ultrarövid gyújtótávolságot és jobb optikai teljesítményt, valamint széles látómezőt tegyen lehetővé, és a headset súlyát 150 gramm alatt tartsa.

Ami a teljesítményt illeti, a hamarosan megjelenő AR/VR headset a csúcskategóriás főprocesszor Ez hasonló az M1 chiphez, amelyet az Apple tavaly debütált az Apple szilícium Mac-jeihez, valamint egy alacsonyabb kategóriás processzort, amely az eszköz érzékelőkkel kapcsolatos aspektusait kezeli.

Az Apple elemzője, Ming-Chi Kuo azt állítja, hogy képes lesz önállóan működni anélkül, hogy Macre vagy iPhone-ra támaszkodna, ami eltér a korábbi pletykáktól, amelyek szerint ez lesz. kötözést igényel egy iPhone-ra. A headsetben található nagy teljesítményű chip egy pár 4K Micro OLED kijelzőt és hat-nyolc optikai modult fog működtetni a Sonytól, hogy biztosítsa az AR-alapú funkcionalitást. Az Apple-nek van befejezett munka az AR/VR headset SoC-ján, és optimalizálja a vezeték nélküli adatátvitelt, a videó tömörítését és kicsomagolását, valamint az energiahatékonyságot a maximális akkumulátor-élettartam érdekében, és nincs neurális motorja, mint az Apple néhány más chipje.

Az Apple közelgő vegyes valóságos fejhallgatója kínálnak WiFi 6E-t támogatás, amely a legújabb WiFi specifikáció. Állítólag az Apple a WiFi 6E bevezetését tervezi, hogy csúcskategóriás, magával ragadó élményt nyújtson szilárd vezeték nélküli kapcsolattal. A WiFi 6E rendelkezik a WiFi 6 minden előnyével, de a 2,4 GHz-es és 5 GHz-es sávok mellett 6 GHz-es spektrumot is hozzáad a nagyobb sávszélesség és az eszközök közötti interferencia csökkentése érdekében.

Vegyes valóságú headset renderelések

Antonio De Rosa tervező rendelkezik 3D rendereket fejlesztettek ki által megosztott részletek alapján Az információ , amivel megtekinthetjük, hogyan nézhet ki az Apple vegyes valóságos fejhallgatója a jelenlegi pletykák alapján.

Az információ A fejhallgatót egy „karcsú, íves védőszemüvegként jellemezte, amely hálós anyaggal és cserélhető fejpántokkal van az arcra rögzítve”, amelyet többféle színben kínálnak.

Korai headset prototípusok

Korábbi pletykák innen CNET 2018-ban azt javasolta, hogy az Apple egy nagy teljesítményű AR/VR fejhallgatón dolgozzon, mindkét szem 8K-s kijelzőjével, amely leválasztható lenne akár számítógépről, akár okostelefonról, és működne mind a virtuális, mind a kiterjesztett valóság alkalmazásokkal.

Ahelyett, hogy egy okostelefonhoz vagy számítógéphez csatlakozna, a headset CNET A leírtak egy „dedikált dobozhoz” csatlakoznának a 60 GHz-es WiGig nevű nagy sebességű, rövid hatótávolságú vezeték nélküli technológia segítségével. A dobozt egy egyedi, 5 nanométeres Apple processzor hajtaná, amely „erősebb, mint bármi, ami jelenleg kapható”. A doboz látszólag egy PC-toronyra hasonlít, de „nem lesz valódi Mac számítógép”. Ez a dobozszerű kialakítás korai pletykák tárgyát képezte, és lehet, hogy egy prototípus lehet, amelyet azóta elhagytak az elegánsabb verzióhoz, amelyet a pletykák most leírnak.

Állítólag a belső nézeteltérések idővel alakították és megváltoztatták az Apple céljait az AR headsettel kapcsolatban. Az Apple volt kezdetben célozva egy rendkívül nagy teljesítményű rendszerre, amely a processzor elhelyezésére szolgáló hubbal érkezett a fent leírtak szerint, de Jony Ive, aki azóta távozott a cégtől, nem akart olyan eszközt eladni, amelynek teljes funkcionalitásához külön, álló eszközre lenne szükség.

Ehelyett egy kisebb teljesítményű technológiájú headsetet szerettem volna, amelyet közvetlenül az eszközbe lehet beágyazni, de az AR/VR csapat vezetője, Mike Rockwell az erősebb készüléket szerette volna. Hónapokig tartó patthelyzet volt, és Tim Cook végül Ive mellé állt. Ive állítólag jobban szereti a szintén készülő AR okosszemüveget.

AR okosszemüveg

Az Apple egy kibővített valóság szemüvegen dolgozik, amelyet Jon Prosser kiszivárogtatott javasolta Az Apple az Apple Glass-nak fogja hívni. Ez a név szokatlan választás lenne, tekintve a hasonlóságot a Google Glass nevével, amely termék már jóval azelőtt létezett, hogy az Apple AR-szemüvegekkel kapcsolatos munkája napvilágot látott volna, ezért lehet, hogy nem pontos.

A szemüveg állítólag hasonlít a hagyományos szemüvegekhez, mindkét lencsén olyan kijelzők vannak, amelyekkel gesztusokkal lehet kommunikálni. Lehetőség lesz a szemüvegek dioptriás lencse nélküli beszerzésére 499 dolláros induló áron, a dioptriás lencsék pedig felár ellenében kaphatók.

Alapján Bloomberg , a szemüveg benne van a fejlődés korai szakasza , még korábban, mint az AR/VR headset, amelyen az Apple dolgozik. A szemüveget „több év múlva”-ként írták le, bár az Apple eredetileg már 2023-ban tervezte kiadni. A jelenlegi prototípus csúcskategóriás napszemüvegekre hasonlít, vastag kerettel, amelyben az akkumulátor és a chipek találhatók.

Állítólag az Apple tervezi használni A Sony által szállított „élvonalbeli” OLED mikrokijelzők a pletykák szerint kibővített valóság szemüvegéhez. A Sony OLED mikromegjelenítői ultragyors válaszarányt, rendkívül nagy kontrasztot, széles színskálát, nagy fénysűrűséget, alacsony visszaverődést és integrált meghajtókat tartalmaznak a vékony és könnyű kialakítás érdekében. A szemüveg állítólag 0,5 hüvelykes kijelzővel rendelkezik, 1280x960-as felbontással.

Kuo azt várja, hogy az AR-szemüveget iPhone-kiegészítőként forgalmazzák, és elsősorban a kijelző szerepét tölti be, a számítástechnikát, a hálózatépítést és a pozicionálást az iPhone-ra a szemüveggel együtt. gondoskodás egy mobil-első „optikai átlátszó AR-élmény”. Ha az AR-szemüveget iPhone-kiegészítőként kínálja, az Apple karcsú és könnyű marad. Prosser szerint a szemüveg hasonló lesz a Ray-Ban Wayfarershez vagy a Tim Cook által viselt szemüveghez.

Bloomberg azt mondta, hogy az Apple szemüvegén „rOS” vagy reality operációs rendszer fog futni. Az rOS állítólag iOS-en, az iPhone-on futó operációs rendszeren alapul. Az AR fejhallgatóhoz az Apple az Apple Watch-ban találhatóhoz hasonló „rendszer-csomagon” chipet fejleszt, bár a fent említettek szerint az iPhone-ra fog támaszkodni.

Az AR fejhallgató fejlesztése során az Apple az érintőpaneleket, a hangaktiválást és a fejmozdulatokat tekintette beviteli módnak, és számos alkalmazás prototípusa készül a térképezéstől az SMS-ig. A virtuális tárgyalók és a 360 fokos videolejátszás szintén kutatás alatt álló koncepciók.

Azt hittem, kezdetben pletykák voltak a 2020-as indulásról , Bloomberg hisz AR szemüveg jöhetne évekre van a megjelenésig, a VR headset pedig 2022-ben jelenik meg DigiTimes azt javasolta, hogy az Apple AR-szemüvege 2021-ben kerül piacra, az Apple elemzője, Ming-Chi Kuo pedig 2022-re számít legkorábban .

A kiszivárogtató Jon Prosser úgy véli, hogy az Apple 2021 márciusában vagy júniusában fogja bemutatni AR-szemüvegét, de ez pontatlannak tűnik, ha figyelembe vesszük a becsléseket. Bloomberg és Kuo.

Prosser azt is elmondja, hogy az Apple az intelligens szemüveg korlátozott kiadású „Steve Jobs Heritage” változatán dolgozik, amelyet úgy terveztek, hogy úgy nézzen ki, mint a Steve Jobs által használt kerek, keret nélküli szemüveg, de Bloomberg Mark Gurman ezt a pletykát „teljes fikciónak” nevezte.

Az Apple az együttműködik a TSMC-vel „ultrafejlett” mikro OLED-kijelzők fejlesztése, amelyeket az Apple hamarosan megjelenő kiterjesztett valóság-eszközeiben, például az okosszemüvegekben használnak majd. A kijelzők állítólag egy hüvelyknél kisebbek.

A Micro OLED-kijelzők közvetlenül szeletekre épülnek, nem pedig üveghordozóra, ami vékonyabb, kisebb és energiatakarékosabb kijelzőt eredményez. Állítólag a mikro OLED-kijelzők fejlesztése a próbagyártás stádiumában tart, és több évnek kell eltelnie, mire az Apple és a TSMC készen áll a tömeggyártásra, ami alkalmassá tenné ezeket a kijelzőket a pletykák szerint valamikor 2023 körül piacra kerülő Apple Glasses szemüveghez.

2021 elejétől az Apple állítólag az a „második fejlesztési fázisba” lép egy kiterjesztett valóságú szemüveg prototípusán. A szemüveg néhány hónapon belül átesik a fejlesztés harmadik fázisán, majd a prototípus tervezése után a hordható hat-kilenc hónapos mérnöki ellenőrzésen megy keresztül.

iOS 14 AR szivárgások

Kód és képek iOS 14-ben található erősítse meg az Apple AR- vagy VR-fejhallgatóval kapcsolatos munkáját egy felfedezett fotóval, amely egy általános kinézetű vezérlőt ábrázol a HTC Vive Focus headsethez hasonló kialakítású headsethez. Az Apple a HTC Vive hardvert használja belső tesztelési célokra.

Az Apple az iOS 14 Gobi nevű alkalmazással teszteli AR-berendezését QR-kódokkal együtt, hogy tesztelje a kiterjesztett valóság élményeit. Az egyik ilyen kibővített valóság élmény egy crosswalk bowling játék, amelyet a kaliforniai Sunnyvale-ben egy adott átkelőhelyen indítanak el.

AR az Xcode-ban

Az Xcode 11 kódja megerősíti Apple munkája valamilyen AR fejhallgatón. Vannak hivatkozások kódnevű teszteszközökre, valamint keretrendszerekre és ezekhez az eszközökhöz kapcsolódó rendszerhéjra. A hivatkozások arra utalnak, hogy az Apple a Google Daydreaméhez hasonló, arcra szerelt AR-élmény támogatását fejleszti.

Valve Partnerség?

Tajvani oldal szerint DigiTimes , az Apple együttműködik játékfejlesztő Valve a pletyka AR fejhallgatójához. A Valve 2019 áprilisában adta ki első VR headsetejét, a Valve Indexet.

A Valve korábban együttműködött az Apple-lel, hogy natív VR headset támogatást biztosítson a macOS High Sierra számára, kihasználva az eGPU támogatást a SteamVR szoftver Mac verziójával.

Egyéb pletykák

2017 novemberében az Apple megvásárolta a Vrvana céget, amely egy Totem nevű vegyes valósággal rendelkező headsetet fejlesztett ki. A Vrvana technológiája potenciálisan használható lesz egy jövőbeli Apple headsetben. Az Apple a Vrvana megvásárlását követően felvásárolta az Akonia Holographics céget, amely AR okosszemüvegekhez gyárt lencséket.

A pletykák azt is sugallják, hogy az Apple a kibővített valóság kutatását beépítheti a folyamatban lévő autóprojektjébe egy olyan autós szoftverrendszer részeként, amely tartalmazhat egy heads-up kijelzőt vagy más funkciókat.

Jegyzet: Hibát lát ebben az összefoglalóban, vagy szeretne visszajelzést adni? .

Kiterjesztett valóság kontra virtuális valóság

A kiterjesztett valóság (AR) és a virtuális valóság (VR) hasonló technológiák, de jelentős különbségek vannak közöttük, és potenciális alkalmazásaik nagyon eltérőek. A virtuális valóság a virtuális világban nyújtott teljes körű élményre utal, míg a kiterjesztett valóság a valós világ módosított nézetére utal.

A különbséget talán legjobban két termék, egy AR és egy VR összehasonlításával lehet összefoglalni. Google szemüveg , a Google mára megszűnt okosszemüveg-készlete a kiterjesztett valóság példája. A szemmel hordott Google Glass segítségével a felhasználók úgy tekinthetik meg a világot, ahogyan az van, de felkínált egy „heads-up” kijelzőt, amely a valós világnézethez tartozó releváns, számítógép által szolgáltatott információkat, például a helyi időjárást, a térképeket és az értesítéseket fedte le.

Ez hasonló ahhoz, amit az Apple állítólag a pletykák szerint 'okosszemüvegével' dolgozik.

Ehhez képest a Facebooké Oculus Rift egy virtuális valóság fejhallgató, amely magával ragadó vizuális élményt kínál, amely nem egészíti ki a valós világot további érzékszervi információkkal – teljes mértékben helyettesíti a valós világot egy szimulált világgal.

A kiterjesztett valóság számítógép által generált kontextust és információkat biztosít a minket körülvevő világról, miközben lehetővé teszi számunkra, hogy kapcsolatba léphessünk környezetünkkel, míg a virtuális valóság úgy van kialakítva, hogy elszigeteljen minket környezetünktől, így interakcióba léphetünk fiktív világokkal.

Különbség az iphone 11 és 12 között

A kettő lehetséges alkalmazásai nagyban különböznek. A virtuális valóság egyedülállóan a magával ragadó tartalomfogyasztásra összpontosít, mert vizuális, tapintható és hangos visszacsatoláson keresztül olyan érzést kelt a viselőjében, mintha valóban megtapasztalná, mi történik a szimulált világban. A virtuális valóság jelenleg nagyrészt a játékhoz kötődik, de megvan benne a lehetőség arra is, hogy oktatási vagy képzési célokra valós élményeket teremtsen újra.

A kiterjesztett valóság nem a magával ragadó tartalomtól függ, és bár kevésbé izgalmas, mert nem helyettesíti, hanem kibővíti a valóságot, szélesebb körű alkalmazási lehetőségeket kínál. Valójában a kiterjesztett valósággal rendelkező alkalmazások és játékok könnyen elérhetőek iOS 11-ben hála az ARKit-nek.

Az ARKit segítségével egy iOS-eszköz képes azonosítani egy felületet, például egy asztalt, majd virtuális objektumokat lehet hozzáadni hozzá. Az iPhone és az iPad számítási teljesítménye miatt az ARKit kiterjesztett valóság képességei lenyűgözőek. Az ARKit-et már most is számos alkalmazás és játék létrehozására használják, ötvözve a digitális objektumokat a való világgal.

játék

Az Apple olyan terméket célozhat meg, amely kibővített és virtuális valósággal is működik, amint azt a közelmúltban megjelent pletykák sugallják, amelyek az AR/VR headsettel kapcsolatos munkára utalnak. Egy ilyen termék komoly virtuális valóság-alkalmazásokhoz és kiterjesztett valóság élményekhez is használható lenne, és hasonló lenne a Microsoft HoloLens-hez.

Az Apple VR/AR csapata

Az Apple virtuális és kiterjesztett valósággal kapcsolatos munkája több éves múltra tekint vissza, de a pletykák 2015 márciusától kezdődően fellángoltak, amikor olyan hírek jelentek meg, hogy az Apple-nek egy kis csapata dolgozik a kiterjesztett valóságon. 2015-ben és 2016 elejéig az Apple csapata bővült, mivel a vállalat az AR/VR technológiában jártas alkalmazottakat vett fel, és több kapcsolódó felvásárlást is végrehajtott.

Az Apple AR/VR csapata több száz mérnököt foglal magában az Apple-szerte, akik mindegyike jártas a virtuális és a kiterjesztett valóság terén. A csapat Cupertino és Sunnyvale irodaparkjaiban dolgozik, az Apple pedig számos hardver- és szoftverprojektet vizsgál „T288” kódnéven.

Az Apple kiterjesztett valósággal foglalkozó csapata „a hardver- és szoftverveteránok erősségeit” egyesíti, és a Dolby-ból származó Mike Rockwell vezeti. Olyan cégek egykori alkalmazottai, mint az Oculus, a HoloLens, az Amazon (a VR-csapatból), a 3D-s animációs cég, a Weta Digital és a Lucasfilm, az AR-n dolgoznak az Apple-nél.

Az Apple korábbi hardvermérnöki vezetője, Dan Riccio 2021 januárjában átment új szerepre ahol van felügyeli az Apple munkáját AR/VR fejhallgatón. A projekt fejlesztési kihívásokkal szembesült, és az Apple vezetői úgy vélik, hogy Riccio összpontosítása segíthet.

Felvesz

Az Apple egyik legjelentősebb AR/VR alkalmazottja Doug Bowman számítástechnikai professzor volt, aki korábban a Virginia Tech Center for Human-Computer Interaction nevű központját vezette. A háromdimenziós felhasználói felület tervezésére specializálódott, és könyvet írt a témában, amely a 3D-s felületekről és a magával ragadó virtuális környezetek előnyeiről szól. Szakértelemmel rendelkezik a virtuális és a kiterjesztett valóság terén egyaránt.

Az Apple olyan alkalmazottakat is felvett, akik a Microsoftnál és a Lytronál dolgoztak virtuális vagy kiterjesztett valóság termékeken. A közelmúltban alkalmazottak egy része állítólag a Microsoft HoloLens csapatától származott, míg mások a Lytro cégnél dolgoztak, egy olyan kamerán, amely képes ötvözni az élőszereplős VR-élményt a számítógépes grafikával. A HoloLens csapatából érkező alkalmazottak tapasztalattal rendelkeznének egy fejlett kiterjesztett valóság fejhallgató létrehozásában.

A Lytro Immerge 360 ​​fokos kamera

Zeyu Li , aki a Magic Leap (egy fejre szerelhető AR/VR-kijelzőt fejlesztő startup) számítógépes látásmérnökként dolgozott, most az Apple-nél dolgozik, mint 'Senior Computer Vision Algorithm Engineer'.

Jurij Petrov, a Facebook tulajdonában lévő Oculus korábbi kutatója, jelenleg az Apple kutatójaként dolgozik. A LinkedIn-profilja szerint Petrov a virtuális valóság tapasztalatait tanulmányozta, optikát készített prototípusokkal, és számítógépes szimulációs szoftvereket fejlesztett ki.

A kiterjesztett valóság szakértője, Jeff Norris 2017 áprilisában csatlakozott az Apple-hez, mint a vállalat kiterjesztett valósággal foglalkozó csapatának vezető menedzsere. Norris megalapította a Mission Operations Innovation Office-t és a JPL Ops Lab-ot a NASA-nál. Számos projektet vezetett, amelyek az ember-rendszer interakcióra összpontosítottak, különös tekintettel a virtuális és kiterjesztett valóságra.

Az Apple 2018 májusában felvette Sterling Crispint, aki kifejlesztett egy festőalkalmazást mobil VR headsetekhez. A „Cyber ​​Paint” segítségével a VR headsetet viselők 2D 260 fokos képeket készíthetnek az Oculus Go, a Daydream, a GearVR és a Vive Focus eszközökön. Crispin LinkedIn oldalán azt állítják, hogy „prototípus-kutatóként” dolgozik, ami azt sugallja, hogy csatlakozott ahhoz a csapathoz, amelyről a pletykák szerint VR/AR headset technológián dolgoznak.

Az Apple 2018 decemberében felvette a Tesla és a Microsoft HoloLens korábbi vezető tervezőjét, Andrew Kimet, aki előzményeit tekintve az Apple pletykázott AR-szemüvegprojektjén vagy a közelgő Apple-autóján dolgozhat, amely állítólag fejlesztés alatt áll.

A Jaunt VR alapítója, Arthur van Hoff 2019 áprilisában csatlakozott az Apple-hez vezető építészként. Mielőtt az Apple-nél dolgozott, cége készített VR hardvert , köztük egy 100 000 dolláros 3D VR-kamera, a Jaunt One. Mielőtt van Hoff elhagyta a céget, Jaunt kudarcot vallott, és az AR-tapasztalatok felé fordult.

Mivel az Apple több száz alkalmazottból álló csapata sok más, a virtuális valósággal foglalkozó szakértőt is felvette a radar alá. A LinkedIn-en több virtuális valóság tapasztalattal rendelkező szoftvermérnök dolgozik az Apple-nél, de nem világos, hogy a titkos AR/VR csapatban dolgoznak-e.

Az Apple 2019 júliusában áthelyezte Kim Vorrathot, az egyik szoftvervezetőjét a kiterjesztett valóság fejhallgatója osztály, hogy „rendet vigyen” a csapatban. Vorrath 15 éven át felügyelte a szoftverfejlesztő csapat programmenedzsmentjét, és „erős erőként” jellemezték, amely biztosítja, hogy az alkalmazottak betartsák a határidőket, miközben a hibákat is kiszűrik.

Felvásárlások

Az Apple AR/VR csapatának sok tagja felvásárlások révén csatlakozhatott a céghez. 2015 óta az Apple több olyan céget vásárolt meg, amelyek AR/VR-hez kapcsolódó termékeket készítettek, és néhány AR/VR-felvásárlása több éves múltra tekint vissza.

Az Apple 2018 augusztusában megvásárolta az Akonia Holographics nevű startupot, amely kiterjesztett valóságú szemüvegekhez gyárt lencséket. Az Akonia Holographics a 'világ első kereskedelmi forgalomban kapható volumenű holografikus fényvisszaverő és hullámvezető optikáját hirdeti átlátszó kijelzőelemekhez intelligens szemüvegekben'.

Az általa gyártott kijelzők állítólag a vállalat HoloMirror technológiáját használják az „ultratiszta, színes teljesítmény” érdekében, hogy lehetővé tegyék a „világ legvékonyabb, legkönnyebb fejjel viselhető kijelzőit”.

2017 novemberében az Apple megvásárolta a Vrvana céget, amely egy Totem nevű vegyes valósággal rendelkező headsetet fejlesztett ki. A Totem, amelyet soha nem hoztak nyilvánosságra, úgy tervezték, hogy a kiterjesztett és a virtuális valóság technológiáját egyetlen headsetben egyesítse, egyesítve a teljes VR-képességeket átmenő kamerákkal, hogy lehetővé tegye a képernyő alapú kiterjesztett valóság funkcióit.

A Totem lényegében egy sor kamerát használt, hogy valós képeket vetítsen a beépített 1440p-s OLED-kijelzőjére, ami egy kissé egyedi megközelítés, amely megkülönbözteti az olyan konkurens termékektől, mint a Microsoft HoloLens, amely átlátszó kijelzővel kombinálja a virtuális és a kiterjesztett valóságot. Az Apple azt tervezheti, hogy a Totem néhány technológiáját felhasználja egy jövőbeni termékében.

Az Apple 2013-ban megvásárolta az izraeli székhelyű PrimeSense 3D testérzékelő céget, ami felkeltette a spekulációkat, hogy a mozgásalapú képességeket beépítik az Apple TV-be. A PrimeSense 3D mélységtechnológiáját és mozgásérzékelő képességeit a Microsoft kezdeti Kinect platformján használták.

A PrimeSense közeli infravörös fényt használt arra, hogy egy láthatatlan fényt kivetítsen egy helyiségbe vagy egy jelenetbe, amelyet aztán egy CMOS-képérzékelő beolvas, hogy virtuális képet hozzon létre egy tárgyról vagy személyről. Ez lehetővé teszi a szoftveres interfészek mozgásalapú vezérlését, de képes olyan dolgokat is elvégezni, mint például a virtuális objektumok mérése, valamint a relatív távolságok vagy méretek megadása, ami hasznos a kibővített valóság alkalmazásaihoz, például az interaktív játékokhoz, a beltéri térképezéshez stb. A PrimeSense technológia rendkívül pontos, 360 fokos szkennelést is készíthet emberekről és tárgyakról, ami hasznos lehet a virtuális valóság alkalmazásaiban.

Az Apple 2015 májusában felvásárolta a Metaio nevű kiterjesztett valóságot. A Metaio elkészítette a Metaio Creator nevű terméket, amellyel néhány perc alatt kibővített valóság forgatókönyveket lehetett készíteni. Mielőtt az Apple megvásárolta volna, a Metaio szoftverét olyan cégek használták, mint a Ferrari, akik létrehoztak egy kiterjesztett valóság bemutatótermet.

A Metaio technológiát Berlinben is alkalmazták, hogy a berlini fal helyszínére látogatók okostelefonnal vagy táblagéppel nézhessék meg, hogyan nézett ki a terület, amikor a berlini fal még állt. A Metaio technológiája potenciálisan felhasználható a kiterjesztett valóság képességeinek megvalósítására az Apple alkalmazásokban, például a Mapsben.

Az Apple 2015 augusztusában vásárolta meg a Faceshiftet, ami 2015-ben a második kibővített valóság vásárlását jelentette. Mielőtt az Apple felvásárolta volna, a Faceshift játék- és animációs stúdiókkal dolgozott olyan technológián, amely az arckifejezések gyors és pontos rögzítésére szolgál 3D érzékelők segítségével, animált arcokká alakítva őket valós idő. A Faceshift egy olyan fogyasztó-orientált terméken is dolgozott, amely lehetővé teszi, hogy az emberek valós időben rajzfilmekké vagy szörnyarcokká alakítsák arcukat a Skype-on.

A Faceshift technológiája sokféle felhasználási lehetőséget kínál, és úgy tűnik, az Apple ezt a funkciót használja az Animoji működéséhez az iPhone X-ben.

Az Emotient, az arckifejezés-elemzésre szolgáló eszközöket fejlesztő céget 2016 januárjában vásárolta meg az Apple. Az Emotient technológiája mesterséges intelligenciát és gépi tanulást használ az emberi érzelmek olvasására, amelyeket a hirdetők a való világban használtak az érzelmi reakciók meghatározására. hirdetéseket.

Az Apple tucatnyi dolgot tehet az Emotient segítségével, kezdve a jobb arcfelismeréstől a Photos alkalmazásban, az Apple kiskereskedelmi üzleteiben a vásárlói érzések elemzésén át az iOS-eszközök feloldásáig, de van potenciális AR/VR felhasználása is. A Faceshifthez hasonlóan az Emotient technológiája is használható az arckifejezések elemzésére és átalakítására virtuális avatarok létrehozásához, amelyek hasznosak a közösségi médiában és a játékokban. Valószínűleg az érzelmi technológiát használták az Animojihoz.

A 2016 elején vásárolt Flyby Media egy másik vállalat, amely a kiterjesztett valóságon dolgozott. Repülni létrehozott egy alkalmazást amely a Google 3D-s érzékelővel felszerelt „Project Tango” okostelefonjával működött, lehetővé téve az üzenetek valós objektumokhoz való csatolását, és mások számára a Google egyik eszközével való megtekintését.

Például egy személy „beolvashat” egy tereptárgyat, például San Francisco Golden Gate hídját, és írhat hozzá egy üzenetet. A hidat később meglátogató személy ezután átvizsgálhatja a hidat a Flyby alkalmazással, hogy lássa az üzenetet. A Flyby alkalmazás valószínűleg azért hívta fel az Apple figyelmét, mert képes volt felismerni és megérteni a különböző szkennelt objektumokat, és ez a technológia, amelyet az Apple számos módon felhasználhat olyan alkalmazásokban, mint a Photos és a Maps.

2017 februárjában az Apple megvásárolta a RealFace kiberbiztonsági és gépi tanulási céget, amely az arcfelismerő technológiára szakosodott, és amely potenciálisan felhasználható a jövőbeni kiterjesztett valóság funkcióihoz.

A RealFace olyan arcfelismerő technológiát fejlesztett ki, amely integrálja a mesterséges intelligenciát a súrlódásmentes arcfelismerés érdekében. Valószínűleg Realface technológiát alkalmaztak az iPhone X-ben , az Apple első okostelefonja arcfelismerő képességgel Face ID formájában.

Apple 2020 májusában felvásárolta a NextVR-t , egy kaliforniai székhelyű vállalat, amely a virtuális valóságot sporttal, zenével és szórakoztatással ötvözte, és VR-élményt kínál élő események megtekintéséhez PlayStation, HTC, Oculus, Google, Microsoft és más gyártók VR fejhallgatóin.

Apple 2020 augusztusában megvásárolta a VR startup Spaces-t , egy vállalat, amely olyan virtuális valóság-élményeket tervezett, amelyeket az emberek bevásárlóközpontokban és más helyeken tapasztalhatnak meg, mint például a „Terminátor megváltása: Harc a jövőért” c. A Spaces virtuális valóság élményeket is hozott létre a videokommunikációs alkalmazásokhoz, például a Zoomhoz, amit az Apple potenciálisan beépíthet egy jövőbeli AR/VR termékébe.

AR / VR szabadalmak

Az Apple több szabadalmat nyújtott be, amelyek közvetlenül kapcsolódnak a virtuális valóság fejhallgatójához, és mindegyik több éves múltra tekint vissza. Bár a technológia valószínűleg némileg haladt ezeken túl, érdekes pillantást adnak az Apple által a múltban feltárt ötletekre.

Egy 2008-as szabadalmi bejelentés egy meglehetősen alapvető „személyes kijelzőrendszerre” terjedt ki, amelyet úgy terveztek, hogy utánozza a moziban való tartózkodás élményét videónézés közben.

Egy másik szabadalom egy „fejre szerelt kijelzőrendszert” írt le „lézermotorral”, amely a képeket a szemüveghez hasonló átlátszó, szemre hordott kijelzőre vetítette. Ebben a konfigurációban a fejhallgató egy kézi videolejátszóhoz, például iPodhoz csatlakozik, hogy feldolgozási teljesítményt biztosítson.

A harmadik szabadalom, amelyet eredetileg 2008-ban nyújtottak be, hasonló kialakítású volt, és egy szemüvegszerű videofejhallgatóra vonatkozik, amelyet arra terveztek, hogy a felhasználók filmeket és egyéb tartalmakat nézhessenek. Két állítható optikai modult vázolt fel a felhasználó szeméhez igazítva, amelyek látásjavítást és 3D-s tartalom megtekintését teszik lehetővé. Az Apple ezt úgy jellemezte, mint amely személyes médiamegtekintési élményt kínál.

NAK NEK negyedik szabadalom 2008-tól a Google Glass-hez hasonló video headset keretet takar, amely lehetővé teszi a felhasználó számára, hogy iPhone vagy iPod készülékét a headsetbe csúsztassa, hogy videót biztosítson. A fejhallgatót egy kiterjesztett valóságú termékként írták le, amely lehetővé teszi a felhasználók számára, hogy például videót nézzenek vagy e-maileket nézzenek, miközben szemmel tartják a környezetüket.

A fülhallgatókkal kapcsolatos szabadalmakon túl az Apple olyan szabadalmakat is benyújtott, amelyek leírják a virtuális és kiterjesztett valóság funkcióinak eszközeibe való beépítésének egyéb módjait. Egy 2009-es szabadalmi bejelentés például olyan kamerával felszerelt 3D-s kijelzőket fed le, amelyek a felhasználó relatív helyzete alapján eltolják a perspektívát.

Egy ilyen kijelző érzékeli a fej mozgását, lehetővé téve a felhasználónak, hogy mozgassa a fejét, hogy különböző szögekből nézzen egy 3D-s képet, miközben a felhasználó környezetének elemeit is beépíti.

A 2010-es és 2012-es szabadalmak mozgásérzékelők használatát írták le 3D interfész létrehozására iOS-eszközökhöz kiterjesztett valóság technikák segítségével. Az Apple az interfészt „virtuális szobaként” jellemezte, amelyben az eszköz tájolásának beépített érzékelőkkel vagy gesztusokkal történő manipulálásával lehet navigálni.

2011-ben az Apple szabadalmat nyújtott be a Maps alkalmazás kiterjesztett valóság funkciójára, amely a nevezetes tereptárgyak távolságának feltérképezésére vonatkozik. A kamerával a felhasználó megnézheti a körülöttük lévő területet, és valós idejű becsléseket kaphat két pont közötti távolságról, valamint a releváns információk átfedését.

A 2014-ben benyújtott és 2017-ben átadott szabadalom egy mobil kiterjesztett valóság rendszerre vonatkozik, amely képes észlelni a környezetben lévő objektumokat, és virtuális információkkal lefedni azokat kamerák, képernyő és felhasználói felület segítségével. Az Apple leírása szerint a rendszer ideális fejre szerelhető kijelzőhöz, de azt is mutatja, hogy okostelefonokban is használják.

Az Apple a virtuális valóság technológiáján dolgozik, ami lehet autonóm járművekben használják . Számos Apple-szabadalom ír le egy olyan rendszert, amely egy autóba épített virtuális valóság rendszert tartalmaz VR fejhallgatóval, amely szórakoztatást nyújt, és enyhíti az olyan feladatokból eredő autóbetegséget, mint az olvasás és a munka közbeni jármű.

NAK NEK 2020. júliusi szabadalmi bejelentés lefedi az Apple szemüveg lehetséges beviteli módszereit, leírva egy olyan rendszert, amelyben a szemüveg infravörös hőérzékelővel érzékeli, ha valaki megérint egy valós világ tárgyát, lehetővé téve a szemüveg számára, hogy a vezérlőket egy valós felületre vetítse.

Ezzel a módszerrel az Apple Glasses az AR vezérlőfelületén a valós világ bármely tényleges objektumára vetítheti a vegyes valóság átfedő hatását.

Apple 2021 februárjában számos szabadalmat nyújtott be egy pletykák szerint kevert valósággal foglalkozó headset-en végzett munkájához kapcsolódik, amelynek szabadalma a dizájnelemekre, lencsebeállításra, szemkövető technológiára és szoftverre terjed ki.

Az Apple több módszert is kifejlesztett a fejhallgató viselésének kényelmesebbé tételére, miközben biztonságosan tartja és védi a fényt, emellett van egy részletes lencsebeállító rendszer is, amely folyadék segítségével zökkenőmentesen mozgatja a lencséket, hogy az illeszkedést minden felhasználó számára testreszabhassa.

Az Apple egy szemkövető rendszert is bemutat, amely infravörös fényt használ a helyzetérzékelésre, és van egy szabadalom is arra vonatkozóan, hogyan lehet a dokumentumokat virtuális 3D-s térben szerkeszteni a headset és a gesztusérzékelés segítségével.

Az Apple-nek van szabadalmaztatott rendszerek videó rögzítéséhez fejhallgatóról, ahol a beépített pillantáskövető érzékelők jelezhetik, hogy egy személy éppen hol néz, és amely egy beépített kamerát irányíthat, hogy rögzítse azt a jelenetet, ahol a felhasználó szeme van, ahelyett, hogy egyszerűen rögzítené. mi van a felhasználó előtt.

Újabb szabadalmi bejelentés A 2021 februárjában benyújtott közlemény azt mutatta, hogy az Apple egy sor érzékelővel és haptikus visszacsatolással rendelkező ujjra szerelhető eszközt kutat, amelyet vegyes valóságú headset vezérlőeszközeként használnának.

A vezérlőeszköz olyan formával rendelkezik, amely lehetővé teszi a felhasználók számára, hogy természetes módon érezzék a környezetükben lévő tárgyakat, és pontosan meg tudja állapítani, hogy a felhasználó hogyan mozgatja az ujját és hogyan lép kapcsolatba a felületekkel. A rendszer állítólag annyira pontos, hogy képes érzékelni, milyen erősen nyomja a felhasználó egy felületet, és ennek az erőnek a pontos irányát, válaszul tapintható visszajelzést ad.

Egy AR vagy VR fejhallgatóval párosítva az Apple azt állítja, hogy ez az ujjra szerelhető eszköz „olyan érzést nyújthat a felhasználó számára, mintha egy fizikai billentyűzeten kommunikálna, amikor a felhasználó ujjaival megérinti az asztal felületét”, vagy „lehetővé teheti a felhasználó számára, hogy joystick-ot használjon. -type input' játékhoz, amely csak a felhasználó ujjbegyének mozgását használja.

Indítási dátum

Az Apple elemzője, Ming-Chi Kuo 2021 októberében azt mondta, hogy a hamarosan megjelenő vegyes valóságú headset késett legkorábban 2022 végéig, a termelés 2022 negyedik negyedévében kezdődik meg.

Bloomberg úgy véli továbbá, hogy az AR/VR headset, amelyen az Apple dolgozik, 2022-ben, míg a fejlesztés alatt álló AR-szemüvegek egy későbbi időpontban fognak megjelenni. Az információ azt javasolta, hogy 2022-ben egy AR/VR fejhallgatót adnak ki, majd 2023-ban az okosszemüveget, de ez korábbi idővonal, mint ahogy más források jelezték a szemüvegtermék esetében.

Az Apple állítólag lemaradt a készülő okosszemüveg tesztelésével kapcsolatban, ami esetleg késésekhez vezethet. Az Apple-nek 2021 elején kellett volna belépnie a szemüveg fejlesztésének második fázisába, de a második fázis tesztelése még nem kezdődött el, így a 2022 első negyedévi volumentermelés nem várható .

A Morgan Stanley elemzői a közelmúltban azt mondták, hogy az AR headset „felemelkedéshez közeledik” a szabadalmak száma Az Apple közzétette. Az elemzők úgy vélik, hogy az Apple szabadalmi portfóliója AR/VR fejhallgatójához hasonló ahhoz a szabadalmi portfólióhoz, amelyet az Apple Watch bevezetése előtt épített ki.

Jövőbeli AR/VR tervek

Az Apple elemzője, Ming-Chi Kuo úgy véli, hogy az Apple kiterjesztett valóságú „kontaktlencséket” tervezhet. indíthatna valamikor a 2030-as években.

Kuo szerint az objektívek elhozzák az elektronikát a „látható számítástechnika” korszakából a „láthatatlan számítástechnikába”. Jelenleg a kontaktlencsék nem láthatók, és nem garantált, hogy az Apple kifejleszti a terméket.