Apple Glasses

May usap-usapan ang Apple na may lihim na pangkat ng daan-daang empleyado na nagtatrabaho sa virtual at augmented reality na mga proyekto.

• Oo
• Hindi

Ang Lihim na Augmented at Virtual Reality Project ng Apple

Mga nilalaman

1. Ang Lihim na Augmented at Virtual Reality Project ng Apple
• Mixed Reality Headset
• AR Smart Glasses
• iOS 14 AR Leaks
• AR sa Xcode
• Pagtutulungan ng Valve?
• Iba pang mga alingawngaw
2. Augmented Reality kumpara sa Virtual Reality
3. Ang VR/AR Team ng Apple
• Mga hire
• Mga Pagkuha
4. Mga AR / VR Patent
5. Petsa ng Paglunsad
6. Mga Plano sa AR/VR sa hinaharap
7. Timeline ng Apple Glasses

Ang Apple ay naggalugad ng virtual reality at augmented reality na teknolohiya sa loob ng higit sa 10 taon batay sa mga patent filing, ngunit sa virtual at augmented reality na sumasabog sa katanyagan sa paglulunsad ng ARKit, ang pagdalo ng Apple ay nagiging mas seryoso at inaasahang hahantong sa isang AR/ VR na produkto sa 2022.

Ang Apple ay usap-usapan na mayroong isang lihim na yunit ng pananaliksik na may daan-daang empleyado na nagtatrabaho sa AR at VR at nag-e-explore ng mga paraan na magagamit ang mga umuusbong na teknolohiya sa hinaharap na mga produkto ng Apple. Ang pag-hire ng VR/AR ay tumaas sa nakalipas na ilang taon, at ang Apple ay nakakuha ng maraming kumpanya ng AR/VR habang pinalalakas nito ang trabaho nito sa AR/VR space.

Ang Apple ay rumored na nagtatrabaho sa hindi bababa sa dalawa Mga proyekto sa AR na may kasamang augmented reality headset na nakatakdang ilabas sa bandang 2022 na susundan ng mas makinis na pares ng augmented reality na salamin na darating sa ibang araw. Maraming mga alingawngaw ang nakatuon lamang sa mga salamin, gayunpaman, na humahantong sa ilang pagkalito tungkol sa mga plano ng Apple, ngunit lumilitaw na ang AR/VRheadset ang unang ilulunsad na produkto.

Naniniwala ang Apple analyst na si Ming-Chi Kuo sa 'mixed reality' headset ng Apple lalabas sa huling bahagi ng 2022 o unang bahagi ng 2023, kasama ang Apple Glasses na susundan sa 2025, bagama't sinabi ng ibang mga source na darating ang mga baso sa 2023. Ang headset ay AR/VR, aka mixed reality, habang ang Apple's Glasses ay augmented reality.

Mixed Reality Headset

Ang impormasyon at Bloomberg pareho nilang sinabi na ang Apple ay gumagawa ng mga matalinong salamin AT isang AR/VR headset (aka mixed reality), kung saan ang headset ang unang lalabas na sinusundan ng mga salamin. Sinasabing ang headset ay katulad ng Oculus Quest virtual reality headset ng Facebook, ngunit may mas makinis na disenyo na gumagamit ng mga tela at magaan na materyales upang matiyak na komportable ang headset.

Itinatampok daw dalawang high-resolution na 8K na display at mga eye-detecting camera na magbibigay-daan sa mga user na 'magbasa ng maliit na uri' at 'makita ang ibang tao na nakatayo sa harap at likod ng mga virtual na bagay.' Magagawa ng headset na i-map ang mga surface, gilid, at sukat ng mga kwartong may 'mas katumpakan kaysa sa mga kasalukuyang device sa merkado.' Magkakaroon ito ng mas advanced na display at chip na mas mabilis pa kaysa sa M1 processor sa 2020 Macs.

Ang impormasyon sa Pebrero Sinabi nito na magkakaroon ng higit sa isang dosenang camera para sa pagsubaybay sa mga galaw ng kamay bilang karagdagan sa mga camera para makita ang labas ng mundo, at hinaharangan ng disenyo ang peripheral vision upang maiwasang tumagas ang liwanag sa field of view ng nagsusuot. Maaaring mayroon ding panlabas na nakaharap na visor na nakapaloob sa display upang payagan ang tagapagsuot na magpakita ng mga graphics sa iba.

Ang Elec angkinin iyon magtatampok ang VR headset ng high-resolution na micro OLED display na may hanggang 3,000 pixels bawat pulgada. Ang isang micro OLED display ay dating nabalitaan para sa mga matalinong baso, ngunit hindi ang VR headset.

Sinabi ng Apple analyst na si Ming-Chi Kuo na ang paparating na mixed reality headset ng Apple magtatampok ng 15 optical camera modules sa kabuuan. Walo sa 15 camera module ang gagamitin para sa see-through augmented reality na mga karanasan, anim na module ang gagamitin para sa 'makabagong biometrics,' at isang camera module ang gagamitin para sa environmental detection.

Kuo naniniwala din na ang headset ng Apple ay nilagyan ng advanced na sistema ng pagsubaybay sa mata na ginagamit upang magbigay ng intuitive na visual na karanasan na walang putol na nakikipag-ugnayan sa panlabas na kapaligiran, kasama ang mas madaling gamitin na operasyon na maaaring kontrolin sa paggalaw ng mata at pinababang computational na pasanin sa anyo ng isang pinababang resolution kung saan hindi tumitingin ang user.

Sa disenyo, ang headset ay inilarawan bilang may 'sleek, curved visor na nakakabit sa mukha ng isang mesh material at swappable headbands.' Nagtatampok ang isang headband ng spatial audio technology tulad ng AirPods Pro para sa surround-sound na karanasan, habang ang isa ay nagbibigay ng karagdagang tagal ng baterya habang on the go. Gumagawa ang Apple sa maraming paraan ng pagkontrol, kabilang ang isang 'parang didal na isusuot sa daliri ng isang tao.' Makakasagot din ang headset sa mga galaw ng mata at galaw ng kamay ng nagsusuot, habang ang isang prototype ng headset ay nagtatampok din ng pisikal na dial sa gilid ng visor. Sinusubukan din ng Apple ang Siri input.

Gusto ni Apple lumikha ng isang App Store para sa headset, na may pagtuon sa paglalaro, pag-stream ng nilalamang video, at video conferencing. Ito ay inilarawan ni Bloomberg bilang isang 'all-encompassing 3-D digital environment' na idinisenyo para sa paglalaro, panonood ng video, at pakikipag-usap.

Mga kasalukuyang prototype ng headset ay sinabi na tumitimbang ng humigit-kumulang 200 hanggang 300 gramo, ngunit nilalayon ng Apple na bawasan ang panghuling timbang sa 100 hanggang 200 gramo kung malulutas ang mga teknikal na problema, na gagawing mas magaan ang headset kaysa sa mga kasalukuyang VR device. Ang headset ay magiging portable na may independiyenteng kapangyarihan at storage, ngunit hindi ito magiging 'mobile' tulad ng isang iPhone. Magbibigay ito ng 'immersive na karanasan' na hihigit sa kasalukuyang magagamit na mga produkto ng VR, at maaari itong isama sa Apple TV+ at Apple Arcade.

Ang pagpapagana ng augmented reality para sa headset ay 'mas limitado,' at habang ang isang release ay binalak para sa 2022, ang Apple ay sinasabing naabot ang ilang mga hadlang sa pag-unlad at may 'konserbatibong' mga pagtatantya sa benta para sa device. Inaasahan ng Apple na magbenta ng humigit-kumulang 180,000 unit, na katumbas ng mas mahal na mga device tulad ng Mac Pro. Ang headset ay inaasahang mas mahal kaysa sa mga headset mula sa ibang mga kumpanya, at Ang impormasyon sabi na tinalakay ng Apple ang pagpepresyo ng headset sa humigit-kumulang ,000.

Kasama sa paunang disenyo ang isang fan at malalakas na processor, na nagreresulta sa isang device na masyadong mabigat. Nagdesisyon umano si Apple na ilapit ang headset sa mukha para mabawasan ang laki. Hindi makakapagsuot ng salamin ang mga user habang ginagamit ang headset, kaya gumawa ang Apple ng system kung saan maaaring ilagay ang mga custom na de-resetang lente sa mga VR screen.

Naniniwala si Kuo na ang headset gagamit ng hybrid na disenyo ng lens ng Fresnel , na sumasaklaw sa tatlong stacked lens bawat mata na gawa sa magaan na plastic. Ang layunin ay ang disenyo ay upang paganahin ang mga ultra-maikling focal length at pinahusay na optical performance, pati na rin ang isang malawak na larangan ng view, at panatilihin ang bigat ng headset sa ilalim ng 150 gramo.

Sa mga tuntunin ng kapangyarihan, ang paparating na AR/VR headset ay magtatampok ng a high-end na pangunahing processor iyon ay katulad ng M1 chip na inilunsad ng Apple para sa mga Apple silicon Mac nito noong nakaraang taon, kasama ang isang lower-end na processor para sa pamamahala sa mga aspetong nauugnay sa sensor ng device.

Sinasabi ng Apple analyst na si Ming-Chi Kuo na magagawa nitong gumana nang nakapag-iisa nang hindi umaasa sa isang Mac o iPhone, na isang pag-alis mula sa isang naunang tsismis na nagsabing ito ay nangangailangan ng tether sa isang iPhone. Ang high-powered chip sa headset ay magdadala ng isang pares ng 4K Micro OLED na mga display mula sa Sony at anim hanggang walong optical module upang magbigay ng AR-based na functionality. meron si Apple natapos na gawain sa SoC para sa AR/VR headset, at mag-o-optimize para sa wireless na paghahatid ng data, pag-compress at pag-decompress ng video, at power efficiency para sa maximum na buhay ng baterya, at wala itong neural engine tulad ng ilan sa iba pang chip ng Apple.

Ang paparating na mixed reality headset ng Apple ay nag-aalok ng WiFi 6E suporta, na siyang pinakabagong detalye ng WiFi. Sinasabing pinaplano ng Apple na ipatupad ang WiFi 6E para magbigay ng high-end, nakaka-engganyong karanasan na may solidong wireless connectivity. Nasa WiFi 6E ang lahat ng benepisyo ng WiFi 6 ngunit nagdaragdag ng 6GHz spectrum bilang karagdagan sa mga 2.4GHz at 5GHz band para sa mas mataas na bandwidth at mas kaunting interference sa pagitan ng mga device.

Mga Pag-render ng Mixed-Reality Headset

Ang taga-disenyo na si Antonio De Rosa ay mayroon nakabuo ng mga 3D render batay sa mga detalyeng ibinahagi ni Ang impormasyon , na nagbibigay sa amin ng isang pagtingin sa kung ano ang maaaring hitsura ng mixed-reality headset ng Apple batay sa mga kasalukuyang tsismis.

Ang impormasyon ay inilarawan ang headset bilang isang 'sleek, curved visor na nakakabit sa mukha ng isang mesh material at swappable headbands' na inaalok sa maraming kulay.

Mga Prototype ng Maagang Headset

Ang mga naunang alingawngaw mula sa CNET noong 2018 ay iminungkahi na ang Apple ay nagtatrabaho sa isang malakas na AR/VR headset na may 8K na display para sa bawat mata na hindi ma-untether mula sa alinman sa isang computer o isang smartphone, at gagana ito sa parehong virtual at augmented reality na mga application.

Sa halip na umasa sa isang koneksyon sa isang smartphone o isang computer, ang headset CNET inilarawan ay kumonekta sa isang 'nakalaang kahon' gamit ang isang high-speed short-range wireless na teknolohiya na tinatawag na 60GHz WiGig. Ang kahon ay papaganahin ng isang pasadyang 5-nanometer na Apple processor na 'mas malakas kaysa sa anumang kasalukuyang magagamit.' Ang kahon ay tila kahawig ng isang PC tower, ngunit ito ay 'hindi magiging isang aktwal na Mac computer.' Ang mala-kahong disenyo na ito ay naging paksa ng mga naunang tsismis at maaaring isang prototype na mula noon ay inabandona para sa mas makinis na bersyon na inilalarawan ngayon ng mga alingawngaw.

Ang mga panloob na hindi pagkakasundo ay sinasabing humubog at nagpabago sa mga layunin ng Apple para sa AR headset nito sa paglipas ng panahon. Apple noon paunang pagpuntirya para sa isang napakalakas na system na may kasamang hub upang ilagay ang processor tulad ng inilarawan sa itaas, ngunit si Jony Ive, na umalis na sa kumpanya, ay hindi gustong magbenta ng device na mangangailangan ng hiwalay at nakatigil na device para sa buong functionality.

Sa halip ay gusto ko ng headset na may hindi gaanong makapangyarihang teknolohiya na maaaring direktang i-embed sa device, ngunit gusto ng pinuno ng AR/VR team na si Mike Rockwell ang mas malakas na device. Ito ay isang standoff na tumagal ng ilang buwan, at sa huli ay pumanig si Tim Cook kay Ive. Mas gusto daw ni Ive ang AR smart glasses na ginagawa na rin.

AR Smart Glasses

Gumagawa ang Apple sa isang set ng augmented reality glasses, na si Leaker Jon Prosser ay nagmungkahi Tatawagin ng Apple ang 'Apple Glass.' Ang pangalang iyon ay magiging isang hindi pangkaraniwang pagpipilian dahil sa pagkakatulad sa pangalan ng Google Glass, isang produkto na umiral nang matagal bago nahayag ang gawa ng Apple sa mga AR glass, kaya maaaring hindi ito tumpak.

Ang mga salamin ay sinasabing kamukha ng mga regular na salamin, na may parehong mga lente na nagtatampok ng mga display na maaaring makipag-ugnayan sa paggamit ng mga kilos. Magkakaroon ng opsyon na kunin ang mga baso na walang mga de-resetang lente sa posibleng panimulang presyo na 9, na may mga de-resetang lente na available sa karagdagang halaga.

Ayon kay Bloomberg , ang mga salamin ay nasa isang maagang yugto ng pag-unlad , kahit na mas maaga kaysa sa AR/VR headset na ginagawa ng Apple. Ang mga salamin ay inilarawan bilang 'ilang taon na ang layo,' kahit na una nang pinaplano ng Apple na ilabas ang mga ito noong 2023. Ang kasalukuyang prototype ay kahawig ng mga high-end na salaming pang-araw na may makapal na mga frame na naglalaman ng baterya at chips.

Apple daw nagpaplanong gamitin 'cutting edge' OLED microdisplays na ibinibigay ng Sony para sa napapabalitang augmented reality na salamin nito. Nagtatampok ang mga OLED microdisplay ng Sony ng napakabilis na response rate, napakataas na contrast, isang malawak na gamut ng kulay, mataas na luminance, mababang reflectance, at pinagsamang mga driver para sa manipis at magaan na disenyo. Ang mga salamin ay sinasabing nagtatampok ng 0.5-pulgada na display na may 1280x960 na resolusyon.

Inaasahan ni Kuo na ibebenta ang AR glasses bilang isang iPhone accessory at pangunahing gagawa ng isang display role sa pag-offload ng computing, networking, at pagpoposisyon sa iPhone, gamit ang mga salamin. pagbibigay isang mobile-first 'optical see-through AR na karanasan.' Ang pag-aalok ng AR glasses bilang isang iPhone accessory ay magbibigay-daan sa Apple na panatilihing slim at magaan ang mga ito. Sinabi ni Prosser na ang mga salamin ay magiging katulad ng Ray-Ban Wayfarers o ang mga salamin na isinusuot ni Tim Cook.

Bloomberg ay nagsabi na ang Apple glasses ay tatakbo ng 'rOS' o reality operating system. Ang rOS ay sinasabing nakabatay sa iOS, ang operating system na tumatakbo sa iPhone. Para sa AR headset, ang Apple ay bumubuo ng isang 'system-on-a-package' chip na katulad ng kung ano ang nasa Apple Watch, kahit na ito ay umaasa sa iPhone tulad ng nabanggit sa itaas.

Sa kabuuan ng pagbuo ng isang AR headset, isinasaalang-alang ng Apple ang mga touch panel, voice activation, at head gestures bilang mga pamamaraan ng pag-input, at isang hanay ng mga application mula sa pagmamapa hanggang sa pag-text ay ginagawang prototype. Ang mga virtual meeting room at 360-degree na pag-playback ng video ay mga konsepto din na ginagalugad.

Naisip na may mga paunang tsismis ng isang paglulunsad noong 2020 , Bloomberg naniniwala sa AR glasses pwedeng sumama ilang taon na lang bago ilabas, kasama ang VR headset na lalabas sa 2022. Isang ulat mula sa DigiTimes Iminungkahing ilulunsad ang AR glasses ng Apple sa 2021, at inaasahan ng Apple analyst na si Ming-Chi Kuo ang paglulunsad sa 2022 sa pinakamaaga .

Naniniwala ang leaker na si Jon Prosser na ilalabas ng Apple ang mga salamin sa AR nito sa Marso o Hunyo ng 2021, ngunit ito ay tila hindi tumpak sa mga pagtatantya mula sa Bloomberg at Kuo.

Sinabi rin ni Prosser na ang Apple ay gumagawa sa isang limitadong edisyon na 'Steve Jobs Heritage' na bersyon ng matalinong salamin na idinisenyo upang magmukhang bilog at walang frame na salamin na isinusuot noon ni Steve Jobs, ngunit Bloomberg Tinawag ni Mark Gurman ang tsismis na ito na 'kumpletong kathang-isip.'

Ang Apple ay nagtatrabaho sa TSMC upang bumuo ng mga 'ultra-advanced' na micro OLED na mga display na gagamitin sa paparating na mga augmented reality device ng Apple tulad ng mga smart glasses. Ang mga display ay sinasabing mas mababa sa isang pulgada ang laki.

Direktang binuo ang mga Micro OLED na display sa mga chip wafer sa halip na isang glass substrate, na nagreresulta sa mga display na mas manipis, mas maliit, at mas matipid sa kuryente. Ang pag-develop sa mga micro OLED display ay sinasabing nasa trial production stage at ito ay ilang taon bago ang Apple at TSMC ay handa na para sa mass production, na gagawing angkop ang mga display na ito para sa Apple Glasses na napapabalitang ilulunsad sa bandang 2023.

Simula noong unang bahagi ng 2021, ang Apple ay sinabi na pagpasok sa isang 'ikalawang yugto ng pag-unlad' sa isang augmented reality glasses prototype. Nakatakdang dumaan ang mga salamin sa ikatlong yugto ng pag-unlad sa loob ng ilang buwan, at pagkatapos ay kapag natapos na ang disenyo ng prototype, ang naisusuot ay dadaan sa anim hanggang siyam na buwang yugto ng pag-verify ng engineering.

iOS 14 AR Leaks

Code at mga larawan matatagpuan sa iOS 14 kumpirmahin ang gawa ng Apple sa isang AR o VR headset, na may natuklasang larawan na nagpapakita ng isang pangkaraniwang controller para sa isang headset na katulad ng disenyo sa HTC Vive Focus headset. Gumagamit ang Apple ng HTC Vive hardware para sa panloob na pagsubok.

Sinusubukan ng Apple ang AR equipment nito gamit ang iOS 14 app na tinatawag na Gobi kasama ng mga QR code para subukan ang mga karanasan sa augmented reality. Isa sa mga augmented reality na karanasang ito ay isang crosswalk bowling game na na-trigger sa isang partikular na crosswalk sa Sunnyvale, California.

AR sa Xcode

Kinukumpirma ng code sa Xcode 11 gawa ni Apple sa ilang uri ng AR headset. May mga reference sa codenamed na mga pansubok na device kasama ang mga framework at isang shell ng system na nauugnay sa mga device na ito. Iminumungkahi ng mga sanggunian na ang Apple ay bumubuo ng suporta para sa isang naka-face-mount na karanasan sa AR na katulad ng Daydream ng Google.

Pagtutulungan ng Valve?

Ayon sa Taiwanese site DigiTimes , kasosyo ang Apple developer ng laro na si Valve para sa rumored AR headset nito. Inilabas ng Valve ang una nitong VR headset, ang Valve Index, noong Abril 2019.

Dati nang nakipagtulungan si Valve sa Apple upang dalhin ang suporta ng katutubong VR headset sa macOS High Sierra, na ginagamit ang suporta sa eGPU gamit ang bersyon ng Mac ng SteamVR software.

Iba pang mga alingawngaw

Noong Nobyembre ng 2017, binili ng Apple ang Vrvana , isang kumpanya na bumuo ng isang mixed reality headset na tinatawag na Totem. Ang teknolohiya ng Vrvana ay maaaring magamit sa hinaharap na headset ng Apple. Sinundan ng Apple ang pagbili nito ng Vrvana sa pagkuha ng Akonia Holographics , isang kumpanyang gumagawa ng mga lente para sa AR smart glasses.

Iminungkahi din ng mga alingawngaw na maaaring isama ng Apple ang augmented reality na pananaliksik nito sa kasalukuyang proyekto ng kotse nito bilang bahagi ng in-car software system na maaaring magsama ng heads-up display o iba pang feature.

Tandaan: Nakakakita ng error sa pag-iipon na ito o gusto mong mag-alok ng feedback? .

Augmented Reality kumpara sa Virtual Reality

Ang augmented reality (AR) at virtual reality (VR) ay magkatulad na teknolohiya, ngunit may malaking pagkakaiba sa pagitan ng mga ito at ang kanilang mga potensyal na aplikasyon ay malawak na nag-iiba. Ang virtual reality ay tumutukoy sa isang ganap na nakaka-engganyong karanasan sa isang virtual na mundo, habang ang augmented reality ay tumutukoy sa isang binagong pagtingin sa totoong mundo.

Ang pagkakaiba ay maaaring pinakamahusay na maibuod sa pamamagitan ng paghahambing sa pagitan ng dalawang produkto, isang AR at isang VR. Google Glass , ang wala na ngayong set ng smart glass ng Google, ay isang halimbawa ng augmented reality. Hinahayaan ng Google Glass na pagod na sa mata ang mga user na tingnan ang mundo kung ano ito, ngunit nag-aalok ito ng head-up display na nag-overlay ng may-katuturang impormasyon na ibinigay ng computer sa totoong view ng mundo, gaya ng lokal na lagay ng panahon, mga mapa, at mga notification.

Ito ay katulad ng sinasabing ginagawa ng Apple gamit ang napapabalitang 'matalinong baso nito.'

Sa paghahambing, ang Facebook's Oculus Rift ay isang virtual reality headset na nag-aalok ng nakaka-engganyong visual na karanasan na hindi nagpapalaki sa totoong mundo ng karagdagang pandama na impormasyon -- ganap nitong pinapalitan ang totoong mundo ng isang simulate na mundo.

Ang augmented reality ay nagbibigay ng computer-generated na konteksto at impormasyon tungkol sa mundo sa paligid natin habang pinapayagan tayong makipag-ugnayan sa ating kapaligiran, habang ang virtual reality ay idinisenyo upang ihiwalay tayo sa ating kapaligiran para makipag-ugnayan tayo sa mga gawa-gawang mundo.

ano ang hitsura ng iphone 11

Ang mga potensyal na aplikasyon para sa dalawa ay lubhang magkaiba. Ang virtual reality ay bukod-tanging nakatutok sa nakaka-engganyong pagkonsumo ng nilalaman dahil ipinadarama nito sa nagsusuot na para bang talagang nararanasan nila ang nangyayari sa simulate na mundo sa pamamagitan ng visual, tactile, at audio na feedback. Ang virtual reality ay higit na naka-link sa paglalaro sa ngayon, ngunit mayroon din itong potensyal na muling likhain ang mga tunay na karanasan sa mundo para sa mga layuning pang-edukasyon o pagsasanay.

Ang augmented reality ay hindi nakadepende sa nakaka-engganyong content at bagama't hindi gaanong kapana-panabik dahil ito ay nagpapalaki ng katotohanan sa halip na palitan ito, mayroon itong mas malawak na hanay ng mga potensyal na aplikasyon. Sa katunayan, ang mga app at laro ng augmented reality ay madaling magagamit sa iOS 11 salamat sa ARKit.

Sa ARKit, nakikilala ng isang iOS device ang isang surface tulad ng isang table, at pagkatapos ay maidaragdag dito ang mga virtual na bagay. Dahil sa kapangyarihan ng pag-compute ng iPhone at iPad, ang mga kakayahan ng augmented reality ng ARKit ay kahanga-hanga. Ginagamit na ang ARKit upang lumikha ng malaking hanay ng mga app at laro, na pinagsasama ang mga digital na bagay sa totoong mundo.

maglaro

Maaaring tunguhin ng Apple ang isang produkto na gumagana sa parehong augmented at virtual reality, gaya ng iminungkahi ng mga kamakailang tsismis na nagpapahiwatig ng trabaho sa isang AR/VR headset. Maaaring gamitin ang naturang produkto para sa mga seryosong aplikasyon ng virtual reality pati na rin ang mga karanasan sa augmented reality, at magiging katulad ito ng Microsoft HoloLens.

Ang VR/AR Team ng Apple

Ang gawain ng Apple sa virtual at augmented reality ay nagsimula nang maraming taon, ngunit ang mga alingawngaw ay nagsimula noong Marso ng 2015 nang may balita na ang Apple ay may maliit na pangkat ng mga taong nagtatrabaho sa augmented reality. Noong 2015 at sa unang bahagi ng 2016, lumago ang team ng Apple habang ang kumpanya ay kumuha ng mga empleyadong may kadalubhasaan sa AR/VR na teknolohiya at gumawa ng maraming nauugnay na pagkuha.

Kasama sa AR/VR team ng Apple ang ilang daang inhinyero mula sa buong Apple, na lahat ay may kadalubhasaan sa virtual at augmented reality. Ang koponan ay nagtatrabaho sa mga parke ng opisina sa Cupertino at Sunnyvale, at ang Apple ay nag-e-explore ng ilang hardware at software na proyekto sa ilalim ng code name na 'T288.'

Pinagsasama ng augmented reality team ng Apple 'ang lakas ng mga beterano ng hardware at software nito,' at pinamumunuan ni Mike Rockwell, na nagmula sa Dolby. Ang mga dating empleyado ng mga kumpanya tulad ng Oculus, HoloLens, Amazon (mula sa VR team), 3D animation company na Weta Digital, at Lucasfilm ay nagtatrabaho sa AR sa Apple.

Ang dating Apple hardware engineering chief Dan Riccio noong Enero 2021 ay lumipat sa isang bagong tungkulin kung nasaan siya nangangasiwa sa gawain ng Apple sa isang AR/VR headset. Ang proyekto ay nahaharap sa mga hamon sa pag-unlad, at naniniwala ang mga executive ng Apple na maaaring makatulong ang pagtuon ni Riccio.

Mga hire

Isa sa pinakakilalang AR/VR hire ng Apple ay ang propesor ng computer science na si Doug Bowman , na dating pinamunuan ang Virginia Tech's Center for Human-Computer Interaction. Dalubhasa siya sa three-dimensional na disenyo ng user interface at nagsulat ng isang libro sa paksang sumasaklaw sa mga 3D na interface at ang mga benepisyo ng mga nakaka-engganyong virtual na kapaligiran. Mayroon siyang kadalubhasaan sa parehong virtual at augmented reality.

Nag-hire din ang Apple ng mga empleyado na nagtrabaho sa virtual o augmented reality na mga produkto sa Microsoft at Lytro. Ang ilang kamakailang hire ay sinasabing mula sa koponan ng HoloLens ng Microsoft, habang ang iba ay nagtrabaho sa Lytro, isang kumpanyang nagtatrabaho sa isang camera na kayang pagsamahin ang live na aksyon at mga computer graphics para sa isang live na aksyon na karanasan sa VR. Ang mga empleyadong nagmumula sa HoloLens team ay magkakaroon ng karanasan sa paggawa ng advanced augmented reality headset.

Ang Lytro Immerge 360 ​​​​degree na camera

Si Zeyu Li, na nagsilbi bilang isang pangunahing computer vision engineer sa Magic Leap (isang startup na bumubuo ng isang head-mounted AR/VR display), ay nagtatrabaho na ngayon sa Apple bilang isang 'Senior Computer Vision Algorithm Engineer.'

Si Yury Petrov , isang dating research scientist sa Facebook-owned Oculus, ay nagsisilbi na ngayon bilang isang 'research scientist' sa Apple. Ayon sa kanyang profile sa LinkedIn, pinag-aralan ni Petrov ang mga karanasan sa virtual reality, prototyped optics, at nakabuo ng computer simulation software.

Ang eksperto sa augmented reality na si Jeff Norris ay sumali sa Apple noong Abril 2017 bilang isang senior manager na nagtatrabaho sa augmented reality team ng kumpanya. Itinatag ni Norris ang Mission Operations Innovation Office at JPL Ops Lab sa NASA. Pinamunuan niya ang maraming proyektong nakatuon sa pakikipag-ugnayan ng sistema ng tao na may diin sa virtual at augmented reality.

Ang Apple noong Mayo 2018 2018 ay nag-hire kay Sterling Crispin , na bumuo ng painting app para sa mga mobile VR headset. Hinahayaan ng 'Cyber ​​Paint' ang mga nagsusuot ng VR headset na gumawa ng 2D 260-degree na mga larawan sa Oculus Go, Daydream, GearVR, at Vive Focus. Sinasabi ng pahina ng LinkedIn ni Crispin na nagtatrabaho siya bilang isang 'prototyping researcher,' na nagmumungkahi na pinagsama niya ang team na napapabalitang nagtatrabaho sa VR/AR headset technology.

Ang Apple noong Disyembre 2018 ay nag-hire ng dating senior Tesla at Microsoft HoloLens designer na si Andrew Kim, at dahil sa kanyang kasaysayan, maaaring siya ay nagtatrabaho sa rumored AR glasses project ng Apple o sa paparating na Apple car nito na sinasabing nasa development.

Ang founder ng Jaunt VR na si Arthur van Hoff ay sumali sa Apple bilang isang senior architect noong Abril 2019. Bago magtrabaho sa Apple, ang kanyang kumpanya lumikha ng VR hardware , kabilang ang isang 0,000 3D VR camera na tinatawag na Jaunt One. Bago nang umalis si van Hoff sa kumpanya, nabigo si Jaunt at lumipat sa mga karanasan sa AR.

Sa pangkat ng Apple na sumasaklaw sa daan-daang empleyado, marami pang ibang virtual reality na mga hire na eksperto na nasa ilalim ng radar. Sa LinkedIn, maraming software engineer na may karanasan sa virtual reality na ginagamit ng Apple, ngunit hindi malinaw kung nagtatrabaho sila sa lihim na AR/VR team.

Inilipat ng Apple noong Hulyo 2019 si Kim Vorrath, isa sa mga executive ng software nito, sa ang augmented reality headset dibisyon upang 'magdala ng ilang order' sa koponan. Pinangasiwaan ni Vorrath ang pamamahala ng programa sa software development team sa loob ng 15 taon, at inilarawan bilang isang 'makapangyarihang puwersa' na tinitiyak na ang mga empleyado ay nakakatugon sa mga deadline habang sinusuri din ang mga bug.

Mga Pagkuha

Maraming miyembro ng AR/VR team ng Apple ang maaaring sumali sa kumpanya kahit na may mga acquisition. Mula noong 2015, bumili ang Apple ng ilang kumpanya na lumikha ng mga produktong nauugnay sa AR/VR, at ilang taon pa nga ang ilan sa mga nakuha nitong AR/VR.

Ang Apple noong Agosto 2018 ay bumili ng Akonia Holographics , isang startup na gumagawa ng mga lente para sa augmented reality glasses. Ina-advertise ng Akonia Holographics ang 'unang komersiyal na available sa buong mundo na volume holographic reflective at waveguide optics para sa mga transparent na elemento ng display sa smart glasses.'

Ang mga display na ginagawa nito ay sinasabing gumagamit ng teknolohiya ng HoloMirror ng kumpanya para sa 'ultra-clear, full-color na pagganap' upang paganahin ang 'pinaka manipis, pinakamagaan na ulo na isinusuot na mga display sa mundo.'

Noong Nobyembre ng 2017, binili ng Apple ang Vrvana , isang kumpanya na bumuo ng isang mixed reality headset na tinatawag na Totem. Ang Totem, na hindi kailanman inilabas sa publiko, ay idinisenyo upang pagsamahin ang parehong augmented at virtual reality na teknolohiya sa iisang headset, na pinagsasama ang buong kakayahan ng VR na may mga pass-through na camera upang paganahin ang mga feature na augmented reality na nakabatay sa screen.

Ang Totem ay mahalagang gumamit ng isang hanay ng mga camera upang i-project ang mga totoong larawan sa mundo sa kanyang built-in na 1440p OLED na display, isang medyo kakaibang diskarte na nagbukod nito sa mga nakikipagkumpitensyang produkto tulad ng HoloLens ng Microsoft, na gumagamit ng isang transparent na display upang pagsamahin ang virtual at augmented reality. Maaaring pinaplano ng Apple na gamitin ang ilan sa teknolohiya ng Totem sa isang produkto sa hinaharap.

Binili ng Apple ang Israeli-based na 3D body sensing firm na PrimeSense noong 2013, na nagdulot ng haka-haka na ang mga kakayahan na nakabatay sa paggalaw ay ipapatupad sa Apple TV. Ginamit ang 3D depth technology ng PrimeSense at mga motion sensing na kakayahan sa paunang Kinect platform ng Microsoft.

Gumamit ang PrimeSense ng malapit-IR na ilaw upang ilabas ang isang hindi nakikitang liwanag sa isang silid o isang eksena, na pagkatapos ay binabasa ng isang sensor ng imahe ng CMOS upang lumikha ng isang virtual na imahe ng isang bagay o tao. Nagbibigay-daan ito sa mga kontrol na nakabatay sa paggalaw para sa mga interface ng software, ngunit nagagawa rin nito ang mga bagay tulad ng pagsukat ng mga virtual na bagay at pagbibigay ng mga kaugnay na distansya o laki, kapaki-pakinabang para sa mga augmented reality na application tulad ng interactive na paglalaro, panloob na pagmamapa, at higit pa. Ang teknolohiya ng PrimeSense ay maaari ding lumikha ng napakatumpak na 360 degree na pag-scan ng mga tao at bagay, na potensyal na kapaki-pakinabang para sa mga virtual reality na application.

Nakuha ng Apple ang augmented reality startup na Metaio noong Mayo ng 2015. Bumuo ang Metaio ng isang produkto na tinatawag na Metaio Creator, na maaaring magamit upang gumawa ng mga augmented reality na sitwasyon sa loob lamang ng ilang minuto. Bago binili ng Apple, ang software ng Metaio ay ginamit ng mga kumpanya tulad ng Ferrari, na lumikha ng isang augmented reality showroom.

Ginamit din ang teknolohiyang Metaio sa Berlin upang payagan ang mga taong bumibisita sa site ng Berlin Wall na gumamit ng smartphone o tablet upang makita kung ano ang hitsura ng lugar noong nakatayo pa ang Berlin Wall. Ang teknolohiya ng Metaio ay isa na posibleng magamit upang ipatupad ang mga kakayahan ng augmented reality sa mga Apple app tulad ng Maps.

Nakuha ng Apple ang Faceshift noong Agosto ng 2015, na minarkahan ang pangalawang pagbili nito sa augmented reality noong 2015. Bago nakuha ng Apple, nakipagtulungan ang Faceshift sa mga studio ng laro at animation sa teknolohiya na idinisenyo upang mabilis at tumpak na makuha ang mga ekspresyon ng mukha gamit ang mga 3D sensor, na ginagawang mga animated na mukha sa totoong oras. Gumagawa din ang Faceshift sa isang produkto na nakatuon sa consumer na magbibigay-daan sa mga tao na gawing cartoon o monster na mukha nang real time sa Skype.

Ang teknolohiya ng Faceshift ay may malawak na hanay ng mga posibleng kaso ng paggamit, at mukhang ginagamit ng Apple ang feature para paganahin ang Animoji sa iPhone X.

Ang Emotient, isang kumpanyang gumawa ng mga tool para sa pagsusuri sa ekspresyon ng mukha, ay nakuha ng Apple noong Enero ng 2016. Gumagamit ang teknolohiya ng Emotient ng artificial intelligence at machine learning para basahin ang emosyon ng tao, mga feature na ginamit ng mga advertiser sa totoong mundo para matukoy ang mga emosyonal na reaksyon sa mga patalastas.

Mayroong dose-dosenang mga bagay na maaaring gawin ng Apple sa Emotient, mula sa mas mahusay na pag-detect ng mukha sa Photos app hanggang sa pagsusuri ng mga damdamin ng customer sa mga retail store ng Apple hanggang sa pag-unlock ng mga iOS device, ngunit mayroon din itong potensyal na paggamit ng AR/VR. Tulad ng Faceshift, maaaring gamitin ang teknolohiya ng Emotient upang suriin at baguhin ang mga ekspresyon ng mukha para sa paggawa ng mga virtual na avatar, na kapaki-pakinabang para sa mga layunin at laro ng social media. Malamang na ginamit ang emotient na teknolohiya para sa Animoji.

Binili noong unang bahagi ng 2016, ang Flyby Media ay isa pang kumpanya na nagtrabaho sa augmented reality. Flyby gumawa ng app na nagtrabaho sa 3D sensor-equipped 'Project Tango' smartphone ng Google, na nagbibigay-daan sa mga mensahe na i-attach sa mga tunay na bagay sa mundo at matingnan ng iba gamit ang isa sa mga device ng Google.

Halimbawa, maaaring 'i-scan' ng isang tao ang isang landmark tulad ng Golden Gate Bridge ng San Francisco at magsulat ng mensaheng nakalakip dito. Ang isang taong bumibisita sa tulay sa ibang pagkakataon ay makakapag-scan sa tulay gamit ang Flyby app upang makita ang mensahe. Malamang na nakuha ng Flyby app ang atensyon ng Apple dahil nakilala at nauunawaan nito ang iba't ibang bagay na na-scan, teknolohiya na magagamit ng Apple sa ilang paraan sa mga app tulad ng Photos at Maps.

Noong Pebrero ng 2017, binili ng Apple ang RealFace , isang kumpanya ng cybersecurity at machine learning na dalubhasa sa teknolohiya sa pagkilala sa mukha, na posibleng magamit para sa mga feature ng augmented reality sa hinaharap.

Nakabuo ang RealFace ng teknolohiya sa pagkilala sa mukha na isinasama ang artificial intelligence para sa walang friction na pagkilala sa mukha. Malamang na ginamit ang teknolohiyang realface sa iPhone X , ang unang smartphone ng Apple na may mga kakayahan sa pagkilala sa mukha sa anyo ng Face ID.

Apple noong Mayo 2020 nakuha ang NextVR , isang kumpanyang nakabase sa California na pinagsama ang virtual reality sa sports, musika, at entertainment, na nag-aalok ng mga karanasan sa VR para sa panonood ng mga live na kaganapan sa mga VR headset mula sa PlayStation, HTC, Oculus, Google, Microsoft, at iba pang mga manufacturer.

Apple noong Agosto 2020 bumili ng VR startup Spaces , isang kumpanyang nagdisenyo ng mga karanasan sa virtual reality na maaaring maranasan ng mga tao sa mga mall at iba pang lokasyon, gaya ng 'Terminator Salvation: Fight for the Future.' Lumikha din ang Spaces ng mga karanasan sa virtual reality para sa mga video communication app tulad ng Zoom, na isang bagay na posibleng isama ng Apple sa hinaharap na produkto ng AR/VR.

Mga AR / VR Patent

Nag-file ang Apple sa maraming patent na direktang nauugnay sa isang virtual reality headset, lahat ay dating ilang taon pa. Bagama't malamang na lumampas ang teknolohiya sa mga ito, nagbibigay sila ng isang kawili-wiling pagtingin sa mga ideyang na-explore ng Apple sa nakaraan.

Ang isang 2008 patent application ay sumasaklaw sa isang medyo pangunahing 'personal display system' na idinisenyo upang gayahin ang karanasan ng pagiging nasa isang sinehan kapag nanonood ng video.

Inilarawan ng pangalawang patent ang isang 'Head Mounted Display System' na may 'laser engine' na nagpapakita ng mga larawan sa isang malinaw na glass display na isinusuot sa mga mata, katulad ng mga salamin. Sa pagsasaayos na ito, nakakonekta ang headset sa isang handheld video player gaya ng iPod upang magbigay ng kapangyarihan sa pagpoproseso.

Ang ikatlong patent na orihinal na inihain noong 2008 ay katulad sa disenyo, na sumasaklaw sa isang mala-goggle na video headset na idinisenyo upang hayaan ang mga user na manood ng mga pelikula at iba pang nilalaman. Binalangkas nito ang dalawang adjustable optical modules na nakahanay sa mata ng gumagamit, na maaaring magbigay ng vision correction at payagan ang pagtingin sa 3D na nilalaman. Inilarawan ito ng Apple bilang nag-aalok ng personal na karanasan sa panonood ng media.

SA ikaapat na patent mula 2008 ay sumaklaw sa isang video headset frame na katulad ng Google Glass, na magbibigay-daan sa isang user na i-slide ang kanilang iPhone o iPod sa headset upang magbigay ng video. Ang headset ay inilarawan bilang isang augmented reality na produkto na magbibigay-daan sa mga user na gumawa ng mga bagay tulad ng manood ng video o magsuri ng email habang binabantayan ang kanilang paligid.

Higit pa sa mga patent na nauugnay sa headset, nag-file din ang Apple ng mga patent na naglalarawan ng iba pang mga paraan kung paano maipapatupad ang mga virtual at augmented reality na feature sa mga device nito. Isang 2009 na patent application, halimbawa, ang sakop na camera-equipped 3D display na magbabago sa pananaw batay sa relatibong posisyon ng user.

Ang ganitong display ay makaka-detect ng paggalaw ng ulo, na nagpapahintulot sa isang user na igalaw ang kanilang ulo sa paligid upang tumingin sa isang 3D na imahe mula sa iba't ibang anggulo habang nagsasama rin ng mga elemento ng kapaligiran ng isang user.

Inilarawan ng mga patent noong 2010 at 2012 ang paggamit ng mga motion sensor upang lumikha ng 3D interface para sa mga iOS device gamit ang mga diskarte sa augmented reality. Inilarawan ng Apple ang interface bilang isang 'virtual room' na na-navigate sa pamamagitan ng pagmamanipula sa oryentasyon ng device sa pamamagitan ng mga built-in na sensor o sa pamamagitan ng mga galaw.

Noong 2011, naghain ang Apple ng patent para sa feature na augmented reality sa Maps app na nauugnay sa pagmamapa ng distansya sa mga kapansin-pansing landmark. Gamit ang camera, maaaring tingnan ng isang user ang lugar sa paligid nila at makakuha ng mga real-time na pagtatantya ng distansya sa pagitan ng dalawang punto kasama ang mga overlay ng nauugnay na impormasyon.

Ang isang patent na na-file noong 2014 at ipinagkaloob noong 2017 ay sumasaklaw sa isang mobile augmented reality system na nakaka-detect ng mga bagay sa kapaligiran at na-overlay ang mga ito ng virtual na impormasyon sa pamamagitan ng paggamit ng mga camera, screen, at user interface. Inilalarawan ng Apple ang system bilang perpekto para sa isang display na naka-mount sa ulo, ngunit ipinapakita rin nito na ginagamit ito sa mga smartphone.

Ang Apple ay nagtatrabaho sa virtual reality na teknolohiya na maaaring ginagamit sa loob ng mga autonomous na sasakyan . Inilalarawan ng ilang patent ng Apple ang isang system na may kasamang in-car virtual reality system na may VR headset na isinusuot para magbigay ng entertainment at para mabawasan ang carsickness mula sa mga gawain tulad ng pagbabasa at pagtatrabaho habang gumagalaw ang sasakyan.

SA Application ng patent noong Hulyo 2020 sumasaklaw sa mga posibleng paraan ng pag-input gamit ang Apple Glasses, na naglalarawan sa isang system kung saan ang mga baso ay gumagamit ng infrared heat sensing upang matukoy kapag may humipo sa isang tunay na bagay sa mundo, na nagpapahintulot sa mga baso na i-project ang mga kontrol sa isang tunay na ibabaw ng mundo.

Sa pamamaraang ito, maaaring mag-project ang Apple Glasses sa AR control interface sa anumang aktwal na bagay sa totoong mundo para sa isang mixed reality overlay na uri ng epekto.

Apple noong Pebrero 2021 naghain ng ilang patent na nauugnay sa trabaho nito sa isang rumored mixed reality headset, na may mga patent na sumasaklaw sa mga elemento ng disenyo, pagsasaayos ng lens, teknolohiya sa pagsubaybay sa mata, at software.

Gumawa ang Apple ng ilang paraan para gawing mas kumportableng isuot ang headset habang pinapanatili din itong secure at hinaharangan ang liwanag, at may detalyadong sistema ng pagsasaayos ng lens na gumagamit ng fluid upang walang putol na ilipat ang mga lente para gawing customized ang akma para sa bawat user.

Idinetalye din ng Apple ang isang sistema ng pagsubaybay sa mata na gumagamit ng infrared na ilaw upang makita ang posisyon, at mayroon ding patent kung paano maaaring ma-edit ang mga dokumento sa isang virtual na 3D space gamit ang headset at gesture detection.

meron si Apple mga patentadong sistema para sa pag-record ng video mula sa isang headset, kung saan ang mga built-in na gaze-tracking sensor ay maaaring magbigay ng indikasyon kung saan kasalukuyang tumitingin ang isang tao, na maaaring magdirekta sa isang built-in na camera upang i-record ang eksena kung saan nakaposisyon ang mga mata ng user, sa halip na i-record lamang kung ano ang nasa harap ng gumagamit.

Isa pang aplikasyon ng patent na inihain noong Pebrero 2021 ay nagpakita na ang Apple ay nagsasaliksik ng isang finger-mounted device na may hanay ng mga sensor at haptic feedback na gagamitin bilang isang control device para sa isang mixed-reality headset.

Ang control device ay may hugis na nagbibigay-daan sa mga user na natural na makaramdam ng mga bagay sa kanilang kapaligiran at tiyak na tiyak kung paano ginagalaw ng user ang kanilang daliri at nakikipag-ugnayan sa mga surface. Sinasabing napakatumpak ng system na maaari nitong makita kung gaano kalakas ang pagpindot ng isang user sa ibabaw at ang eksaktong direksyon ng puwersang ito, na naghahatid ng haptic na feedback bilang tugon.

Kasama ng AR o VR headset, sinabi ng Apple na ang finger-mounted device na ito ay maaaring 'magbigay sa isang user ng pakiramdam ng pakikipag-ugnayan sa isang pisikal na keyboard kapag ang user ay gumagawa ng mga finger tap sa ibabaw ng mesa' o 'payagan ang isang user na magbigay ng joystick -type input' para sa paglalaro gamit lamang ang paggalaw ng mga daliri ng user.

Petsa ng Paglunsad

Sinabi ng Apple analyst na si Ming-Chi Kuo noong Oktubre 2021 na mayroon ang paparating na mixed reality headset naantala hanggang sa katapusan ng 2022 sa pinakamaaga, na ang produksyon ay nakatakdang magsimula sa ikaapat na quarter ng 2022.

Bloomberg naniniwala din na ang AR/VR headset na pinagtatrabahuhan ng Apple ay lalabas sa 2022, habang ang AR glasses na nasa development ay lalabas sa ibang araw. Ang impormasyon ay nagmungkahi ng AR/VR headset na ilalabas sa 2022, na susundan ng smart glasses sa 2023, ngunit ito ay isang mas maagang timeline kaysa sa ipinahiwatig ng iba pang source para sa produktong salamin.

Ang Apple ay di-umano'y nasa likod sa pagsubok para sa mga matalinong baso na ginagawa, na maaaring humantong sa mga pagkaantala. Ang Apple ay dapat na pumasok sa ikalawang yugto ng pag-unlad sa mga baso sa unang bahagi ng 2021, ngunit ang ikalawang yugto ng pagsubok ay hindi pa nagsisimula kaya ang dami ng produksyon sa unang quarter ng 2022 ay hindi inaasahan .

Sinabi kamakailan ng mga analyst ng Morgan Stanley na ang AR headset ay 'papalapit na liftoff' batay sa bilang ng mga patent Nag-publish ang Apple. Naniniwala ang mga analyst na ang patent portfolio ng Apple para sa AR/VR headset nito ay katulad ng patent portfolio na binuo nito bago ang paglulunsad ng Apple Watch.

Mga Plano sa AR/VR sa hinaharap

Naniniwala ang Apple analyst na si Ming-Chi Kuo na maaaring nagpaplano ang Apple ng augmented reality na 'contact lenses' na maaaring ilunsad minsan sa 2030s.

Ayon kay Kuo, ang mga lente ay magdadala ng electronics mula sa panahon ng 'visible computing' hanggang sa 'invisible computing.' May 'walang visibility' para sa mga contact lens sa kasalukuyang oras, at hindi ito isang garantisadong produkto na bubuo ng Apple.