Appel Bril

Het gerucht gaat dat Apple een geheim team van honderden medewerkers heeft dat aan virtual en augmented reality-projecten werkt.

• Ja
• Nee

Apple's geheime augmented en virtual reality-project

Inhoud

1. Apple's geheime augmented en virtual reality-project
• Mixed Reality-headset
• AR slimme bril
• iOS 14 AR-lekken
• AR in Xcode
• Valve-partnerschap?
• Andere geruchten
2. Augmented Reality versus Virtual Reality
3. Het VR/AR-team van Apple
• huurt
• Acquisities
4. AR / VR-patenten
5. Lanceerdatum
6. Toekomstige AR/VR-plannen
7. Apple Bril Tijdlijn

Apple onderzoekt al meer dan 10 jaar virtual reality- en augmented reality-technologieën op basis van patentaanvragen, maar nu virtual en augmented reality in populariteit exploderen met de lancering van ARKit, wordt Apple's ploeteren serieuzer en zal naar verwachting leiden tot een AR/ VR-product in 2022.

Het gerucht gaat dat Apple een geheime onderzoekseenheid heeft met honderden medewerkers die aan AR en VR werken en manieren onderzoeken waarop de opkomende technologieën kunnen worden gebruikt in toekomstige Apple-producten. Het inhuren van VR/AR is de afgelopen jaren enorm toegenomen en Apple heeft meerdere AR/VR-bedrijven overgenomen terwijl het zijn werk op het gebied van AR/VR voortzet.

Het gerucht gaat dat Apple werkt aan ten minste twee AR-projecten met een augmented reality-headset die rond 2022 wordt uitgebracht, gevolgd door een slankere augmented reality-bril die op een later tijdstip komt. Veel geruchten waren echter alleen gericht op de bril, wat leidde tot enige verwarring over de plannen van Apple, maar het lijkt erop dat de AR / VR-headset het eerste product zal zijn dat wordt gelanceerd.

Apple-analist Ming-Chi Kuo gelooft dat Apple's 'mixed reality'-headset is zal uitkomen eind 2022 of begin 2023, met de Apple Glasses in 2025, hoewel andere bronnen hebben gezegd dat de bril in 2023 zal komen. De headset is AR/VR, oftewel mixed reality, terwijl Apple's Glasses augmented reality zijn.

Mixed Reality-headset

De informatie en Bloomberg hebben allebei gezegd dat Apple werkt aan een slimme bril EN een AR/VR-headset (ook wel mixed reality genoemd), waarbij de headset als eerste naar buiten komt, gevolgd door de bril. Het gerucht gaat dat de headset vergelijkbaar is met de Oculus Quest virtual reality-headset van Facebook, maar met een slanker ontwerp dat stoffen en lichtgewicht materialen gebruikt om ervoor te zorgen dat de headset comfortabel is.

Er wordt gezegd dat het voorkomt twee 8K-schermen met hoge resolutie en oogdetecterende camera's waarmee gebruikers 'kleine letters kunnen lezen' en 'andere mensen voor en achter virtuele objecten kunnen zien staan'. De headset kan oppervlakken, randen en afmetingen van kamers in kaart brengen met 'grotere nauwkeurigheid dan bestaande apparaten op de markt'. Het zal een geavanceerder scherm hebben en een chip die zelfs sneller is dan de M1-processor in Macs van 2020.

De informatie in februari zei dat het zal worden uitgerust met meer dan een dozijn camera's voor het volgen van handbewegingen, naast camera's om de buitenwereld te zien, en het ontwerp blokkeert het perifere zicht om te voorkomen dat licht in het gezichtsveld van de drager lekt. Er kan ook een naar buiten gericht vizier in het scherm zijn ingebouwd, zodat de drager afbeeldingen aan anderen kan laten zien.

de Elec beweert dat de VR-headset zal een micro-OLED-scherm met hoge resolutie hebben met maximaal 3.000 pixels per inch. Er gingen eerder geruchten over een micro OLED-display voor de slimme bril, maar niet voor de VR-headset.

Apple-analist Ming-Chi Kuo heeft gezegd dat Apple's aankomende mixed reality-headset zal 15 optische cameramodules bevatten in totaal. Acht van de 15 cameramodules zullen worden gebruikt voor doorzichtige augmented reality-ervaringen, zes modules zullen worden gebruikt voor 'innovatieve biometrie' en één cameramodule zal worden gebruikt voor omgevingsdetectie.

Kuo gelooft ook dat de headset van Apple zal worden uitgerust met een geavanceerd eye-tracking-systeem dat wordt gebruikt om een ​​intuïtieve visuele ervaring te bieden die naadloos samenwerkt met de externe omgeving, samen met een meer intuïtieve bediening die kan worden bestuurd met oogbewegingen en verminderde rekenlast in de vorm van een verminderde resolutie waar de gebruiker niet kijkt.

Wat het ontwerp betreft, is de headset beschreven als een 'slank, gebogen vizier dat aan het gezicht is bevestigd door een mesh-materiaal en verwisselbare hoofdbanden'. Eén hoofdband is naar verluidt voorzien van ruimtelijke audiotechnologie zoals de AirPods Pro voor een surround-sound-achtige ervaring, terwijl een andere een extra batterijduur biedt terwijl je onderweg bent. Apple werkt aan meerdere controlemethoden, waaronder een 'vingerhoed-achtig apparaat dat aan iemands vinger moet worden gedragen'. De headset zou ook kunnen reageren op de oogbewegingen en handgebaren van de drager, terwijl een prototype van de headset ook een fysieke wijzerplaat aan de zijkant van het vizier had. Apple heeft ook Siri-invoer getest.

Apple wil maak een App Store voor de headset, met een focus op gaming, streaming video-inhoud en videoconferenties. Het is beschreven door Bloomberg als een 'allesomvattende 3D digitale omgeving' ontworpen voor gamen, video kijken en communiceren.

Huidige headset-prototypes is gezegd ongeveer 200 tot 300 gram wegen, maar Apple streeft ernaar om het uiteindelijke gewicht terug te brengen naar 100 tot 200 gram als technische problemen kunnen worden opgelost, waardoor de headset lichter zou zijn dan bestaande VR-apparaten. De headset zal draagbaar zijn met onafhankelijke voeding en opslag, maar hij zal niet 'mobiel' zijn zoals een iPhone. Het zal een 'meeslepende ervaring' bieden die de momenteel beschikbare VR-producten overtreft, en het zou kunnen worden geïntegreerd met Apple TV+ en Apple Arcade.

Augmented reality-functionaliteit voor de headset is 'beperkter' en hoewel een release gepland is voor 2022, zou Apple verschillende ontwikkelingshindernissen hebben getroffen en 'conservatieve' verkoopschattingen voor het apparaat hebben. Apple verwacht ongeveer 180.000 eenheden te verkopen, wat vergelijkbaar is met duurdere apparaten zoals de Mac Pro. De headset zal naar verwachting veel duurder zijn dan headsets van andere bedrijven, en De informatie zegt dat Apple heeft gesproken over de prijs van de headset rond de $ 3.000.

Het oorspronkelijke ontwerp omvatte een ventilator en krachtige processors, wat resulteerde in een te zwaar apparaat. Apple zou hebben besloten om de headset dichter bij het gezicht te brengen om het formaat te verkleinen. Gebruikers kunnen geen bril dragen tijdens het gebruik van de headset, dus Apple heeft een systeem gemaakt waarbij aangepaste lenzen op sterkte over de VR-schermen kunnen worden geplaatst.

Kuo is van mening dat de headset zal een hybride Fresnel-lensontwerp gebruiken , met drie gestapelde lenzen per oog gemaakt van lichtgewicht plastic. Het doel van het ontwerp is om ultrakorte brandpuntsafstanden en verbeterde optische prestaties mogelijk te maken, evenals een breed gezichtsveld, en het gewicht van de headset onder de 150 gram te houden.

Qua vermogen zal de komende AR/VR-headset een high-end hoofdprocessor dat is vergelijkbaar met de M1-chip die Apple vorig jaar debuteerde voor zijn Apple siliconen Macs, samen met een lagere processor voor het beheer van de sensorgerelateerde aspecten van het apparaat.

Apple-analist Ming-Chi Kuo beweert dat het onafhankelijk zal kunnen opereren zonder afhankelijk te zijn van een Mac of iPhone, wat een afwijking is van een eerder gerucht dat zei dat het zou een ketting nodig hebben naar een iPhone. De krachtige chip in de headset zal een paar 4K Micro OLED-schermen van Sony en zes tot acht optische modules aansturen om AR-gebaseerde functionaliteit te bieden. Apple heeft voltooid werk op de SoC voor de AR/VR-headset, en zal optimaliseren voor draadloze gegevensoverdracht, het comprimeren en decomprimeren van video, en energie-efficiëntie voor een maximale levensduur van de batterij, en het heeft geen neurale motor zoals sommige van de andere chips van Apple.

De aankomende mixed reality-headset van Apple zal bieden wifi 6E ondersteuning, de nieuwste wifi-specificatie. Apple zou van plan zijn om WiFi 6E te implementeren om een ​​hoogwaardige, meeslepende ervaring met solide draadloze connectiviteit te bieden. WiFi 6E heeft alle voordelen van WiFi 6, maar voegt 6GHz-spectrum toe naast de 2,4GHz- en 5GHz-banden voor meer bandbreedte en minder interferentie tussen apparaten.

Rendering van headsets met gemengde realiteit

Ontwerper Antonio De Rosa heeft ontwikkelde 3D-renders gebaseerd op details gedeeld door De informatie , wat ons een idee geeft van hoe de mixed-reality-headset van Apple eruit zou kunnen zien op basis van de huidige geruchten.

De informatie heeft de headset beschreven als een 'slank, gebogen vizier dat aan het gezicht is bevestigd door een mesh-materiaal en verwisselbare hoofdbanden', aangeboden in meerdere kleuren.

Vroege headset-prototypes

Eerdere geruchten van CNET in 2018 suggereerde Apple dat Apple werkte aan een krachtige AR/VR-headset met een 8K-scherm voor elk oog dat losgekoppeld zou zijn van een computer of een smartphone, en het zou werken met zowel virtual als augmented reality-applicaties.

In plaats van te vertrouwen op een verbinding met een smartphone of een computer, kan de headset CNET beschreven, zou verbinding maken met een 'dedicated box' met behulp van een snelle draadloze technologie op korte afstand, 60GHz WiGig genaamd. De doos zou worden aangedreven door een aangepaste Apple-processor van 5 nanometer die 'krachtiger is dan alles wat momenteel beschikbaar is'. De doos lijkt op een pc-toren, maar 'zal geen echte Mac-computer zijn'. Dit doosachtige ontwerp was het onderwerp van vroege geruchten en is mogelijk een prototype dat sindsdien is verlaten voor de slankere versie die geruchten nu beschrijven.

Interne meningsverschillen zouden in de loop van de tijd de doelen van Apple voor zijn AR-headset hebben gevormd en veranderd. Appel was aanvankelijk gericht voor een ultrakrachtig systeem dat werd geleverd met een hub om de processor te huisvesten, zoals hierboven beschreven, maar Jony Ive, die sindsdien het bedrijf heeft verlaten, wilde geen apparaat verkopen dat een afzonderlijk, stationair apparaat zou vereisen voor volledige functionaliteit.

Ik wilde in plaats daarvan een headset met minder krachtige technologie die direct in het apparaat kon worden geïntegreerd, maar de leider van het AR/VR-team, Mike Rockwell, wilde het krachtigere apparaat. Het was een impasse die maanden duurde, en Tim Cook koos uiteindelijk de kant van Ive. Ive zou de voorkeur geven aan de AR smart-bril die ook in de maak is.

AR slimme bril

Apple werkt aan een set augmented reality-brillen, die Leaker Jon Prosser heeft gesuggereerd Apple zal de 'Apple Glass' noemen. Die naam zou een ongebruikelijke keuze zijn gezien de gelijkenis met de naam Google Glass, een product dat al bestond lang voordat Apple's werk aan AR-brillen aan het licht kwam, dus het is misschien niet juist.

Er wordt gezegd dat de bril op een gewone bril lijkt, met beide lenzen met displays die kunnen worden gebruikt met gebaren. Er zal een optie zijn om de bril zonder lenzen op sterkte te krijgen tegen een mogelijke startprijs van $ 499, met lenzen op sterkte die beschikbaar zijn tegen een meerprijs.

Volgens Bloomberg , de bril is binnen een vroeg ontwikkelingsstadium , zelfs eerder dan de AR/VR-headset waar Apple aan werkt. De bril is beschreven als 'enkele jaren verwijderd', hoewel Apple aanvankelijk van plan was om ze al in 2023 uit te brengen. Het huidige prototype lijkt op een high-end zonnebril met een dik montuur waarin de batterij en chips zijn ondergebracht.

Apple is naar verluidt van plan om te gebruiken 'cutting edge' OLED-microdisplays geleverd door Sony voor zijn geruchten augmented reality-bril. De OLED-microdisplays van Sony hebben een ultrasnelle respons, een ultrahoog contrast, een breed kleurengamma, een hoge helderheid, een lage reflectie en geïntegreerde drivers voor een dun en licht ontwerp. De bril zou een 0,5-inch scherm hebben met een resolutie van 1280x960.

Kuo verwacht dat de AR-bril op de markt zal worden gebracht als een iPhone-accessoire en in de eerste plaats een weergaverol zal spelen bij het offloaden van computergebruik, netwerken en positionering naar de iPhone, met de bril het verstrekken van een mobile-first 'optische doorzichtige AR-ervaring.' Door de AR-bril als iPhone-accessoire aan te bieden, kan Apple ze slank en lichtgewicht houden. Prosser zegt dat de bril zal lijken op Ray-Ban Wayfarers of de bril die Tim Cook draagt.

Bloomberg heeft gezegd dat de Apple-bril 'rOS' of het reality-besturingssysteem zal draaien. rOS zou gebaseerd zijn op iOS, het besturingssysteem dat op de iPhone draait. Voor de AR-headset ontwikkelt Apple een 'system-on-a-package'-chip vergelijkbaar met wat er in de Apple Watch zit, hoewel het afhankelijk is van de iPhone zoals hierboven vermeld.

Tijdens de ontwikkeling van een AR-headset heeft Apple aanraakschermen, spraakactivering en hoofdgebaren als invoermethoden beschouwd, en er wordt een prototype gemaakt van een reeks toepassingen, van kaarten tot sms'en. Virtuele vergaderruimtes en 360-graden videoweergave zijn ook concepten die worden onderzocht.

Dacht dat er aanvankelijke geruchten waren van een lancering in 2020 , Bloomberg gelooft AR-bril zou kunnen komen zijn nog jaren verwijderd van release, met de VR-headset die in 2022 uitkomt. Een verslag van DigiTimes stelde voor dat de AR-bril van Apple in 2021 wordt gelanceerd, en Apple-analist Ming-Chi Kuo verwacht een lancering in 2022 op zijn vroegst .

Leaker Jon Prosser gelooft dat Apple zijn AR-bril in maart of juni 2021 zal onthullen, maar dit lijkt onnauwkeurig gezien schattingen van Bloomberg en Kuo.

Prosser zegt ook dat Apple werkt aan een limited-edition 'Steve Jobs Heritage'-versie van de slimme bril die is ontworpen om eruit te zien als de ronde, frameloze bril die Steve Jobs vroeger droeg, maar Bloomberg 's Mark Gurman heeft dit gerucht 'complete fictie' genoemd.

Appel is werken met TSMC om 'ultra-geavanceerde' micro-OLED-schermen te ontwikkelen die zullen worden gebruikt in de aankomende augmented reality-apparaten van Apple, zoals de slimme bril. De schermen zouden minder dan een inch groot zijn.

Micro OLED-schermen zijn rechtstreeks op chipwafels gebouwd in plaats van op een glazen substraat, wat resulteert in schermen die dunner, kleiner en energiezuiniger zijn. De ontwikkeling van micro-OLED-schermen zou zich in de proefproductiefase bevinden en het zal enkele jaren duren voordat Apple en TSMC klaar zijn voor massaproductie, waardoor deze schermen geschikt zouden zijn voor de Apple Glasses die naar verluidt ergens rond 2023 worden gelanceerd.

Vanaf begin 2021 heeft Apple schijnt zo te zijn het ingaan van een 'tweede ontwikkelingsfase' op een prototype van een augmented reality-bril. De bril zal binnen een paar maanden een derde ontwikkelingsfase doorlopen, en wanneer het prototype-ontwerp is voltooid, zal de wearable een technische verificatieperiode van zes tot negen maanden doormaken.

iOS 14 AR-lekken

Code en afbeeldingen gevonden in iOS 14 bevestig het werk van Apple aan een AR- of VR-headset, met een foto ontdekt die een generiek ogende controller toont voor een headset die qua ontwerp vergelijkbaar is met de HTC Vive Focus-headset. Apple gebruikt HTC Vive-hardware voor interne testdoeleinden.

Apple test zijn AR-apparatuur met een iOS 14-app genaamd Gobi, samen met QR-codes om augmented reality-ervaringen te testen. Een van deze augmented reality-ervaringen is een zebrapad-bowlingspel dat wordt geactiveerd op een specifiek zebrapad in Sunnyvale, Californië.

AR in Xcode

Code in de Xcode 11 bevestigt Het werk van Apple op een soort AR-headset. Er zijn verwijzingen naar testapparaten met codenaam plus frameworks en een systeemschil met betrekking tot deze apparaten. De referenties suggereren dat Apple ondersteuning ontwikkelt voor een face-mounted AR-ervaring die vergelijkbaar is met Google's Daydream.

Valve-partnerschap?

Volgens Taiwanese site DigiTimes , Apple werkt samen met game-ontwikkelaar Valve voor zijn geruchten AR-headset. Valve bracht in april 2019 zijn eerste VR-headset, Valve Index, uit.

Valve werkte eerder met Apple om native VR-headsetondersteuning naar macOS High Sierra te brengen, gebruikmakend van de eGPU-ondersteuning met een Mac-versie van de SteamVR-software.

Andere geruchten

In november 2017 kocht Apple Vrvana, een bedrijf dat een mixed reality-headset ontwikkelde met de naam Totem. De technologie van Vrvana kan mogelijk worden gebruikt in een toekomstige Apple-headset. Apple volgde de aankoop van Vrvana met een overname van Akonia Holographics, een bedrijf dat lenzen maakt voor slimme AR-brillen.

Geruchten hebben ook gesuggereerd dat Apple zijn augmented reality-onderzoek zou kunnen opnemen in zijn lopende autoproject als onderdeel van een in-car softwaresysteem dat een heads-up display of andere functies zou kunnen bevatten.

Opmerking: Zie je een fout in deze verzameling of wil je feedback geven? .

Augmented Reality versus Virtual Reality

Augmented reality (AR) en virtual reality (VR) zijn vergelijkbare technologieën, maar er is een groot verschil tussen beide en hun potentiële toepassingen lopen sterk uiteen. Virtual reality verwijst naar een volledig meeslepende ervaring in een virtuele wereld, terwijl augmented reality verwijst naar een gewijzigde kijk op de echte wereld.

Het verschil kan misschien het beste worden samengevat door een vergelijking tussen twee producten, een AR en een VR. Google Glass , de inmiddels ter ziele gegane slimme bril van Google, is een voorbeeld van augmented reality. Met de door het oog gedragen Google Glass konden gebruikers de wereld zien zoals hij is, maar het bood een heads-up-display dat relevante door de computer verstrekte informatie over dat echte wereldbeeld legde, zoals lokaal weer, kaarten en meldingen.

Dit is vergelijkbaar met waar Apple aan zou werken met zijn geruchten 'slimme bril'.

Ter vergelijking: Facebook's Oculus Rift is een virtual reality-headset die een meeslepende visuele ervaring biedt die de echte wereld niet uitbreidt met extra zintuiglijke informatie - het vervangt de echte wereld volledig door een gesimuleerde wereld.

Augmented reality biedt door de computer gegenereerde context en informatie over de wereld om ons heen, terwijl we in staat zijn om te communiceren met onze omgeving, terwijl virtual reality is ontworpen om ons te isoleren van onze omgeving, zodat we kunnen communiceren met fictieve werelden.

kan ik Apple Cash gebruiken om Apple Card te betalen?

Potentiële toepassingen voor de twee zijn enorm verschillend. Virtual reality is in het bijzonder gericht op immersieve inhoudconsumptie, omdat het de drager het gevoel geeft dat hij daadwerkelijk ervaart wat er in de gesimuleerde wereld gebeurt door visuele, tactiele en audiofeedback. Virtual reality is momenteel grotendeels gekoppeld aan gaming, maar het heeft ook het potentieel om ervaringen uit de echte wereld na te bootsen voor educatieve of trainingsdoeleinden.

Augmented reality is niet afhankelijk van meeslepende inhoud en hoewel minder opwindend omdat het de realiteit vergroot in plaats van vervangt, heeft het een breder scala aan potentiële toepassingen. Augmented reality-apps en -games zijn zelfs direct beschikbaar in iOS 11 dankzij ARKit.

Met ARKit kan een iOS-apparaat een oppervlak zoals een tafel identificeren, waarna virtuele objecten eraan kunnen worden toegevoegd. Vanwege de rekenkracht van de iPhone en iPad zijn de augmented reality-mogelijkheden van ARKit indrukwekkend. ARKit wordt al gebruikt om een ​​enorm scala aan apps en games te maken, waarbij digitale objecten worden vermengd met de echte wereld.

Speel

Apple zou kunnen streven naar een product dat werkt met zowel augmented als virtual reality, zoals gesuggereerd door recente geruchten dat er aan een AR/VR-headset wordt gewerkt. Een dergelijk product zou kunnen worden gebruikt voor serieuze virtual reality-toepassingen en augmented reality-ervaringen, en het zou vergelijkbaar zijn met de Microsoft HoloLens.

Het VR/AR-team van Apple

Apple's werk aan virtual en augmented reality dateert van meerdere jaren, maar de geruchten begonnen in maart 2015 toen het nieuws bereikte dat Apple een klein team van mensen had die aan augmented reality werkten. In 2015 en begin 2016 groeide het team van Apple toen het bedrijf medewerkers inhuurde met expertise in AR/VR-technologie en meerdere gerelateerde acquisities deed.

Het AR/VR-team van Apple bestaat uit enkele honderden technici uit heel Apple, die allemaal expertise hebben op het gebied van virtual en augmented reality. Het team werkt op kantoorparken in zowel Cupertino als Sunnyvale, en Apple onderzoekt verschillende hardware- en softwareprojecten onder de codenaam 'T288'.

Het augmented reality-team van Apple combineert 'de sterke punten van zijn hardware- en softwareveteranen' en wordt geleid door Mike Rockwell, die afkomstig is van Dolby. Voormalige medewerkers van bedrijven als Oculus, HoloLens, Amazon (van het VR-team), 3D-animatiebedrijf Weta Digital en Lucasfilm werken aan AR bij Apple.

Voormalig Apple hardware engineering chief Dan Riccio in januari 2021 overgestapt naar een nieuwe rol waar hij is toezicht houden op het werk van Apple op een AR/VR-headset. Het project heeft te maken gehad met ontwikkelingsuitdagingen en Apple-managers zijn van mening dat de focus van Riccio kan helpen.

huurt

Een van de meest prominente AR/VR-medewerkers van Apple was Doug Bowman, hoogleraar computerwetenschappen, die eerder leiding gaf aan het Virginia Tech Center for Human-Computer Interaction. Hij is gespecialiseerd in het ontwerpen van driedimensionale gebruikersinterfaces en heeft een boek over dit onderwerp geschreven over 3D-interfaces en de voordelen van immersieve virtuele omgevingen. Hij heeft expertise met zowel virtual als augmented reality.

Apple heeft ook medewerkers aangenomen die bij Microsoft en Lytro aan virtual of augmented reality-producten hebben gewerkt. Sommige recente medewerkers zouden afkomstig zijn van het HoloLens-team van Microsoft, terwijl anderen werkten bij Lytro, een bedrijf dat werkte aan een camera die live action en computergraphics kan combineren voor een live action VR-ervaring. Medewerkers van het HoloLens-team zouden ervaring hebben met het maken van een geavanceerde augmented reality-headset.

De Lytro Immerge 360 ​​graden camera

Zeyu Li, die als hoofdingenieur computervisie werkte bij Magic Leap (een startup die een op het hoofd gemonteerd AR/VR-beeldscherm ontwikkelt), werkt nu bij Apple als 'Senior Computer Vision Algorithm Engineer'.

Yury Petrov, een voormalig onderzoekswetenschapper bij Oculus, eigendom van Facebook, is nu een 'onderzoekswetenschapper' bij Apple. Volgens zijn LinkedIn-profiel bestudeerde Petrov virtual reality-ervaringen, prototypes van optica en ontwikkelde hij computersimulatiesoftware.

Augmented reality-expert Jeff Norris trad in april 2017 in dienst bij Apple als senior manager in het augmented reality-team van het bedrijf. Norris richtte het Mission Operations Innovation Office en JPL Ops Lab op bij NASA. Hij leidde meerdere projecten gericht op interactie tussen mens en systeem, met de nadruk op virtual en augmented reality.

Apple nam in mei 2018 2018 Sterling Crispin in dienst, die een schilder-app voor mobiele VR-headsets ontwikkelde. Met 'Cyber ​​Paint' kunnen dragers van VR-headsets 2D 260-graden foto's maken op Oculus Go, Daydream, GearVR en Vive Focus. Crispin's LinkedIn-pagina zegt dat hij werkt als een 'prototyping-onderzoeker', wat suggereert dat hij zich heeft aangesloten bij het team dat naar verluidt werkt aan VR/AR-headsettechnologie.

Apple huurde in december 2018 voormalig senior Tesla- en Microsoft HoloLens-ontwerper Andrew Kim in, en gezien zijn geschiedenis zou hij kunnen werken aan het geruchtenproject van Apple voor AR-brillen of de aankomende Apple-auto die naar verluidt in ontwikkeling is.

Jaunt VR-oprichter Arthur van Hoff trad in april 2019 in dienst bij Apple als senior architect. Voordat hij bij Apple werkte, was zijn bedrijf VR-hardware gemaakt , inclusief een $ 100.000 3D VR-camera genaamd de Jaunt One. Voordat Van Hoff het bedrijf verliet, faalde Jaunt en richtte hij zich op AR-ervaringen.

Met het team van Apple dat honderden werknemers omvat, zijn er veel andere ingehuurde virtual reality-experts die onder de radar zijn gebleven. Op LinkedIn zijn meerdere software engineers met virtual reality-ervaring in dienst van Apple, maar het is onduidelijk of zij aan het geheime AR/VR-team werken.

Apple heeft in juli 2019 Kim Vorrath, een van de softwaremanagers, overgeplaatst naar de augmented reality-headset divisie om 'wat orde te scheppen' in het team. Vorrath houdt al 15 jaar toezicht op het programmabeheer van het softwareontwikkelingsteam en wordt beschreven als een 'krachtige kracht' die ervoor zorgt dat werknemers deadlines halen en tegelijkertijd bugs oplost.

Acquisities

Veel leden van het AR/VR-team van Apple zijn mogelijk via overnames bij het bedrijf gekomen. Sinds 2015 heeft Apple verschillende bedrijven gekocht die AR/VR-gerelateerde producten hebben gemaakt, en sommige van zijn AR/VR-acquisities dateren zelfs van meerdere jaren.

Apple kocht in augustus 2018 Akonia Holographics, een startup die lenzen maakt voor augmented reality-brillen. Akonia Holographics adverteert met 's werelds eerste commercieel verkrijgbare volume holografische reflecterende en golfgeleideroptiek voor transparante weergave-elementen in slimme brillen.'

De displays die het maakt, zouden de HoloMirror-technologie van het bedrijf gebruiken voor 'ultraheldere, full-color prestaties' om de 'dunste, lichtste op het hoofd gedragen displays ter wereld' mogelijk te maken.

In november 2017 kocht Apple Vrvana, een bedrijf dat een mixed reality-headset ontwikkelde met de naam Totem. Totem, dat nooit voor het publiek is uitgebracht, is ontworpen om zowel augmented- als virtual reality-technologieën te combineren in een enkele headset, waarbij volledige VR-mogelijkheden worden gecombineerd met pass-through-camera's om augmented reality-functies op het scherm mogelijk te maken.

Totem gebruikte in wezen een set camera's om beelden uit de echte wereld te projecteren op het ingebouwde 1440p OLED-scherm, een enigszins unieke benadering die het onderscheidde van concurrerende producten zoals Microsoft's HoloLens, die een transparant scherm gebruikt om virtuele en augmented reality te combineren. Apple zou van plan kunnen zijn om een ​​deel van de technologie van Totem in een toekomstig product te gebruiken.

Apple kocht in 2013 het Israëlische 3D-lichaamsdetectiebedrijf PrimeSense, wat leidde tot speculatie dat op beweging gebaseerde mogelijkheden in de Apple TV zouden worden geïmplementeerd. PrimeSense's 3D-dieptetechnologie en bewegingsdetectiemogelijkheden werden gebruikt in het oorspronkelijke Kinect-platform van Microsoft.

PrimeSense gebruikte bijna-IR-licht om onzichtbaar licht in een kamer of scène te projecteren, dat vervolgens door een CMOS-beeldsensor wordt gelezen om een ​​virtueel beeld van een object of persoon te creëren. Dit maakt op beweging gebaseerde bedieningselementen voor software-interfaces mogelijk, maar het is ook in staat om dingen te doen zoals virtuele objecten meten en relatieve afstanden of afmetingen te geven, handig voor augmented reality-toepassingen zoals interactief gamen, indoor mapping en meer. PrimeSense-technologie kan ook zeer nauwkeurige 360-graden scans van mensen en objecten maken, mogelijk handig voor virtual reality-toepassingen.

Apple verwierf augmented reality-startup Metaio in mei 2015. Metaio bouwde een product genaamd Metaio Creator, waarmee in slechts een paar minuten augmented reality-scenario's kunnen worden gemaakt. Voordat het door Apple werd gekocht, werd Metaio's software gebruikt door bedrijven als Ferrari, die een augmented reality-showroom creëerden.

Metaio-technologie werd ook in Berlijn gebruikt om mensen die de site van de Berlijnse Muur bezochten, met een smartphone of tablet te laten zien hoe het gebied eruitzag toen de Berlijnse Muur nog stond. Metaio's technologie is er een die mogelijk kan worden gebruikt om augmented reality-mogelijkheden te implementeren in Apple-apps zoals Maps.

Apple verwierf Faceshift in augustus 2015 en markeerde zijn tweede aankoop van augmented reality in 2015. Voordat Faceshift door Apple werd overgenomen, werkte Faceshift samen met game- en animatiestudio's aan technologie die was ontworpen om gezichtsuitdrukkingen snel en nauwkeurig vast te leggen met behulp van 3D-sensoren en deze om te zetten in geanimeerde gezichten in echte tijd. Faceshift werkte ook aan een consumentgericht product waarmee mensen hun gezichten in realtime in Skype kunnen veranderen in tekenfilms of monstergezichten.

De technologie van Faceshift heeft een breed scala aan mogelijke gebruiksscenario's en Apple lijkt de functie te gebruiken om Animoji in de iPhone X van stroom te voorzien.

Emotient, een bedrijf dat tools voor gezichtsuitdrukkingsanalyse bouwde, werd in januari 2016 door Apple overgenomen. De technologie van Emotient maakt gebruik van kunstmatige intelligentie en machine learning om menselijke emoties te lezen, functies die in de echte wereld door adverteerders zijn gebruikt om emotionele reacties op advertenties.

Er zijn tientallen dingen die Apple met Emotient zou kunnen doen, variërend van betere gezichtsdetectie in de Foto's-app tot het analyseren van klantgevoelens in Apple-winkels tot het ontgrendelen van iOS-apparaten, maar het heeft ook potentieel AR/VR-gebruik. Net als Faceshift kan de technologie van Emotient worden gebruikt om gezichtsuitdrukkingen te analyseren en te transformeren voor het maken van virtuele avatars, handig voor sociale-mediadoeleinden en games. Emotient-technologie werd waarschijnlijk gebruikt voor Animoji.

Flyby Media, begin 2016 gekocht, is een ander bedrijf dat werkte aan augmented reality. Voorbij vliegen een app gemaakt dat werkte met Google's met 3D-sensor uitgeruste 'Project Tango'-smartphone, waardoor berichten aan objecten in de echte wereld konden worden bevestigd en door anderen konden worden bekeken met een van de apparaten van Google.

Een persoon kan bijvoorbeeld een oriëntatiepunt als de Golden Gate Bridge in San Francisco 'scannen' en er een bericht aan toevoegen. Een persoon die de brug later bezoekt, kan dan de brug scannen met de Flyby-app om het bericht te zien. De Flyby-app trok waarschijnlijk de aandacht van Apple omdat hij verschillende gescande objecten kon herkennen en begrijpen, technologie die door Apple op verschillende manieren kan worden gebruikt in apps zoals Foto's en Kaarten.

In februari 2017 kocht Apple RealFace, een cyberbeveiligings- en machine learning-bedrijf dat gespecialiseerd is in gezichtsherkenningstechnologie, dat mogelijk kan worden gebruikt voor toekomstige augmented reality-functies.

RealFace ontwikkelde gezichtsherkenningstechnologie die kunstmatige intelligentie integreert voor wrijvingsloze gezichtsherkenning. Er is waarschijnlijk gebruik gemaakt van Realface-technologie op de iPhone X , Apple's eerste smartphone met gezichtsherkenningsmogelijkheden in de vorm van Face ID.

Appel in mei 2020 verworven NextVR , een in Californië gevestigd bedrijf dat virtual reality combineerde met sport, muziek en entertainment en VR-ervaringen biedt voor het bekijken van live-evenementen op VR-headsets van PlayStation, HTC, Oculus, Google, Microsoft en andere fabrikanten.

Appel in augustus 2020 gekochte VR startup Spaces , een bedrijf dat virtual reality-ervaringen ontwierp die mensen in winkelcentra en andere locaties konden ervaren, zoals 'Terminator Salvation: Fight for the Future'. Spaces creëerde ook virtual reality-ervaringen voor videocommunicatie-apps zoals Zoom, iets dat Apple mogelijk zou kunnen opnemen in een toekomstig AR/VR-product.

AR / VR-patenten

Apple heeft meerdere patenten aangevraagd die direct betrekking hebben op een virtual reality-headset, allemaal daterend van meerdere jaren. Hoewel de technologie waarschijnlijk iets verder is gevorderd, bieden ze een interessante kijk op de ideeën die Apple in het verleden heeft onderzocht.

Een octrooiaanvraag uit 2008 had betrekking op een vrij eenvoudig 'persoonlijk weergavesysteem' dat was ontworpen om de ervaring van het zijn in een bioscoop bij het bekijken van video na te bootsen.

Een tweede patent beschreef een 'Head Mounted Display System' met een 'laser engine' die beelden projecteerde op een helder glazen display dat over de ogen gedragen wordt, vergelijkbaar met een bril. In deze configuratie is de headset aangesloten op een draagbare videospeler zoals een iPod om verwerkingskracht te leveren.

Een derde patent dat oorspronkelijk in 2008 werd aangevraagd, had een vergelijkbaar ontwerp en omvatte een brilachtige videoheadset die is ontworpen om gebruikers films en andere inhoud te laten kijken. Het schetste twee verstelbare optische modules in lijn met het oog van de gebruiker, die zichtcorrectie zouden kunnen bieden en het bekijken van 3D-inhoud mogelijk maken. Apple beschreef dit als het bieden van een persoonlijke kijkervaring voor media.

TOT vierde patent uit 2008 omvatte een frame van een videoheadset vergelijkbaar met de Google Glass, waarmee een gebruiker zijn iPhone of iPod in de headset kon schuiven om video te leveren. De headset werd beschreven als een augmented reality-product waarmee gebruikers dingen kunnen doen zoals een video bekijken of e-mail checken terwijl ze hun omgeving in de gaten houden.

Naast headset-gerelateerde patenten, heeft Apple ook patenten aangevraagd die andere manieren beschrijven waarop virtual en augmented reality-functies in zijn apparaten kunnen worden geïmplementeerd. Een octrooiaanvraag uit 2009 omvatte bijvoorbeeld met camera's uitgeruste 3D-schermen die in perspectief zouden verschuiven op basis van de relatieve positie van een gebruiker.

Zo'n display zou hoofdbewegingen detecteren, waardoor een gebruiker zijn hoofd kan bewegen om vanuit verschillende hoeken naar een 3D-beeld te kijken, terwijl ook elementen van de omgeving van een gebruiker worden opgenomen.

Octrooien uit 2010 en 2012 beschreven het gebruik van bewegingssensoren om een ​​3D-interface voor iOS-apparaten te creëren met behulp van augmented reality-technieken. Apple beschreef de interface als een 'virtuele kamer' waarin genavigeerd wordt door de oriëntatie van het apparaat te manipuleren door middel van ingebouwde sensoren of door gebaren.

In 2011 diende Apple een patent in voor een augmented reality-functie in de Kaarten-app met betrekking tot het in kaart brengen van de afstand tot opmerkelijke oriëntatiepunten. Met de camera kan een gebruiker naar het gebied om hen heen kijken en realtime schattingen krijgen van de afstand tussen twee punten, samen met overlays van relevante informatie.

Een in 2014 ingediend en in 2017 verleend patent betreft een mobiel augmented reality-systeem dat objecten in de omgeving kan detecteren en deze kan bedekken met virtuele informatie door middel van camera's, een scherm en een gebruikersinterface. Apple beschrijft het systeem als ideaal voor een op het hoofd gemonteerd display, maar het laat ook zien dat het wordt gebruikt in smartphones.

Apple heeft gewerkt aan virtual reality-technologie die zou kunnen gebruikt in autonome voertuigen . Verschillende Apple-patenten beschrijven een systeem met een virtual reality-systeem in de auto met een VR-headset die wordt gedragen om entertainment te bieden en om wagenziekte te verminderen door taken zoals lezen en werken terwijl een voertuig in beweging is.

TOT Octrooiaanvraag juli 2020 behandelt mogelijke invoermethoden met Apple Glasses, waarbij een systeem wordt beschreven waarbij de bril infrarood-warmtedetectie gebruikt om te detecteren wanneer iemand een object in de echte wereld aanraakt, waardoor de bril vervolgens bedieningselementen op een echt wereldoppervlak kan projecteren.

Met deze methode kon de Apple Glasses in AR-besturingsinterface op elk echt object in de echte wereld projecteren voor een soort mixed reality-overlay-effect.

Apple in februari 2021 een aantal patenten ingediend gerelateerd aan zijn werk aan een geruchtenmixed reality-headset, met de patenten voor ontwerpelementen, lensaanpassing, eye-tracking-technologie en software.

Apple heeft verschillende methoden ontwikkeld om een ​​headset comfortabeler te maken om te dragen en tegelijkertijd veilig te houden en licht te blokkeren, plus er is een gedetailleerd lensaanpassingssysteem dat vloeistof gebruikt om de lenzen naadloos te verschuiven om de pasvorm voor elke gebruiker op maat te maken.

Apple beschrijft ook een eye-tracking-systeem dat infrarood licht gebruikt om positie te detecteren, en er is ook een patent op hoe documenten in een virtuele 3D-ruimte kunnen worden bewerkt met behulp van de headset en bewegingsdetectie.

Apple heeft gepatenteerde systemen voor het opnemen van video vanaf een headset, waarbij ingebouwde sensoren voor het volgen van de blik een indicatie kunnen geven van waar een persoon op dat moment naar kijkt, wat een ingebouwde camera zou kunnen sturen om de scène op te nemen waar de ogen van de gebruiker zich bevinden, in plaats van alleen maar op te nemen wat er voor de gebruiker staat.

Nog een octrooiaanvraag ingediend in februari 2021 toonde aan dat Apple onderzoek doet naar een op de vinger gemonteerd apparaat met een reeks sensoren en haptische feedback om te gebruiken als bedieningsapparaat voor een headset met gemengde realiteit.

Het bedieningsapparaat heeft een vorm waarmee gebruikers objecten in hun omgeving op natuurlijke wijze kunnen voelen en precies kunnen vaststellen op welke manier de gebruiker zijn vinger beweegt en met oppervlakken omgaat. Het systeem zou zo nauwkeurig zijn dat het kan detecteren hoe hard een gebruiker op een oppervlak drukt en de exacte richting van deze kracht, en als reactie daarop haptische feedback geven.

In combinatie met een AR- of VR-headset zegt Apple dat dit op de vinger gemonteerde apparaat 'een gebruiker het gevoel kan geven van interactie op een fysiek toetsenbord wanneer de gebruiker met zijn vingers op een tafeloppervlak tikt' of 'een gebruiker in staat stelt joysticks te leveren -type input' voor gamen met alleen de beweging van de vingertoppen van de gebruiker.

Lanceerdatum

Apple-analist Ming-Chi Kuo zei in oktober 2021 dat de aankomende mixed reality-headset vertraging opgelopen op zijn vroegst tot eind 2022 en de productie start in het vierde kwartaal van 2022.

Bloomberg gelooft ook dat de AR/VR-headset waar Apple aan werkt in 2022 zal uitkomen, terwijl de AR-bril die in ontwikkeling is, op een later tijdstip zal verschijnen. De informatie heeft gesuggereerd dat een AR/VR-headset in 2022 zal worden uitgebracht, gevolgd door een slimme bril in 2023, maar dit is een eerdere tijdlijn dan andere bronnen hebben aangegeven voor het brilproduct.

Apple loopt naar verluidt achter met het testen van de slimme bril die in de maak is, wat misschien tot vertragingen kan leiden. Apple zou begin 2021 de tweede ontwikkelingsfase van de bril ingaan, maar het testen van fase twee is nog niet begonnen, dus de volumeproductie in het eerste kwartaal van 2022 is niet verwacht .

Analisten van Morgan Stanley zeiden onlangs dat de AR-headset 'de lancering nadert' op basis van de aantal patenten Apple heeft gepubliceerd. De analisten zijn van mening dat Apple's patentportfolio voor zijn AR/VR-headset vergelijkbaar is met het patentportfolio dat het heeft opgebouwd voorafgaand aan de lancering van Apple Watch.

Toekomstige AR/VR-plannen

Apple-analist Ming-Chi Kuo is van mening dat Apple augmented reality 'contactlenzen' zou kunnen plannen die zou kunnen lanceren ergens in de jaren 2030.

Volgens Kuo zullen de lenzen elektronica uit het tijdperk van 'visible computing' naar 'invisible computing' brengen. Er is op dit moment 'geen zichtbaarheid' voor de contactlenzen en het is geen gegarandeerd product dat Apple zal ontwikkelen.