Às vezes, sento-me e desenho estranhos rabiscos no ar que ficam suspensos, pairam e giram se eu tocá-los. Eu os desenho no ar com uma caneta espacial preta e grossa feita pela Logitech chamada de Musaenquanto usava Visão Pro da Apple fone de ouvido.
O processo parece mágico, mas a Apple muitas vezes parece surpreendentemente indiferente à oportunidade. Ferramentas criativas 3D com foco profissional que fazem arte 3D como essa não existem no Vision Pro. E a Apple não se preocupou em fazer uma versão espacial do seu próprio Pencil. Essa sensação de frustração pela metade é exatamente o que faz o Vision Pro, agora com mais de dois anos e em sua segunda iteração de hardware, às vezes parecer morto.
Mas não é. Na verdade, a Apple está planejando mais deles. Menor, mais leve, mas não por pelo menos alguns anos, de acordo com Últimos relatórios de Mark Gurman. Enquanto isso, os óculos inteligentes com infusão de IA da Apple podem não chegar até pelo menos final do próximo ano… e mais tarde ainda para aqueles habilitados para exibição que podem obter alguns recursos semelhantes ao Vision.
Mas à medida que avançamos em direção à Apple Conferência de software WWDC na próxima semana, é o momento perfeito para a Apple finalmente lançar o Vision Pro e suas muitas possibilidades latentes. Não apenas para o dispositivo em si, mas para todas as coisas que virão depois dele. IA incluída.
Os Personas da Apple usam respingos gaussianos, uma tecnologia que ainda é uma parte inexplorada dos possíveis recursos futuros do VisionOS.
Mais potência sob o capô do que está sendo aproveitado
Sou fascinado pela ideia da computação espacial – especificamente, telas flutuantes e aplicativos ao meu redor sob demanda. Mas o que a Apple entregou até agora é um subconjunto limitado do que poderia ser. da maçã Persona cada vez mais real os avatares são apenas uma faceta desse potencial latente.
Conheço as possibilidades porque vejo e testo produtos como esses o tempo todo e converso com pessoas explorando soluções que ainda não existem. O Vision Pro foi considerado o maior fracasso de produto da Apple sob o comando de Tim Cook – quem você conhece que possui um? – mas também é amplamente reconhecido como o dispositivo VR/AR mais avançado que existe. O processador M5 que ele usa, a sutileza de rastreamento ocular que ele oferece, a qualidade do sensor de movimento de maior e menor alcance, as câmeras que combinam vistas do mundo ao seu redor em vídeo de passagem, são tudo de melhor.
O que não é bom é como o Vision Pro falha em implementar tudo isso para fornecer ferramentas profissionais realmente úteis e como ele falha em explorar as ideias que a Apple terá que resolver em uma gama esperada de wearables habilitados para IA que ainda não existem.
Espero que a Apple fabrique óculos, AirPods com câmera e talvez até um tipo de pingente ou alfinete mundialmente conhecido. Mas enquanto isso, o Vision Pro é um produto muito real que já traz muitas dessas possibilidades, se a Apple apenas o liberasse.
E não, suprimentos infinitos de filmes de vídeo 3D imersivos e eventos esportivos não são a resposta para um dispositivo de US$ 3.500. Mas e quanto às varreduras 3D extremamente realistas, que podem ser feitas por meio de respingos gaussianos e exibidas no Vision Pro? Ou uma IA que pode reconhecer seus mundos desgastados e até mesmo guiá-lo no meio de vários projetos?
O Galaxy XR da Samsung tem brincado com o Gemini Live antes dos óculos inteligentes que chegarão neste outono. A Apple pode fazer o mesmo.
A inteligência visual pode e deve acontecer primeiro no Vision Pro
A IA com reconhecimento de câmera, ou IA multimodal, é um espaço crescente no qual a maioria das principais plataformas de IA já se dedicam. óculos inteligentese Google e Samsung estão misturando isso em headsets de realidade mista que já existem, e em copos chegando até o final deste ano.
Google e Samsung lançaram o Vision Pro-like Galáxia XR fone de ouvido no outono passado para explorar ideias, como um modo Gemini Live sempre ativo que pode reconhecer visualmente o espaço em que você está e os aplicativos que está usando. Agora isso Apple tem parceria com Google para infundir Siri com Gemini, o caminho parece aberto para explorações semelhantes também no hardware da Apple.
Estou curioso e preocupado sobre como a IA intermedeia nossos sentidos em wearables e como isso pode ser um invasão de privacidade tanto para o usuário quanto para qualquer pessoa nas proximidades do usuário. Mas no Vision Pro, a Apple tem uma ótima maneira de testar isso, usando todos os sensores e processadores do fone de ouvido para explorar essas ideias antes óculos inteligentes, pinos inteligentes ou AirPods inteligentes seja liberado.
Há outra pequena faceta da IA que não é sobre agentes, conhecida como respingos gaussianos, que o sistema operacional do Vision Pro deveria explorar muito mais. Ao contrário dos vídeos estereoscópicos e imersivos da Apple, filmados com múltiplas lentes de câmera, os splats gaussianos podem criar imagens e vídeos completos em estilo holográfico usando IA para juntá-los. A Apple tem introduzido mais camadas 3D espaciais no Vision, sendo Personas a maior parte. Mas o Vision Pro deve fazer parte de todo um sistema de estúdio de digitalização 3D com aplicativos que a Apple cria em iPhones e em fones de ouvido, como extensões do aplicativo Câmera em telefones que já existe.
Apple Watches e iPhones precisam ser peças perfeitas para a matriz de conexão do Vision Pro e também para iPads.
Conecte todas as coisas da Apple ao Vision Pro
O Logitech Muse é como um Apple Pencil para Vision Pro que a Apple nunca se preocupou em fazer. Da mesma forma, a Sony PlayStation VR2 controladores pode se conectar com o Vision Pro jogar de maneiras que de outra forma não seriam possíveis, já que a Apple também não fabrica seus próprios controladores espaciais.
Parte disso é compreensível, já que o Vision Pro é um produto experimental, e a Apple frequentemente recorre a empresas como a Logitech para explorar ideias periféricas que ainda não criou (isso também acontece com as capas de teclado do iPad).
Mesmo assim, o Vision Pro ainda não se conecta perfeitamente com outros produtos Apple que já existem há anos. Embora os AirPods se conectem a ele e os Macs possam estender monitores ou até mesmo transmitir aplicativos Mac para o fone de ouvido, iPhones, iPads e relógios são estranhamente deixados de fora, exceto para transmitir telas de iPhone/iPad via AirPlay.
Quero compartilhar aplicativos e ampliar monitores de iPhones e iPads próximos a mim, permitindo que o Vision Pro funcione como um tipo de computador compartilhado, como acontece com o Mac. Não há razão para que eles não possam. Chips no nível do iPhone podem rodar MacOS agora, como o MacBook Neo comprovado. Certamente, eles também podem compartilhar telas e estender aplicativos, ou deixar-me fazer malabarismos com todos esses dispositivos de maneira mágica com um fone de ouvido que reconhece todos eles.
O Apple Watch é talvez a peça mais flagrante deixada de fora: é literalmente um painel de controle usado no pulso com rastreamento de movimento e poderia ser uma interface brilhante com o Vision Pro se a Apple permitir.
Os próprios aplicativos criativos da Apple ainda não estão todos em formatos nativos do Vision. Eles deveriam estar.
Abra o caminho para aplicativos profissionais, de uma forma ou de outra
O maior defeito do Vision Pro, para mim, não é o preço ou o tamanho. É assim que o fone de ouvido ainda fica atrás dos Macs e até dos iPads por ser um verdadeiro computador profissional que se enquadra no nome “profissional”, mesmo com um processador M5 em seu currículo agora.
O que quero dizer com profissional? Quero dizer suítes de edição de vídeo, ferramentas de criação musical, programas gráficos 3D – qualquer coisa que possa e deva estar no VisionOS para permitir o tipo de trabalho criativo do qual a Apple se orgulha.
É estranho para mim porque os Vision Pros aparentemente estão sendo usados por cineastas, muitas vezes como monitores no set para ver imagens ou modelos 3D. Eles deveriam ser portas completas para fazer tudo. Um enorme monitor virtual e interface 3D devem permitir simulação e criação que já vi até mesmo em fones de ouvido como o muito menos poderoso do Meta Missão 3.
Se fazer com que os desenvolvedores criem aplicativos profissionais poderosos seja muito difícil e a Apple não queira fazê-los (o que parece ser o caso depois que o novo conjunto de aplicativos do Creator Studio não incluiu nenhuma otimização do Vision Pro), estender e transmitir de Macs e iPads pode ajudar. VisionOS pode renderizar conteúdo 3D de Macs e até otimize-o usando streaming foveatedum truque que oferece alta resolução apenas para onde seus olhos estão olhando diretamente.
Abrir um caminho para que os desenvolvedores estendam aplicativos Mac prontos para VisionOS, ou fazer isso para iPads e iPhones, é uma etapa necessária. Caso contrário, quando se trata de realizar um trabalho sério, provavelmente retirarei o Vision Pro.
