本期OpenCV Live邀请博士生Alireza Taheritajar,探讨混合现实与AI的融合。随着摄像头、镜头和处理能力提升,混合现实叠加技术更实用。节目聚焦自适应人机协作的智能助手,并直播赠送OpenCV课程。
谷歌即将推出的Android XR眼镜包括Project Aura,旨在提供便携和隐私的混合现实体验。新款眼镜配备强大的计算设备和适应性透明模式,能够根据用户视线自动调整透光度。此外,谷歌与三星、Gentle Monster和Warby Parker合作,推出多款智能眼镜,强调音频和显示功能的结合。
字节跳动的Depth Anything 3(DA3)模型通过单一Transformer实现深度和姿态估计,简化了三维视觉任务的处理,并刷新了多项基准测试记录。
本文介绍了Meta的Orion增强现实眼镜,涵盖虚拟现实(VR)、混合现实(MR)和增强现实(AR)的基本概念。Orion眼镜轻便无线,具备广视场和全息显示,支持眼动追踪、手势识别和语音命令等多种输入方式,强调世界锁定渲染技术以实现虚拟内容与现实环境的自然融合。
苹果的Vision Pro备受关注,但三星的Galaxy XR成为首款量产的Android混合现实头显。Galaxy XR在重量和价格上更具优势,起售价约12700元,适合长时间佩戴。尽管功能不及Vision Pro,但其性价比和与YouTube的结合使其更易被消费者接受。整体来看,XR市场仍需发展,Galaxy XR为未来铺路。
三星于10月22日推出Galaxy XR混合现实头显,搭载Snapdragon XR2+ Gen 2处理器,支持语音、视觉和手势交互,适用于娱乐和商务场景。设备重约545克,续航2至2.5小时,起售价1799.99美元,兼容传统Android应用及多种开发标准,未来将扩展更多XR设备。
安杜里尔公司与Meta合作推出EagleEye军事头盔,这是一个基于AI的混合现实系统,旨在增强士兵的战斗能力。该系统具备抬头显示、空间音频和无线电频率检测功能,能够在战斗中提供任务信息和控制无人机。创始人帕尔默·拉基表示,EagleEye是将士兵转变为技术战士的第一步。
增强现实、虚拟现实和混合现实的用户体验设计面临可及性挑战。专家指出,早期融入可及性设计、进行用户测试和建立多样化团队文化是确保技术对所有用户友好的关键。
Meta与詹姆斯·卡梅隆的Lightstorm Vision合作,推出3D娱乐内容。Quest耳机用户可通过Horizon TV应用观看《阿凡达3》的独家预告。卡梅隆认为混合现实耳机能重现立体视觉,3D叙事在剧集电视方面仍有潜力。尽管3D电视失败,VR提供了更好的体验。他对生成AI持积极态度,认为其能提高制作效率,但不应取代演员。
SailGP推出了专为Apple Vision Pro设计的混合现实应用RaceScape XP,提供沉浸式赛事体验,用户可实时观看比赛、获取数据和视频,增强互动。该技术结合AI和虚拟现实,提升了帆船运动的观赏性和参与感。
Meta展示了新型混合现实头戴设备原型“Tiramisu”,具有更高的对比度和分辨率,接近视觉图灵测试标准。同时推出的“Boba 3”系列头显提供更广的视场,接近人眼视觉范围。这些原型将在SIGGRAPH 2025会议上展示,尽管可能不会成为消费产品,但预示着未来更沉浸的虚拟现实体验。
Meta计划在2026年底发布一款超轻量的混合现实头戴设备,重约110克,采用外部计算单元,支持眼动和手势控制,主要用于生产力和娱乐。
Minecraft正式停止对虚拟现实(VR)和混合现实(MR)设备的支持,Mojang在最新的Bedrock更新中宣布,VR支持已于2025年3月结束。玩家仍可通过PC的Java版本使用模组在VR设备上游玩Minecraft。
本研究提出PathVis混合现实可视化平台,旨在解决数字病理学中超大规模全切片图像的局限性。该平台通过自然手势、眼动和语音命令提升病理学家的互动体验,并结合人工智能提高诊断的精准度和效率,减轻认知负担,增强工作效率。
本研究探讨了利用深度强化学习优化混合现实中的3D用户界面布局的方法。研究表明,强化学习能够根据用户姿势和环境动态调整内容布局,从而提升用户体验和满意度。
Meta在Reality Labs部门裁员,影响Oculus Studios及部分硬件团队,涉及VR健身游戏Supernatural等项目。此次调整旨在提高工作效率,专注于未来的混合现实体验,尽管Quest销售仍面临挑战。
麻省理工学院研究人员开发了“InteRecon”程序,用户可通过移动应用重建现实物体并在混合现实环境中进行动画。这项技术可提升教育和博物馆展览的互动性,并帮助用户保存珍贵记忆。用户通过扫描物体创建3D模型,并选择互动部分进行动画,具有在医疗和教育等领域的革命性潜力。
在开发Vision Pro应用时,可以选择“Metal模式”或“RealityKit模式”。Metal模式适合需要丰富图形的VR应用,而RealityKit模式则适合创建混合现实体验。选择模式时需考虑应用目的和用户体验。
混合现实(MR)在教育中越来越受欢迎,通过虚拟与现实的结合,提供沉浸式学习体验。MR技术使学习更生动,学生可以在安全环境中模拟真实场景,理解抽象概念。尽管存在成本和可及性挑战,MR有望改变未来的学习方式。
AIxiv专栏促进学术交流,报道超过2000篇文章。Meta与伊利诺伊大学合作推出MV-DUSt3R+,可在2秒内从稀疏视图重建复杂3D场景,提升效率与质量,适用于混合现实等领域。
完成下面两步后,将自动完成登录并继续当前操作。