初识增强现实(AR)
笔记来源:
1.2023年中国增强现实(AR)行业研究报告
2.wiki/Augmented reality
3.In-Depth Review of Augmented Reality: Tracking Technologies, Development Tools, AR Displays, Collaborative AR, and Security Concerns
4.Design and Implementation of Augmented Reality Browser for Mobile Terminal
5.FUSE: Towards AI-Based Future Services for Generating Augmented Reality Experiences
1.1 AR的简单定义
1.2 概念区分AR/MR/VR
1.3 AR所需的硬件
1.3.0 Chipset
1.3.1 Displays
AR光学显示系统大体包含两大块:
- 光学组合器
- 微型显示屏
1.3.2 Tracking
运动追踪所需硬件
motion tracking technologies: digital cameras and/or other optical sensors、accelerometers、GPS、gyroscopes、solid state compasses、radio-frequency identification (RFID)
下图来自:In-Depth Review of Augmented Reality: Tracking Technologies, Development Tools, AR Displays, Collaborative AR, and Security Concerns
1.3.3 Input Device
技术包括将用户的口语翻译成计算机指令的语音识别系统,以及通过视觉检测或嵌入在外围设备(例如魔杖、手写笔、指针、手套或其他身体穿戴设备)中的传感器来解释用户的身体动作的手势识别系统。
1.3.4 Networking
移动AR应用程序依赖强大计算能力,为弥补移动设备计算能力不足,将应用程序的计算传输给远程计算平台,这时就需要移动网络设备的支持对数据进行传输。
1.4 AR所需的软件和算法
1.4.1 Alighment (Registration) and Tracking
将虚拟物体和真实环境放在同一个坐标系下,在这种情况下虚拟物体相对真实环境就有了正确的位置和方向(配准问题)
经过配准后,用户、虚拟物体和真实环境同处在一个坐标系下,当后续虚拟物体或和用户进行移动时,能够更加精准的追踪虚拟物体和用户(摄像头)相对于真实环境的位置
实现追踪所需的技术
下图来自:In-Depth Review of Augmented Reality: Tracking Technologies, Development Tools, AR Displays, Collaborative AR, and Security Concerns
许多增强现实的计算机视觉方法都是继承自视觉里程计(VO)
上述方法通常由两部分组成:
1.4.2 Rendering (lighting、shading, etc.)
以上只提到了配准、追踪、渲染,其实AR还涉及很多算法,接下来我们看看AR目前面临的几大问题