AR/VR,是当下新兴且极为热门的应用领域。与手机相似之处是,AR/VR同样需要半导体技术的支撑。那么,当前现有的手机通信芯片能否满足AR/VR对芯片的需求?AR与VR两者间对芯片的需求又有何不同?AR硬件需要用到多少颗传感器?半导体技术需要怎样的升级优化,才能更好地推进ARVR产品具有更好的使用体验。
半导体技术的发展,直接决定着AR/VR应用发展的步伐。对此,围绕这些问题,《智慧产品圈》记者对AR企业亮风台COO唐荣兴进行了专访,来解读AR/VR背后的半导体技术。
对话问题
智圈:VRAR芯片与手机芯片的性能有何不同?
唐荣兴:AR 芯片要满足的功能排序应该是[CV/AI算法] >[显示] > [通讯](CV为Computer Vision, AI为Artificial Intelligence)。相比之下,通讯功能则是手机芯片最重要、最核心的模块。
智圈:AR/VR两者之间,对芯片的需求是否一样?
唐荣兴:AR更关心对输入信息(单目、双目、多传感器等)的认知与理解,而显示部分是可以由VR来完成。甚至可以说,AR/VR是可以融合的,业界称为MR(Mix Reality)。
AR 和 VR明显的区别是,AR更需要处理目标识别、定位、跟踪和建模等人工智能和计算机视觉问题,计算量大,对CPU和GPU有较高要求。有些应用可能还需要增加DSP、FPGA和定制芯片来满足大运算量,我们会看到ARM、Intel、Qualcomm、NVIDIA等大公司在做相关尝试。
智圈:现在ARVR行业,有哪些芯片解决方案?
唐荣兴:从目前来看手机芯片厂商并没有专门针对AR、VR产业推出芯片。现有的芯片基本可以满足AR的需求,可以直接使用于一般的应用场景中。
高通、英特尔、英伟达、全志、君正等厂商也在尝试和推出面向AR/VR 行业的解决方案。
智圈:当前的芯片技术,能否满足ARVR硬件发展的需求?哪些方面可以满足,哪些方面还需提升?
唐荣兴:AR最重要的功能是 [CV/AI]算法。尤其当多模态交互同时运行时,图像识别、语音、手势等计算需要大量运算资源,现有芯片可能不够。
以现阶段来说,硬件只是仅仅满足ARVR的 基本功能可以运行而已,在硬件各个方面都有很大的提升空间,不只是某一方面提升而已。面向AR/VR智能眼镜芯片技术需要向"四更"方向努力:更小(体积更小),更快(传输更快),更省(更低的功耗),更强(更强的计算能力,更强的图形计算、并行处理等能力)。
智圈:AR硬件包含哪些芯片? AR眼镜中会用到哪些传感器?
唐荣兴:AR硬件所用到的芯片以CPU、PMU、MCP为核心,外围还有图形加速芯片、通讯模块芯片、充电模块芯片、WIFI芯片、GPS芯片、总线转换芯片。
在AR眼镜中,会用到2个加速度传感器、1个陀螺仪、1个电子罗盘、1个环境光强弱传感器、2个温度传感器,以及测试距离、深度、眼球追踪等器件。
当前ST、博世、Invensense、美新、光宝、陶氏、敦南等厂商有相应的产品。
智圈:传感器等半导体器件是与MCU集成在一起,还是单独?
唐荣兴:9轴集成度挺高,比如ST的MCU和9轴算法跑在MCU中。其他传感器都是独立存在的,没有集成到MCU中。
智圈:随着ARVR硬件进一步优化,需要半导体技术(芯片、传感器、MCU、存储器等)如何进行优化呢?例如计算速度、存储空间、传输速率和续航能力等。
唐荣兴:为了推动ARVR硬件的发展,需要在以下几个方面进行优化:
一、MCU、CPU、GPU等需要更强的计算能力,以满足算法、显示、交互等工作需求。同时,要降低芯片的功耗,以满足更长时间的工作需求。另外,体积也要浓缩,这样才能释放空间用于他处。
二、传感器方面需要进一步提高精度,以获得更精确的数据。
三、存储器需要在同体积下提供更大的存储空间,更快的读取速度为优化的目标。
四、通讯模块需要提高数据传输能力,随着云计算在AR中越来越多重要,网络传输速度的提高可以更大的优化用户体验。
五、电池,目前来说已经是整个电子行业的瓶颈,希望有新的技术或者材料出来,能够提高电池的单位体积容量,这样会给整个电子行业带来腾飞的变革。
未来需要针对CV/AI专门优化的芯片来提高运算速度和降低功耗。随着AR/VR需求的扩大,也许会提升相关编解码多媒体定制芯片的发展。
智圈:手机市场已趋于饱和,同时多样化的智能硬件对芯片的需求也有所不同,芯片厂商无法像提供手机芯片那样规模化地支撑智能硬件。那么,ARVR是否是手机芯片厂商继手机之后的真正的下一个福地?
唐荣兴:长期来看应该是这样。目前,一些半导体公司已经开始在AR/VR领域积极布局和探索。