一、增强现实显示技术概览
增强现实(Augmented Reality,AR)技术[1]是将计算机生成的虚拟信息叠加到真实世界的一种新兴技术。与传统虚拟现实(Virtual Reality,VR)技术所要达到的完全沉浸的效果不同,AR技术致力于为用户实时提供由虚拟信息和真实景物组成的混合场景,进而实现真实世界和虚拟世界的“无缝”集成。
视觉通道是人类与外部环境之间最重要的信息接口。AR系统中的显示设备能够为用户视觉呈现与现实环境有关的辅助信息,增强用户对周围真实环境的感受,是AR系统的核心部件之一。
1966年,Ivan Sutherland在研发达摩克里斯之剑系统时发明了光学透视式头盔显示器,并在1968年利用该显示器创建了第一个AR系统雏形[2]。1997年,Azuma对AR技术的应用系统及使用的基本技术给出了详尽的综述[3]。但2011年之前,由于成本、技术约束,AR技术主要应用在政府、军事、研究场景,未能得到普及;
2012至2015年间,视觉识别等上游核心技术取得进展,使AR眼镜量产成为可能;随着谷歌、微软、Oculus等企业开始入局,但由于上下游支持性技术、应用场景范围及产品体验均远低于预期,导致AR智能显示的市场表现并不理想。
2019年, 随着5G、人工智能、光学及材料学等技术的升级,使得AR技术可以更多应用场景发挥作用,AR系统显示设备热潮再起。国际数据公司(IDC)数据披露,随着AR技术的成熟以及单品价格的下降,AR市场将会迎来新的爆发,未来全球AR市场将以超过69%的年均复合增速增长,到2024年,全球AR市场规模将会达到426亿美元。
二、增强现实显示技术产业及政策概况
现阶段,AR系统显示设备不仅在游戏、娱乐、辅助教学等领域都得以大量应用;在智能制造领域,其重要性也开始凸显,如:2021年度,宝武钢铁打造了AR智能运维系统,开启了全新设备运维方式;罗克韦尔打造了Vuforia Studio培训平台,员工利用手机和AR眼镜即可接受高度拟真的互动演示培训;韩国某重工机械制造商打造了“远程智能巡检AR系统”,该系统可配合AR眼镜辅助工程师完成各类工程设备巡检和维修工作。可以预见,随着AR显示技术日趋成熟以及在智能制造方向使用需求的逐步增加,其在装配应用、维护和培训、产品测评、智能车间布局、物流与仓储管理等智能制造细分领域将发挥重要作用[4],具体参见下表。
应用场景 | 应用内容 |
装配应用 | 利用AR技术建立一个多感知通道的虚拟环境,通过头戴显示器等视觉呈现模块优化机械产品的设计和规划,提供良好的拆装体验。 |
维护和培训 | 利用物体跟踪和虚实配准技术,通过AR头盔把虚拟信息叠加在真实设备上, 从而完成设备维护和培训。 |
产品测评 | 利用AR技术可以建立与待测评工业产品具备相应物理属性的虚拟物理模型,测评人员通过视觉呈现设备即可以对叠加到真实环境中的虚拟物理模型进行参数指标精准测评。 |
智能车间布局 | 采用AR技术可以为车间布局提供可视化信息,进而给车间布局、重建、生产线重置提供重要的决策依据,使制造过程变得更灵活且有自适应性。 |
物流与仓储管理 | 信息流和物流是智能工厂正常运行的两条动脉,借助于AR的可视化技术可以提高目标物扫描精度和速度。 |
我国AR技术研究虽起步较晚,但已引起国家有关部门的高度重视,多个国家级发展规划类文件对AR技术都作出了重要指示。2015年5月,国务院印发的《中国制造2025》重点领域技术路线图就将AR列为智能制造核心信息设备领域的关键技术之一。2016年4月,工信部发布了《虚拟现实产业发展白皮书5.0》,强调通过财政专项支持虚拟现实技术产业化,实现核心技术突破。此外,AR技术也受到国家高技术研究发展计划(863计划)、国家自然科学基金的重点支持。在国际层面,2013年,德国政府提出“工业4.0”战略;2014年,欧盟提出Horizon 2020,其目的均在于推动VR/AR技术以提升自身竞争力。
三、增强现实显示技术专利分析
知链众象专利分析团队对AR中的显示技术进行技术主题拆解,并在全球数据库中采用“全文库划界、摘要库聚焦”的整体检索策略,对研究主题涉及的不同技术分支进行检索和分析,并从下级技术分支向上级技术分支汇总检索结果,如下表所示。
法律状态 | 专利数量(按最早优先权,单位:项) |
有效 | 6709 |
审中 | 3653 |
失效 | 2723 |
注:数据检索截止日期为2022年7月,由于专利申请可能需要18个月之后公布,2021年1月以后提交的部分专利申请可能存在尚未公开的情况,因此,本报告的专利分析数据基于已经公开的专利申请,2021年度以后的申请数据仅供参考。其中,全球总申请量按同族公开号计,共32295件。
1)全球AR系统显示技术相关专利申请情况
由下图可知,AR系统中的显示技术相关专利的全球申请量在2009年之前较少;2009-2018年,该技术下的专利申请量开始快速增长,该增长态势与世界范围内陆续推出的AR产业利好政策以及视觉识别等上游核心技术取得进展有关;2018-2020年,虽然专利申请量年增长速率放缓,但年专利申请量均维持在2300项左右,仍处于高位;由于部分专利申请还未公开,因此2021-2022年的申请量统计不完全。可见,2018年来,全球范围内的AR显示技术领域竞争较为激烈。
从AR系统中的显示技术全球技术生命周期图中也可以看出,2018-2020年,全球范围内介入该技术领域的申请人数量以及专利申请量较之前出现大幅上涨,该变化与AR市场体量扩增相关。因此,从整体来看,当前AR系统中的显示技术仍处于成长期。
- 全球AR系统显示技术相关专利技术类型
从AR系统中的显示技术全球专利技术构成来看,专利申请量排名前三的小类包括:小类G06T(一般的图像数据处理或产生),涉及的专利申请量为3902项;小类G06F(电数字数据处理),涉及的专利申请量为2834项,小类G02B(光学元件、系统或仪器),涉及的专利申请量为2418项。并且,统计涉及上述小类包含大组的相关专利示出的应用场景发现,AR系统显示技术可用于智能制造的工业现场模拟仿真(G06T19/00),工厂环境中的数字呈现(G06T11/60),工业场景跟踪显示及远程协同操作(G06F3/01), 增强现实设计(G06F17/50), 工厂设备辅助维护(G02B27/01)等多个细分场景。
经统计AR系统显示技术相关专利被引频次数据发现,涉及小类G09G的相关专利被引频次远高于其它小类涉及的专利。可见,小类G09G下包含的多个技术分支,如:多视见区显示(G09G5/14)、光栅扫描显示的计时电路(G09G5/18)等将成为该细分技术领域后续技术改性的基础。
- 全球AR系统显示技术相关专利技术地域竞争格局
从五局(CNIPA、USPTO、EPO、JPO、KIPO)流向图中可以看出,美国AR系统显示技术专利申请量为6083项,且在中国、欧洲、日本市场均有100项左右的专利布局,在韩国市场专利布局数量最少,为61项;中国AR系统显示技术专利申请量为4059项,其在美国市场布局的专利数量为132项,在欧洲、日本、韩国市场布局专利数均为10项左右,可见美国市场是中国该领域创新主体最为关注的海外市场;与中国相似,韩国、日本和欧洲该领域创新主体也将美国市场作为最重要的海外市场。
- 全球AR系统显示技术相关专利技术申请人竞争格局
全球AR系统显示技术相关专利TOP10申请人分别是三星电子株式会社、奇跃公司、微软公司、LG电子株式会社、国际商业机器公司、谷歌有限责任公司、高通股份有限公司、佳能株式会社、斯纳普公司、OPPO广州移动通信有限公司,其中排名前三位的申请人专利申请量均在300项以上,处于同领域领先位置。
在全球主要申请人技术布局方面,三星电子株式会社、奇跃公司、微软公司、LG电子株式会社、谷歌有限责任公司、OPPO广州移动通信有限公司更为关注G06T(一般的图像数据处理或产生)、G06F(电数字数据处理)、G02B(光学元件、系统或仪器),而关注G06K(数据识别)的申请人涉及国际商业机器公司、高通股份有限公司、斯纳普公司,关注H04N(图像通信)的申请人仅涉及佳能株式会社。
四、结论建议
- AR显示设备将会在在智能制造领域发挥更加重要的作用,装配应用、维护和培训、产品测评、智能车间布局、物流与仓储管理等细分领域的数字改造将是未来趋势。
- AR显示设备关联的G06T(一般的图像数据处理或产生)、G06F(电数字数据处理)、G02B(光学元件、系统或仪器)技术分支是当前是全球创新主体较为关注的,上述技术分支涉及智能制造领域中的多个应用场景。
- AR显示技术正处于成长期,加入全球AR显示设备市场竞争的创新主体数量有望进一步递增,全球范围内的AR显示技术领域竞争处于激烈态势;具体到区域竞争态势,美国和中国将是世界范围内AR显示技术竞争最为激烈的国家;结合各国工业发展模式迭代的相关政策,中国、美国、欧洲、韩国、日本有望成为率先将AR技术规模化引入工业的国家和地区。
- 三星电子株式会社、奇跃公司、微软公司等将会是未来AR显示技术全球市场的有力竞争者,其竞争优势会覆盖游戏、娱乐、辅助教学、智能制造等多个领域;中国的OPPO广州移动通信有限公司也是具有潜力的竞争者。
参考文献
[1]Caudell T P, Mizell D W. Augmented reality:An application of heads-up display technology to manual manufacturing processes[C]//Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences. Piscataway NJ: IEEE,1992,doi:10.1109/HICSS.1992.183317.
[2]Sutherland I E. The ultimate display [J]. Multimedia: Form Wagner to virtual reality, 1965.
[3]R. Azuma. Survey of Augmented Reality Presence: Teleoperators and Virtual Environments, vol. 6(4), pp:355-385, Aug,1997.
[4]陈和恩,何汉武,吴悦明.VR/AR与智能制造:应用领域、核心技术[J].机电工程与技术,2021,,50(02):1-5.
本文首发于想橡栎(IPOAK.COM),作者【万罗佳】版权所有。未经授权,请勿转载!