联手智能机器人专委会：“扩展机器人现实”术语发布 | CCF术语快线

由来：

扩展现实（XR）技术旨在结合物理世界及可与其互动的“数字孪生世界”，通过增强现实（AR）、虚拟现实（VR）以及混合现实（MR）增强人类与现实世界的交互。1968年，“计算机图形学之父”与图灵奖得主伊凡·苏泽兰(Ivan Edward Sutherland)与学生创造了第一个虚拟现实及增强现实头戴式显示器。此后的五十年间，扩展现实技术显著进步，为各行业带来了巨大的变革。

扩展现实技术与机器人技术有着重要的交叉[1]。首先，扩展现实需要具备与机器人相同的环境空间感知能力，机器人在现实世界中的移动同样需要这种能力。其次，人类的感知、表示和对空间移动的理解，可以应用于扩展现实和机器人的设计和使用。最后，扩展现实作为一个模拟环境，可以用来实现元素间的真实物理交互，有利于机器人的学习。近年来，随着深度学习等技术的快速发展，扩展现实技术中的感知、认知和交互行为的理论和实验基础被用于解决机器人技术中的挑战，这也产生了新的前沿研究方向--扩展机器人现实。

定义：

扩展机器人现实是指一种结合扩展现实，其允许用户通过与虚拟世界和现实世界的互动来控制和管理机器人，将人类的感知、认知和行为能力与机器人的执行能力相结合，从而实现更高效、更自然的人机协作。

研究概况：

近年来，随着人工智能的发展，XR技术逐步走向智能化，从而实现更丰富的应用场景。在新冠疫情大流行时期，医护人员利用XR技术提供的协作、感知和控制能力实现远程诊疗，以及疫情防控、日常看护，从而降低工作风险，提高工作效率。当XR技术与机器人技术相互融合时，便形成了一种全新的技术—扩展机器人现实。它创建一个与现实世界相互融合的虚拟环境，机器人作为这个虚拟环境中的一个实体存在。用户通过头戴设备、手势识别等方式与这个虚拟环境进行交互，从而实现对机器人的远程控制和实时监控。扩展机器人现实技术关注的是更自然的人机交互、更好的理解和感知环境、更高效的执行任务。近年来，扩展机器人现实技术已经成为机器人、扩展现实和多媒体等多个领域的研究热点，吸引了大量研究者的关注和兴趣。

2022年，国际学术社区在机器人领域顶级会议IROS上，举办了扩展机器人现实的第一届学术研讨会，主题为“扩展机器人现实的地平线--XR和机器人融合的未来”[2]。研讨会目标是介绍XR技术的进步，以及讨论XR如何帮助解决机器人领域的挑战。录用的论文摘要包括：AR中模仿学习的可解释人机交互、面向XR的室内环境自主扫描、热箱中双臂机械臂的AR远程操作、上肢人形机器人的高效VR远程操作等。此次研讨会的召开，凸显扩展现实机器人在各个领域的应用日益广泛，并且在技术创新方面取得了显著的成果。2023年10月, 在IROS举办的第二届扩展机器人现实学术研讨会[1]上，涌现出更多创新成果，如人-无人机VR交互、沉浸式MR的双向人机交互、大型多智能体编队的AR用户界面等工作。2022年3月出版的IEEE Robotics & Automation Magazine特刊“机器人中的扩展现实”[3]，探讨了机器人领域中人机交互的XR技术最新进展。其中，Delmerico等人[4]展示三项工作说明MR实现人与机器人灵活的协作：用户为机器人规划自主巡检任务、利用手势控制机器人、为用户提供远程机器人的空间理解实现机器人远程操作。Ranne等人[5]设计了一种可视化可塑机械臂的新型AR接口。用户头戴AR显示器，操作机械臂末端执行器的数字孪生体到所需位置。Danioni等人[6]针对机器人辅助微创手术(Robot-assisted minimally invasive surgery, RAMIS)，设计了一个沉浸式的虚拟环境，用于评估和比较拟人化、沉浸式远程操作概念在虚拟微创手术环境中的可用性和效率，结果表明70%的用户可获得更好的效果。在这些应用中，XR通过人与机器人对空间的共同理解实现共定位(co-localization)，使得人机交互变得更容易。Suzuki等人[7]在CHI 2022上发表的综述文章中，调研近500篇AR和机器人方向论文，对AR和机器人技术进行了分类，指出AR/MR已经成为增强人机交互和机器人界面的新方法，提供了基于AR的人机交互系统设计的共同基础。

扩展机器人现实技术被应用于多样的场景中。在工业领域，它可使工程师直观、深入的理解复杂的机械结构和生产线流程，提高生产效率和产品质量。通过远程协作，使得身处异地的专家能够实时指导现场操作，降低人力成本。具体应用如联合装配[8,9,10]、抓取[11,12]、远程维修[13]、检查[14,15]。在居家和日常场景，扩展机器人现实技术可以实现家庭任务[16,17]，辅助和陪伴老人[18,19]，提供娱乐[20,21]和教育能力[22]。在医疗健康领域，扩展机器人现实技术可以辅助机器人实现精准微创外科手术[23]，培训医学生学习机器人辅助手术 [24]，辅助神经康复[25]和自闭症康复[26]。

挑战与展望：

扩展机器人现实在发展更自然的人机交互、更精确的环境感知、更高效的执行任务方面依然存在巨大挑战。（1）如何使机器人理解人类与虚拟环境的交互指令，提升手势识别、眼动追踪等技术的精度和鲁棒性是重要的研究方向。（2）如何在动态环境下，以及强光、阴影、遮挡等恶劣环境下，实现对环境的语义理解和人机共定位，是要进一步研究的重要问题。（3）为了高效完成人机协作，在机器人理解人类的意图和需求之后，需要考虑如何设计直观、易于理解的人机界面，获取机器人状态反馈，以实现人机间有效互动。（4）如何实现人机协作过程中的实时决策和响应，以应对突发情况和复杂任务。

正如第一届扩展机器人现实技术国际学术研讨会的主题[2]，这一技术正处于地平线，充满了无限的可能性和挑战。期待更多科学家继续研究和探索，以推动这一技术的发展，使其在更多的领域和场景中得到应用，为人类带来更大的便利和价值。

参考文献：

[1] https://sites.google.com/view/xr-robotics-iros2023/

[2] https://sites.google.com/view/xr-robotics-iros2022

[3] De Momi E, Tavakoli M, Delmerico J, et al. Extended Reality in Robotics [From the Guest Editors][J]. IEEE Robotics & Automation Magazine, 2022, 29(1): 8-9.

[4] Delmerico J, Poranne R, Bogo F, et al. Spatial computing and intuitive interaction: Bringing mixed reality and robotics together[J]. IEEE Robotics & Automation Magazine, 2022, 29(1): 45-57.

[5] Ranne A, Clark A B, Rojas N. Augmented Reality-Assisted Reconfiguration and Workspace Visualization of Malleable Robots: Workspace Modification Through Holographic Guidance[J]. IEEE Robotics & Automation Magazine, 2022, 29(1): 10-21.

[6] Danioni A, Yavuz G C, Ozan D E, et al. A study on the dexterity of surgical robotic tools in a highly immersive virtual environment: Assessing usability and efficacy[J]. IEEE Robotics & Automation Magazine, 2022, 29(1): 68-75.

[7] Suzuki R, Karim A, Xia T, et al. Augmented reality and robotics: A survey and taxonomy for ar-enhanced human-robot interaction and robotic interfaces[C]//Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. 2022: 1-33.

[8] Aschenbrenner D, Rieder J S I, Van Tol D, et al. Mirrorlabs-creating accessible Digital Twins of robotic production environment with Mixed Reality[C]//2020 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR). IEEE, 2020: 43-48.

[9] Brizzi F, Peppoloni L, Graziano A, et al. Effects of augmented reality on the performance of teleoperated industrial assembly tasks in a robotic embodiment[J]. IEEE Transactions on Human-Machine Systems, 2017, 48(2): 197-206.

[10] Ganesan R K, Rathore Y K, Ross H M, et al. Better teaming through visual cues: how projecting imagery in a workspace can improve human-robot collaboration[J]. IEEE Robotics & Automation Magazine, 2018, 25(2): 59-71.

[11] Arevalo Arboleda S, Rücker F, Dierks T, et al. Assisting manipulation and grasping in robot teleoperation with augmented reality visual cues[C]//Proceedings of the 2021 CHI conference on human factors in computing systems. 2021: 1-14.

[12] Weisz J, Allen P K, Barszap A G, et al. Assistive grasping with an augmented reality user interface[J]. The International Journal of Robotics Research, 2017, 36(5-7): 543-562.

[13] Aschenbrenner D, Rojkov M, Leutert F, et al. Comparing different augmented reality support applications for cooperative repair of an industrial robot[C]//2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). IEEE, 2018: 69-74.

[14] Liu D, Xia X, Chen J, et al. Integrating building information model and augmented reality for drone-based building inspection[J]. Journal of Computing in Civil Engineering, 2021, 35(2): 04020073.

[15] Das M P, Dong Z, Scherer S. Joint point cloud and image based localization for efficient inspection in mixed reality[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018: 6357-6363.

[16] ARROCH: Augmented Reality for Robots Collaborating with a Human, ICRA 2021. 

[17] Wang C, Belardinelli A, Hasler S, et al. Explainable Human-Robot Training and Cooperation with Augmented Reality[C]//Extended Abstracts of the 2023 CHI Conference on Human Factors in Computing Systems. 2023: 1-5.

[18] Conde M, Mikhailova V, Döring N. Towards Augmented Reality-Based and Social Robot-Based Social Integration of Older Adults: A User Requirements Analysis[C]//International Conference on Human-Computer Interaction. Cham: Springer Nature Switzerland, 2023: 426-432.

[19] Fischedick S B, Richter K, Wengefeld T, et al. Bridging Distance with a Collaborative Telepresence Robot for Older Adults–Report on Progress in the CO-HUMANICS Project[J]. 56th International Symposium on Robotics, 2023.

[20] Costa H, Cebola P, Cunha T, et al. A mixed reality game using 3Pi robots—“PiTanks”[C]//2015 10th Iberian Conference on Information Systems and Technologies (CISTI). IEEE, 2015: 1-6.

[21] Pratticò F G, Lamberti F. Mixed-reality robotic games: design guidelines for effective entertainment with consumer robots[J]. IEEE Consumer Electronics Magazine, 2020, 10(1): 6-16.

[22] Villanueva A M, Liu Z, Zhu Z, et al. Robotar: An augmented reality compatible teleconsulting robotics toolkit for augmented makerspace experiences[C]//Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. 2021: 1-13.

[23] Qian L, Wu J Y, DiMaio S P, et al. A review of augmented reality in robotic-assisted surgery[J]. IEEE Transactions on Medical Robotics and Bionics, 2019, 2(1): 1-16.

[24] Casas-Yrurzum S, Gimeno J, Casanova-Salas P, et al. A new mixed reality tool for training in minimally invasive robotic-assisted surgery[J]. Health Information Science and Systems, 2023, 11(1): 34.

[25] de Crignis A C, Ruhnau S T, Hösl M, et al. Robotic arm training in neurorehabilitation enhanced by augmented reality–a usability and feasibility study[J]. Journal of NeuroEngineering and Rehabilitation, 2023, 20(1): 105.

[26] Arpaia P, Bravaccio C, Corrado G, et al. Robotic autism rehabilitation by wearable brain-computer interface and augmented reality[C]//2020 IEEE International Symposium on Medical Measurements and Applications (MeMeA). IEEE, 2020: 1-6.