盲人的春天--视觉导航与虚拟陪伴系统

　　世界卫生组织报告显示，中国有700多万盲人[1]。但在北京、上海等大城市，公众场合已经很少看到盲人。主要原因是盲人很难适应繁华而复杂的现代城市活动，比如在没有陪伴的条件下独自乘坐公交车、地铁，盲人也难以在功能五花八门的现代商城里独自完成购物、吃饭和娱乐等日常活动。

　　除了人们熟悉的盲文、拐杖和导盲犬等帮助盲人和视觉障碍人群的途径，科学家、工程师和医生也联合起来通过两大类技术路径研发了多款复杂的人工视觉辅助系统[2]。第一类试图用高科技手段重建后天失盲者的部分视觉，并由受试者自己完成图像判断而做出相应行动。第二类是运用现代传感技术获取环境信息，并转化成指令后传输给盲人，协助盲人行动。

　　第一类人工视觉辅助装置主要包括视网膜植入装置和大脑视觉皮层植入装置。前者称为"人工视网膜植入技术"（或"视网膜假体"）[3]，核心器件的植入位置分为视网膜前、视网膜下、脉络膜上等。以2013年获准上市的Argus II人工视网膜系统[4]为例，利用外部摄像机捕获图像并处理、压缩编码，用植入视网膜前的微电极阵列输出电脉冲。每个电极的输出电脉冲可激发受试者视网膜上相应位置的神经结细胞，经由视觉神经束传送激发神经信号到视觉皮层、产生一个黑暗背景中的漫射白光斑。该系统的电极阵列像素为60，受试者在经数月训练可模糊辨识诸如门框的一些高对比度物体形状。因器件工艺复杂、价格昂贵（大约15万美元）、实际效果欠佳，Argus II系统已于2019年停止销售。而全球各国研发的其他十多种人工视网膜装置，多数处于试验阶段，鲜有后续进展[2]。在大脑视觉皮层，或者在视神经束侧面植入电极阵列引发视觉响应的研究，也都处于早期阶段[2]。

　　第二类人工视觉辅助系统，主要是非植入式、可穿戴装置。比如早期的声纳探测设备[5]、超声波拐杖[6]，以及2021年斯坦福大学研发的配备GPS和陀螺仪的盲杖[7]等。这些装置功能相对简单、指令含糊，不能适应现代城市复杂的环境和路况，因此难以普及。2012年的"谷歌眼镜"在采集环境图像后，配合微型芯片处理器、AI图像解读软件和自然语音输出功能，具备了指导盲人部分日常生活的功能[8]。此外，还有"舌感视觉"的有趣尝试，利用安置在舌头表面的微电极阵列进行图形化刺激、让受试者"辨识"外界物体形状[2]。当然，这样的装置妨碍了说话和饮食，也不容易普及。

　　最近，北京大学许胜勇团队提出了一种新的、可以辅助盲人生活的"远程盲人导航与陪伴"概念，演示了相应的硬件和软件以及测试效果（详情请点击阅读原文）。该系统借助最新的远程无线网络通讯技术、芯片技术，利用前方人员随身佩戴的小型电子设备、摄像头和感应器，以及云端庞大的数据库和计算能力，后台人员可以实时、充分地远程（比如，跨越城市）了解前方的现场景象、环境参数和人员状态等信息，通过对比云端数据库和内存数据库、AI辅助识别和人工综合分析，快速获得最合理的行动方案，并将行动指令及时传给前方人员。同时，也用语音对话输出人文关怀，得到前方人员的及时反馈。图1是系统工作示意图。左边为盲人的一些活动场景，包括独自利用盲杖出行、利用导盲犬出行、警察或好心人搀扶过斑马线、引导员陪伴参加四百米赛跑等。右图为系统演示，同样是盲人，在佩戴远程通讯、隐蔽触觉震动装置、耳机等电子设备后，可以在后台人员和云计算帮助下，更加安全高效、心情愉快地完成复杂的生活任务，仿佛后台指挥的人员就在身边陪伴一样。这是一种充分利用了高科技的"导航与陪伴"。

图1"远程盲人导航与陪伴"技术路径示意图

　　可输出触觉振动编码的可佩戴振动装置可贴附在头部、颈部、腰部、手腕、脚踝等多处。图2是一张佩戴我们的"导航与陪伴装置"、眼睛被全部遮挡的一位实地测试人员在超市购物的照片，她佩戴的振动装置在鸭舌帽下柔性的内胆里，包含的11个振动马达被安装在不同头顶方位。佩戴测试装置的受试者在外观上与几乎正常路人无异。

图2 测试人员佩戴"虚拟陪伴装置"、眼睛被全部遮挡，在一个小超市购物

　　这里简单说明本系统中，后台人员指令采用触觉编码方式引导前方使用者行动的原因。众所周知，触觉在神经系统进化过程中占据重要位置。早于视觉系统，触觉在生物体寻找食物、规避伤害、求偶、逃生等功能里发挥了决定性作用。而人体全身皮肤任何位点的触觉感知都与大脑皮层负责触觉的区域形成一一对应关系，在触觉皮层的三维地图上占据一个独一无二的坐标点。利用这个特性，在身体的头部、颈部等区域安装贴附皮肤的振动马达或者刺激电极阵列装置，就可以形成具有"空间矢量"特性的触觉编码[9]。

　　以半球形的头皮触觉装置为例，研究发现头皮区域的触觉空间分辨率在2~3 cm，比背部略好。基于头顶半球形皮肤相对于眼睛的固定空间方位，佩戴者能够自然分辨安装在不同位置的振动马达所表达的前、后、左、右等触觉编码，并形成肢体动作快速响应。使用者经过10分钟训练，其行动准确性即可超过九成。而仅内置4个振动马达的颈环装置，就可以通过"空间矢量"形式加上时间序列的触觉编码，向使用者准确、高效传输行动指令、符号信息和文字信息[9]。这样的触觉指令具有隐蔽功能，可以单独使用，也可以与语音指令并用。

几种应用场景简介

　　该系统先由在读大学生在校园里做了大量测试，测试场景包括走廊、操场、校园小路等。在系统优化和触觉指令优化之后，我们得到一位31岁的全盲志愿者协助，在北京海淀区某大街人行道上做了实际测试。该志愿者因患有先天性白内障，一岁时手术失败致全盲，目前在一家按摩院工作。他在佩戴头部触觉指令装之后，在路边空地经过半小时熟悉指令的训练学习，就在真实的人行街道处做L型（直行加转弯测试）路线行走测试，由我们团队的后台远程发出行动指令，取得了满意的测试结果。志愿者行走过程中，需要躲避来往的行人、避免与停靠的车辆、路边的台阶和树木等碰撞，也要及时转弯。该盲人佩戴系统装置实测视频如下。实验表明，盲人可以准确接受触觉指令，并且按照指令指示行动，以在一些路况简单的道路上安全行走。

　　比较有挑战的是在全盲条件下，佩戴系统装置，由远程后台发出触觉编码指令，来协助使用者在实际生活场地骑自行车。我们在校园里做了测试，在有若干直角转弯的路段、狭窄弯曲的公园小路等场地，多名受试者均能顺利完成骑行，未发生摔倒碰撞。图3是其中一个现场照片。

图3 在北京某大学校园测试远程盲人导航系统骑自行车

　　其他已经做了大量测试的应用场景包括超市购物、咖啡厅买咖啡和找座位等。比如，超市购物涉及的指令除了和行走避障，还有左转、右转、蹲下、挑选商品等。咖啡厅买咖啡并就座，涉及到的指令除了和行走避障测试相同的导航指令，还有左转、右转、拿取、手前后左右移动指令。该系统也能用于准确引导手部运动。实际场景测试包括取水、搭积木、拼图、打扑克牌等，均取得满意效果。

　　该系统在后台人工判断与本地AI判断相结合领域还有巨大的发展空间。后台人员除了提供行动指令，也可辨识人的面部表情、情绪等AI目前无法准确识别的细节，从而提供一定的情感寄托和帮助。比如服务对象为老人时，可以远程陪伴老人去银行、邮局、医院等地方，更加安心老人的独自出行；服务对象为小朋友时，可以远程陪伴做作业等。而本地AI系统可对突然出现的危险事件进行紧急避难反应，比如发现突然闯入行走路径的行人或车辆，下达紧急停止命令。本地AI也可辅助盲人打扑克、打麻将，提供软件算法服务。后台人工判断和本地AI判断相结合的判断下，可以为服务对象提供双重安全保障，提供更加精准的行动指令。

展望

　　利用身体皮肤触觉的天然空间方位感和快速响应的特点，触觉编码不仅可以准确引导盲人手脚和身体的行动，也能通过类似摩斯码、手语和旗语等编码语言，隐秘传输大量信息，用于特殊的工作场景。触觉指令具备静默、隐蔽、保护隐私等功能。而触觉和语音的双重信息转化，不仅增加了系统工作的安全性和可靠性，也使得个性化服务得以实现。比如，使用者可通过语音反馈自身要求、状态、对指令的理解，与后台人员进行有效的交流。对不同的应用场景，该系统有潜力发展出不同的器件模式。比如，多摄像头模式、城市街道导航模式、户外旅行模式、夜间工作模式、采购模式、日常家居模式、游戏模式等。在物联网时代，盲人导航系统也有可能享受"专门识别"待遇，与汽车、摩托车等自动电子系统之间形成底层设备通讯联系，从而大大增加盲人出行的安全系数。

　　据统计，全球中度或重度视力受损或失明者人数已超2亿，因此帮助他们参与各项社会活动、提高生活质量，具有重要的现实意义，任重道远。相对于见诸报道的超声拐杖、超声鞋、舌上触觉阵列辨识物体形状等技术方案，以及将视觉图像实时处理后语音输出指令的盲人眼镜系统，本文提出的将视觉图像转化成触觉编码指令并辅以语音描述的远程导航系统，更具有效性和安全性，系统并不昂贵，有普遍推广的巨大前景。

　　参考文献

　　1.WHO, "Vision Impairment and Blindness," 2018 [M/OL][2021-10-17]. https://www.who.int/en/news-room/fact-sheets/detail/blindness-and-visual-impairment

　　2.林衍旎,葛松,杨娜娜,等.人工视觉辅助系统：现状与展望.生物化学与生物物理进展,2021,48(11):1316-1336

　　3.Villalobos J, Nayagam D a X, Allen P J, et al. A wide-field suprachoroidal retinal prosthesis is stable and well tolerated following chronic implantation. Investi Ophthalmol Vis Sci, 2013, 54(5):3751-3762

　　4.Humayun M S, Dorn J D, Da Cruz L, et al. Interim results from the international trial of second sight'svisual prosthesis. Ophthalmology, 2012, 119(4): 779-788

　　5.Brabyn J A. New developments in mobility and orientation aids for the blind. IEEE Trans Biomed Eng, 1982, 29(4): 285-289

　　6.Hoyle B, Waters D. Mobility AT: the batcane (UltraCane) //Hersh M A, Johnson M A. Assistive Technology for Visually Impaired and Blind People. London: Springer London. 2008: 209-229

　　7.Patrick S, Arjun T, Mykel J K. Multimodal sensing and intuitive steering assistance improve navigation and mobility for people with impaired vision. Sci Robot, 2021,6(59):eabg6594

　　8.Pedersen I, Trueman D. Sergey Brin is Batman: google's project glass and the instigation of computer adoption in popular culture. In CHI '13 Extended Abstracts on Human Factors in Computing Systems (CHI EA '13). Association for Computing Machinery, New York, NY, USA, 2013:2089-2098

　　9.Lin Y N, Li Y C, Ge S, et al. Three-dimensional encoding approach for wearable tactile communication devices. Sensors, 2022, 22(24): 9568

　　作者简介

　　葛松：北京大学博士研究生。现阶段主要研究脑机接口应用、人工视觉体外辅助系统及视神经系统的信息传递。

　　林衍旎：北京大学物理电子专业博士研究生在读。目前主要从事人工视觉系统及视神经系统的信息传递项目研究。

　　许胜勇：北京大学电子学院教授，博士生导师。研究领域为神经信号传输和脑功能物理机制，脑机接口，人工视觉系统。

（作者：葛松、林衍旎、许胜勇）

（本文来源于公众号：生物化学与生物物理进展）