以科技取代白手杖与导盲犬：视障者的智慧户外行动辅助系统

＊本篇文章与阳明交通大学人工智慧普适研究中心（PAIR labs）合作刊载＊

依据估计，全球视障人数将从2015年的3600万增加到2050年的1.15亿以上，这些视障者的生活需要社会与政府的更多关注。最基本的户外行动时，视障者最常采用白手杖或导盲犬协助，但是白手杖无法提供重要的讯息，例如障碍物位置、类型、距离，这些资讯对於视障者的环境感知和移动安全是很重要的。导盲犬虽可协助视障人士避开障碍物，然而饲养和训练导盲犬的成本非常高，而且在台湾视障者需要排队申请，等待至少数个月以上才有机会领养到导盲犬，所以大多数的视障朋友，是不会考虑的。因此许多研究人员尝试为视障人士开发各种辅助设备，希望能引导视障者安全地行动。目前国际上已经开发了许多辅助装置来实现这些目标，其中大部分依赖於智慧型手机、各种感测器或电脑视觉等。

新开发的
视障户外行动辅助系统设计与功能

笔者实验室在科技部的计画补助下，发展了一套视障人士使用的可穿戴的户外行动辅助系统，此系统包含一个嵌入式设备由Nvidia公司出产的人工智慧运算平台Jetson AGX Xavier，一个ZED 2的双眼相机，以提供影像的物件深度检测和120度广角视野，AGX中还安装了一个语音提示管理器，在AGX和耳机之间连接了一个语音卡，可以产生语音提示。
整个辅助系统如图一所示，由容量为5200mAh的锂电池供电（图一a），充满电（16.8V）的电池可提供约2.5小时的系统运行时间。电池和AGX安装在视障者的背板上，ZED 2固定在用户帽子的边缘（图一b），耳机连接语音卡，语音指令会输出给视障者，这些功能可以为视障人士提供了极大的方便性与安全感。

图一：整个辅助系统的外貌（a）背板上的AGX、电池和语音卡；（b）帽子上的ZED 2。

图一显示的是系统硬体配置，而系统软体功能含有Fast-SCNN和YOLOv5两个深度学习模型，在AGX上执行环境识别任务。Fast-SCNN的环境分割图与ZED 2提供的深度图的结果可以识别视障者面前的可步行区域并建议步行方向。YOLOv5与ZED 2的输出深度图可以侦测辨识前方的障碍物，并计算出该障碍物离视障者的距离。此外，语音提示管理器会为视障者播放有关障碍物和步行能力的语音指令。
整个辅助系统可以对於视障者提供以下协助：以语音指引视障者行走；可以在环境中辨识出人行道与斑马线，指引视障朋友安全地行走在人行道或斑马线上；辨识并避开人行道上的常见障碍物，如机车、汽车、行人等。若有其他障碍物，虽不在YOLOv5辨识范围内，但也会指引视障者去避开它，换句话说就是以语音指引视障者可以安全前进的方向、障碍物的种类、以及如何避开障碍物等。

指引步行方向与辨识障碍物的主要技术

此系统是如何辨识辨识人行道与斑马线的？我们采用快速分割卷积神经网络（Fast-SCNN）来识别室外环境，包括人行道、斑马线、楼梯和柏油路，辨识出来的画面如图二所示，因为我们只要辨识人行道和斑马线以供视障人士步行，所以图二a处（人行道）与b处（斑马线）区域是需要提供给视障朋友的。
根据我们实验的数据，人行道与斑马线的I O U（intersection over union）大约在85％左右，对於视障朋友来说参考性已很足够。换句话说，非人行道（a）与斑马线（b）区域就是不能行走的区域，该区域就被视同障碍物应该避开。Fast-SCNN虽然可以在视障者面前识别出上述4种街道环境，但不能给出视障者前面的环境距离，因此以ZED 2提供了前方图像的深度图以解决这个问题。此外，我们利用视障者面前的深度影像图，对比於空旷无任何障碍物的深度图，算出一个指标值称为Conf_d值可以称为「空旷度」，其值介於0∼1之间，或是-∞。前面愈空旷，Conf_d值愈趋近於1；近距离有障碍物愈靠近视障者，Conf_d值愈趋近於0，若是-∞表示障碍物就在眼前了。另外还有一个指标值称为「安全度」，以Conf_s值来表示，也是介於0∼1之间，它是以Fast-SCNN 的结果图来做计算。当图二中的a、b区域面积愈多，表示前面是人行道或斑马线的比例愈大，Conf_s值就愈趋近於1，对视障者而言是较安全的行走区域；反之就越趋近於0。因此根据以上两个指标图，我们就可以做「行走导引」的安排，导引安全的前进方向。

图二：左边是ZED 2 拍出的街景图像，右边是Fast-SCNN 的输出结果。（作者提供）

行走导引把视障者前面的影像，经过Fast-SCNN及ZED2的距离量测以後，可以计算以上两种指标值，接着我们把Fast-SCNN的画面平均分个7个直方区，如图三所示，每一直方区均算出两个指标值，两个指标值中取其小者当作决定指标Conf，如图三中每一直方区中有3个数字，最上面的数字为Conf_s值，中间为Conf_d值，最下者为Conf，根据Conf值 我们就可以指引视障者该走哪一方向是安全的。
我们归纳视障者的行走指引如下：
• 情况一：如果最中间分区的Conf 值≥0.5（如图三a)，则选择中间分区方向前进，并且语音提示给出「直行」的指令，指引视障者走在斑马线上。
• 情况二：如果最中间分区的Conf值 <0.5，则在所有分区中找到Conf 值最高的分区，且其值大於0.2，则引导视障者走向那个分区，语音提示给出「稍微向右／稍微向左」、或「右／左」等指令。如图三b会取左边数来第三区的方向，语音提示「稍微向左」，图三b是指引视障者走在人行道上。
• 情况三：如果所有直分区的Conf值都小於0.2，说明前方是死路，语音会播放「死路」，如图三c，此图是指引视障者前无人行道也无斑马线，必须掉头寻找另一条路。
当视障者在以上辅助系统的引导下，虽然可以知道最安全的前进方向，然而在行走的道路上仍可能出现障碍物。因此我们使用YOLOv5 AI模型进行障碍物检测和识别。考虑到道路上最常见的6类必须检测的物体，包括摩托车、自行车、人、汽车、卡车、公共汽车。YOLOv5的输出是一个可以识别物件的边界框。例如图四所示，边界框顶部的数字是对物件识别的可信度值。此外，视障者与障碍物之间的距离是从ZED 2中获得的。如果障碍物的位置出现在视障者面前图像的中间分区，并且足够接近至前方3公尺范围内，辅助系统将引导视障者避开障碍物，同时语音提示会告知正在接近的障碍物是甚麽。例如位於图五中右起第三和第四分区的汽车距离视障者6.43公尺，当视障者向前走，直到汽车距离在3公尺以内时，语音就会提示视障者「前有汽车」，并提醒视障者避开。当视障者遇到6 类之外的障碍物或有物件悬挂在半空中会阻碍视障者时，即使YOLOv5无法识别是何种障碍物，视障者仍然可以藉着上面所提7个分区行走导引方法避开障碍物。

图三：分割图及指标值。（作者提供）

视障者实际试验结果

我们邀请了一位视障者对辅助系统进行实验，他是一位後天视障者，除了对光有非常微弱感觉以外，视力几乎是0。视障者背上该辅助系统的原型，在桃园高铁捷运站周围的户外进行实验。一开始视障者只需对着麦克风说出想去的地方（语音辨识与通讯是另一研究题目，不在此赘述），系统就会提供目标点的座标，再利用Google地图规画从出发点到目标点的路线。在本实验中，步行路线长度约为280公尺，实验结果发现，如果忽略语音提示的时间消耗，系统的处理速度约为6 FPS（每秒帧数），其中每帧的处理包括0.09秒的画面环境辨识分割、0.06秒的障碍物检测和深度测量，0.0145秒用於各种指标计算并决定前进方向，处理速度足以满足使用者的即时性要求。
每一次的实验，大约需要3∼4个小时，进行7∼8回合，实验步行路径必须包括人行道和斑马线。我们在该捷运站周边找了3种不同的路径进行了实验，即使实验时视障者走的是同一条路径，我们也会在不同的位置放置不同障碍物，以验证系统能否引导视障者避开那些障碍物。这边必须一提的是本系统并未具备辨识红绿灯的功能，台湾有一家名为资拓宏宇公司开发的一个交通号志平台「Invignal」提供路口的交通号志状态和时间，让我们省了很多研究时间与心力。
经过多次测试，视障实验者给了我们一些意见回馈如：
1. 本系统对视障者很有帮助，他表示肯定；
2. 视障者很希望知道周围有哪些物体，但又不喜欢提示语音播放太频繁干扰情绪；
3. 系统提供的步行引导策略，给视障者很大的安全感，可大大减少定向训练的次数和时间；
4. 视障者希望辅助系统更轻更小，甚至可以完全取代白手杖；
5. 视障者需要花一些时间来熟悉这个辅助系统，希望该系统可以更友善、更容易上手。
我们也要在此说明，因本系统的各种AI模型都是在白天与非雨天情况下蒐集资料训练，因此只要在亮度足够的天气下，不管阴天或黄昏，实验结果都可以接受。但是在雨天有积水时就会影响人行道辨识，会造成此系统几乎失效。就算在雨天没有积水的情况下，识别人行道和斑马线仍是不稳定的。此外，光线太暗也会影响辨识结果，此系统在夜间效果不佳，或者不同亮度的路灯也可能会混淆Fast-SCNN的输出结果。为了改进让系统在雨天和夜间也能运行，需要收集大量额外的雨天和夜间训练数据，未来我们会朝此方向继续研究。另外为了视障者的安全及尊重他们对白手杖的依赖度与信任度，实验时我们仍然让视障者使用此辅助系统与白手杖并行。

（123RF）

我们必须承认，在此阶段我们尚未邀请到足够的视障人士来进行测试，因为在台湾短时间内很难找到大量视障人士进行测试。但是在我们邀请视障者进行每一次实验之前，都会要求本实验室的几个（大约5∼6名）学生提前戴上眼罩进行多次实验，所以实验次数非常多。本文只是提供了一个视障者辅助系统的原型，以及一个帮助视障者户外行走的初步结果。未来我们将继续寻找更多视障者进行试验，以验证所提供系统的有效性，并再求功能的改进。

1. 感谢科技部编号110-2634-F-008-005计画经费的补助，使计画能顺利完成。
2. 感谢视障人士辅仁大学白郁翔博士生的实验协助。
3. 感谢资拓宏宇国际股份有限公司提供交通号志平台「Invignal」协助实验。

参考文献
1. Kate Cheng, Experimental video of the visually impaired using wearable devices, https://www.youtube.com/watch?v=G5QkhQY7h5M(accessed on 24 September 2021), 2021/1/7.
2. I-Hsuan Hsieh et al., A CNN-Based Wearable Assistive System for Visually Impaired People Walking Outdoors, Applied Sciences, 2021.
3. 谢易轩，〈基於 AI 技术之视障人士的行进避障及超商辨识与引导〉，国立中央大学硕士论文，2021年7月。