这个清华团队用17年做一件事：辅佐瞽者“看见”全国—旧事—科学网

这个清华团队用17年做一件事：辅佐瞽者“看见”全国

 

文｜《中国科学报》记者 孙滔

“接上往的看见1到2年内 ，你的个清瞽视觉会不成逆地无缺丧损掉落踪落。”杨光听到除夜夫的华团宣判时，仍是队用个小师长教师 。后来
，事旧事他做了一件事 ：天天从早到晚不竭地往看周边全国，辅佐冒作古把全数事物都记到思惟里 ，全国包含它们的科学色彩、外形等，看见因为往后就再也看不见了 。个清瞽

多年后
，华团就读北京连络除夜学的队用视障师长教师杨光 ，把这段旧事讲给焦阳听。事旧事那是辅佐2014年，焦阳是全国清华除夜学将来考验考验室的助理研究员 ，他俩是同龄人。那一刻，焦阳的眼泪当场就损掉落踪落了上往 。他后来讲
 ：“大年夜大年夜约这件事不如AI那么火，可是它可以震进耳心，我就宁愿赞成往做 。”

焦阳口中的“这件事”，就是为瞽者研制筹算机。

这不是一个复杂的项目，而是将来考验考验室主任徐迎庆团队自2009年最早的经久主义奇不雅不雅，这是一场长达17年的接力赛 。

▲同窗独霸瞽者筹算机 。

初心

在引见瞽者筹算机的时辰，焦阳经常拿出一张照片示人 。

一个目力高度受损的女生坐在深化筹算机后面，她戴着耳机 ，在触摸盲文书本的同时，为了捕获屏幕上的一点点光
，她的眼睛和鼻子几近贴在了筹算机屏幕上 。

这张照片拍摄于2012年。拍摄者是项目最早介入者之1 、事前的硕士生江宁 ，事前间焦阳还没离开清华。在北京市瞽者黉舍调研的时辰，江宁拍下了这张照片。每个看到这张照片的人都邑被深深震动。

▲一个女生在盯着屏幕
。江宁/摄

如今
，气候并没有改削若干很多若干良多若干很多若干良多若干很多若干。视障师长教师们用着跟除夜百科全书一样厚的盲文教科书——一本深化语文书对应着三本多么的盲文书。进修数学的时辰，教员会把铁丝弯成一个函数曲线的外形，同窗们往摸这个铁丝的外形，进而往邃晓函数。钞缮盲文的时辰 ，他们的右手像缝纫机一样在纸上密密层层地扎洞
，每秒钟可扎3到5次
。

此外一件震动焦阳的工作
，就是本文开首让他落泪的杨光的经验
。这些经验，让他感应感染做这个工作是居心义的  。

6月15日，将来考验考验室 ，焦阳迎来了两位出格的主人——吕京阳和王宠。二人都是视障人士，善于表达的吕京阳是北京交通除夜学软件工程专业三年级本科生，话不多的王宠是北京师范除夜学经历技能专业硕士生
。

桌上摆放了两台近似上世纪90年代游戏机的设备 ，那等于瞽者筹算机，个中一台是原型机，此外一台是最新的第五代版本。王宠摸着原型机陈述焦阳，这台设备的汉盲及时翻译有了偏向，有几个盲文没展示出来。这多是因为原型机遭受重度测试 ，有些点位干戈不良了。吕京阳则要测试他编程的一项工作 ，让这台筹算机携带的摄像头主动辨认瞽者的画图创作。

真实，他们是这里的常客，也是新介入的斥地团队成员。跟他们一同介入这个项目测试的，另有清华硕士生章越闻。

吕京阳在思虑本身将来的展开
 。他要扬长避短，把本身的禀赋和优势阐扬到最除夜
。旧年寒假，除夜二的吕京阳主动写邮件给徐迎庆 ，展示本身对瞽者筹算机感欢欣乐乐喜悦爱好 。就多么 ，他掠夺到了操练机会。

王宠有一点点目力
，站在目力表后方两三米处，他能看到第一排字母。这反而给了他此外一种优势，既能用放除夜镜看到一些图象 ，又能读懂盲文
，他成了两个全国的桥梁 。他如今在做盲文翻译这类与经历场景连络的项目。

在独霸筹算机的时辰 ，瞽者可以借助读屏软件 ，听到外放播报的文字，但他们没法从电子屏幕上的图形获守信息。焦阳说 ，帮他们把每张图都打印到专门的盲文纸上，较着是不睬论的，专门为瞽者计整洁款筹算机就成了一个措置路途。

▲焦阳和章越闻（左一）。

“感官代偿”

瞽者筹算机筹划的绳尺是感官代偿 ，也就是把视觉图形信息转换为听觉信息和触觉信息
。

将来考验考验室里出世的瞽者筹算机，其学术称呼是除夜幅面触觉图形展示终端，它跟深化筹算机无缺不一样。

设备具有7200个可起落触点
，每个触点都像一个可独霸的“像素” ，能把屏幕上的图象转化为手指下起伏的纹理 。此外，设备上面另有一个触觉带领环
，可以在点阵上方往肆意地二维滑动，这就相当于有人在牵引瞽者的手往摸一幅图象 。

触觉带领环的创意源自研究者带瞽者进修图形时的体验 。11年前，焦阳需求牵引瞽者的手往摸 ，同时还要不时陈述他摸到的是这个图象中的某某部分 
。

不单如斯，他们还完成了瞽者筹算机的静态图形展示，多么就可让瞽者师长教师更好地邃晓诸如勾股定理的证实过程等宏壮场景
。他们还做了比照考验考验
，创作创造比照仅语音解释注解和语音加静态触觉图象 ，新技能副手下的瞽者进修终局较着高于此外两组 。接上往，他们为盲校斥地了一整套高中二年级教材
，如今已累计试用了100多个课时。

为了更逼真地模仿深化黉舍的教室 ，他们还考验考验把教员的板书拍上往，然后转换为可触摸的图形
，多么师长教师们在听到沙沙板书声的同时，还能触摸到教员钞缮的物理公式、数学公式。

模仿微信，他们斥地了一个TacChat。吕京阳介入斥地的主动辨认创作下场就是个中的一部分。该创意来自北京市瞽者黉舍的师长教师，他们说 ：“你们得做一个让我们也能比划比划的（琐细） 。”

此前 ，瞽者不时是主动领受束员给到的图形信息
。这就启发了章越闻，本来瞽者也是有创作需求的
，他们也想表达 ，想发同伙圈分享创作到。

如今这台设备便可以完成这个欲看
。当瞽者用3D绘画笔完成创作，摄像头就会主动摄影并表示在瞽者筹算机上，以便分享。其间  ，吕京阳不单主导了编程工作，还介入了良多与瞽者的访谈，抓住了良多别人没法捕获到的细节。

2025年 ，章越闻把这个下场带到全球人机交互局限的***国际学术会议会议展示后，良多研究者都说之前无缺没思虑过这个问题 ，而清华的这个工作带来良多启发。

焦阳另有一个弘愿，希看自创李飞飞昔时做的ImageNet，构建全球首个百万级的触觉图象数据库 。假照完成的话，便可以想象 ：每当瞽者走到一个中心摄影 ，设备就会将其转换为触觉图形 ，他们便可以“看到”更丰富的全国。

17年接力

这个项方针缘起是2009年 。

事前的徐迎庆仍是微软亚洲研究院的主管研究员。他创作创造
，瞽者只能经由过程博物馆的语音引见体味展品信息，那么能不克不及让展品用可触摸的编制展示出来呢？

▲从左到右：左二为龚江涛 ，中心为徐迎庆 ，右二为焦阳。

是以 ，徐迎庆就与清华除夜学美术学院传授鲁晓波、筹算机学院传授史元春等人连络带领硕士生江宁等人，开启了针对视障人士的触觉图象终端研究 。

他们很快创作创造，逛博物馆只是瞽者需求中的牛之一毛，他们在理论全国中四处都要用到图象辨认。

焦阳是2013年离开清华的，他是徐迎庆的第一个博士生。事前江宁已卒业，焦阳面对的，只需一个“手搓”的瞽者筹算机定见模型 。

焦阳于北京邮电除夜学掉落踪掉落踪电子信息科学与技能学士学位
 ，并在英国南安普顿除夜学拿了无线通信硕士学位 ，此后又在财富界工作了三年 ，筹算机局限的软件和硬件他都掌控 ，搭电路更是层见迭出，这些布景恰是徐迎庆需求的 。

在博士一年级上课的时辰 ，徐迎庆引见说 ：“我有个工作，但没做完
 ，也就刚开了个头
，然后想延续做下往 
。”这让焦阳产生发火了稀少欢欣乐乐喜悦爱好。

做这件幻想在不随便，起次要邃晓瞽者的全国。

焦阳担当的是软件和硬件的筹划，需求措置良多问题 。比如，硬件方面：甚么样的财富筹划、外不美不雅不雅不雅不雅不雅不雅筹划对瞽者更亲善 ，它的高度为若干很多若干良多若干很多若干良多若干很多若干？它的触觉展示幅面尺寸若干很多若干良多若干很多若干良多若干很多若干？按键若何放才契合瞽者的习惯？软件方面：采取甚么样的交互编制？触觉和语音的交互若何独霸 ？

焦阳在印制电路板上面垫一层海绵 ，然后用除夜头针扎点
，等扎出一片树叶或一朵花，再让瞽者来摸 。最初的筹划就是这么原始。

跟焦阳不合年进学的博士生龚江涛担当偏疼理 、瞽者认知相干的工作 ，他们经常一同往盲校调研 。

17年来 ，该项目半途不竭有人离开又有人进进，焦阳是不时作古守的阿谁 。

焦阳于2017年掉落踪掉落踪清华除夜学筹划学博士学位，他也是清华除夜学精细博士论文掉落踪掉落踪者。在这里延续完成三年博士后工作此后 ，他留上往担当这个项方针鞭挞。

焦阳还担当清华新雅书院的院长助理、班主任 ，他鼓舞鼓舞新雅书院的本科生介入出往，辅佐瞽者往邃晓各类别致的事物。章越闻就是从头雅书院卒业后，介入瞽者筹算机项方针 。

▲瞽者筹算机原型。图源 ：清华除夜学

经久主义

徐迎庆不时秉承的理念是，人与人的天资差距真实不除夜，但假定能在一件事上对立十年 ，便足以令人服气，便能成为该局限具有话语权的专家。

焦阳恰是这个理念的践行者。最早斥地原型机的时辰，进度很慢，幻想下场瞽者筹算机是一个宏壮的琐细 。仅仅为体味决“顶起和锁定触点的电磁驱动偏疼轮翻转”的工作，焦阳就破钞了两三年的时分，到2025年才兼并艰苦 。

这个赛道过于小众 。对瞽者筹算机
，国际鲜有同类团队经久投进这一标的方针 。国外如德国 、日本有近似产品上市，但与清华的产品比照
，不单分辨率较低且价值昂扬。

既然原型机已跑通了，徐迎庆团队没有止步于跟瞽者黉舍合作
，而是在几年前就与昆山市合作并引进投资，举办了产品市场化的考验考验。

瞽者是不想让本身不时被出格对待的。王宠的微信签名写道：假定只需深化的志向，和单环有甚么分辨？他笑着诠释 ，这是一个数学环论里的梗。数学上的单环只需深化志向，瞽者的人生不该是狭隘的 。

秉承着多么的理念，焦阳帮瞽者女孩小涵完成了网购
。瞽者的网购 ，往常深化只能靠听产品的文字诠释，多么的网购就相当于“开盲盒”。瞽者筹算功可以让她经由过程触摸分辨哪个是高水杯、哪个是咖啡杯、哪个是马克杯 。往常深化买对象要三四特别很是钟
，此次她一摸，一分钟就可以找到她想要的商品。当拿到杯子的时辰，她出格冲动 ：“历来没有想过本身能在网上买对象，并且还能本身挑。”

在焦阳眼中 ，大年夜师都是齐截的
。不凡是杨光，当焦阳聘请他来测试时，杨光就会泄漏健谈的赋性，一开口就停不上往 ，这时辰辰焦阳就会赶忙让他打住。他们已成了好同伙 ，没那么多顾忌 。

多年前，杨光冒作古记住色彩和外形，因为他晓得本身终将损掉落踪落往视觉。如今，小涵已可以经由过程触摸，在网上遴选本身快活喜悦爱好的商品 。徐迎庆团队花了17年 ，试图用此外一种编制，辅佐瞽者把那些曾远往的外形和图象一点一点带归来。

*文中图片除声明外，均由受访者供给 。

 出格声明：本文转载仅仅是出于撒播信息的需求 ，真实不虞味着代表本网站不雅不雅不雅不雅不雅不雅不美不雅不雅不雅不雅念或证实其内容的真实性；如其他媒体、网站或小我从本网站转载独霸，须保管本网站注明的“本源”，并自卑大年夜大年夜大年夜版权等功令义务；作者假定不盼看被转载或联络转载稿费等义务，请与我们联络。