向善而生的AI助盲，让AI多一点 ，障碍少一点******

　　有人说，盲人与世界之间，相差的只是一个黎明。在浪潮信息研发人员的心中，失去视力的盲人不会陷入永夜 ，科技的进步正在力图给每一个人以光明未来 。

　　AI助盲在人工智能赛道上一直是最热门的话题之一 。以前，让失明者重见光明依靠 的是医学 的进步或“奇迹” 。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术 的爆发式突破 ，更多的失明者正在借助AI提供 的感知、理解与交互能力，以另一种方式重新“看见世界”。

　　新契机 ：多模态算法或将造福数以亿计失明者

　　科学实验表明，在人类获取的外界信息中 ，来自视觉 的占比高达70%~80% ，因此基于AI构建机器视觉系统 ，帮助视障患者拥有对外界环境 的视觉感知与视觉理解能力，无疑 是最直接有效的解决方案 。

　　一个优秀的AI助盲技术 ，需要通过智能传感、智能用户意图推理和智能信息呈现 的系统化发展 ，才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平 的单模态人工智能比如计算机视觉技术还远远不够，以“机器视觉+自然语言理解”为代表 的多模态算法的突破才是正确 的新方向和新契机。

　　多个模态 的交互可以提升AI 的感知、理解与交互能力，也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说 ，多模态算法在AI助盲领域的应用一旦成熟，将能够造福数以亿计 的失明者。据世卫组织统计 ，全球至少22亿人视力受损或失明，而我国 是世界上盲人最多的国家 ，占世界盲人总数 的18%-20%，每年新增的盲人数量甚至高达45万 。

　　大挑战 ：如何看到盲人“眼中” 的千人千面

　　AI助盲看似简单，但多模态算法依然面临重大挑战。

　　多模态智能算法，营造的 是沉浸式人机交互体验 。在该领域 ，盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一 ，这项研究已经吸引了全球数以万计的视障患者参与 ，这些患者们上传自己拍摄的图像数据和相匹配 的文本问题 ，形成了最真实 的模型训练数据集 。

　　但 是在现有技术条件下 ，盲人视觉问答任务 的精度提升面临巨大挑战 ：一方面 是盲人上传的问题类型很复杂 ，比如说分辨冰箱里 的肉类、咨询药品 的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等 。

　　另一方面 ，由于盲人 的特殊性 ，很难提取面前物体的有效特征。比如盲人在拍照时 ，经常会产生虚焦 的情况 ，可能上传 的照片 是模糊 的或者没有拍全 ，或者没拍到关键信息，这就给AI推理增加了难度 。

　　为推动相关研究，来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”，并发起全球多模态视觉问答挑战赛。挑战赛 是给定一张盲人拍摄的图片和问题，然后要求给出相应 的答案 ，解决盲人的求助。

　　另外，盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说 ，盲人逛超市，由于商品外观触感相似，很容易犯错 ，他可能会拿起一瓶醋却询问酱油的成分表，拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效，没法给出有效信息。

　　最后，针对不同盲人患者 的个性化交互服务以及算法自有 的反馈闭环机制，同样也是现阶段 的研发难点 。

　　多解法 ：浪潮信息AI助盲靶向消灭痛点

　　AI助盲哪怕形式百变 ，无一例外都 是消灭痛点，逐光而行。浪潮信息多模态算法研发团队正在推动多个领域 的AI助盲研究，只为帮助盲人“看”到愈发精彩的世界 。

　　在VizWiz官网上公布的2万份求助中，盲人最多的提问就 是想知道他们面前 的 是什么东西 ，很多情况下这些物品没法靠触觉或嗅觉来做出判断 ，例如 “这本书书名 是什么？”为此研发团队在双流多模态锚点对齐模型 的基础上 ，提出了自监督旋转多模态模型 ，通过自动修正图像角度及字符语义增强 ，结合光学字符检测识别技术解决“是什么”的问题。

　　盲人所拍摄图片模糊 、有效信息少？研发团队提出了答案驱动视觉定位与大模型图文匹配结合 的算法 ，并提出多阶段交叉训练策略，具备更充分的常识能力 ，低质量图像、残缺的信息，依然能够精准 的解答用户的求助。

　　目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点 ，在AI助盲领域斩获世界冠军两项 、亚军两项。

　　真实场景中 的盲人在口述时往往会有口误 、歧义、修辞等噪声 。为此，研发团队首次提出视觉定位文本去噪推理任务FREC ，FREC提供3万图片和超过25万的文本标注 ，囊括了口误 、歧义、主观偏差等多种噪声，还提供噪声纠错、含噪证据等可解释标签 。同时 ，该团队还构建了首个可解释去噪视觉定位模型FCTR ，噪声文本描述条件下精度较传统模型提升11个百分点 。上述研究成果已发表于ACM Multimedia 2022会议 ，该会议为国际多媒体领域最顶级会议 、也 是该领域唯一CCF推荐A类国际会议 。

　　在智能交互研究方面上 ，浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA ，同时给出首个智能体交互行为理解算法模型ARE 。该研究成果已发表于ACM Multimedia 2022会议 。该研究项目的底层技术未来可广泛应用于AI医疗诊断 、故事续写、剧情推理、危情告警 、智能政务等多模态交互推理场景 。

　　眼球虽然对温度并不敏感，但浪潮信息 的研发团队 ，却在努力让盲人能“看”到科技 的温度 ，也希望吸引更多人一起推动人工智能技术在AI助盲 、AI反诈 、AI诊疗 、AI灾情预警等更多场景中的落地。有AI无碍，跨越山海。科技的伟大之处不仅仅在于改变世界，更重要 的 是如何造福人类 ，让更多的不可能变成可能 。当科技成为人 的延伸，当AI充满人性光辉，我们终将在瞬息万变 的科技浪潮中感受到更加细腻温柔的善意 ，见证着更加光明宏大的远方。

【学院要闻】你“预约点单” 我“沉浸授课”——吉林杨靖宇干部学院积极开展党 的二十大精神宣传培训******

　　“如果说，我们今天 的物质富足 、精神富有 是社会主义现代化 的根本要求 。那么不断加强理想信念教育 ，就会让每个人都成为弘扬优秀文化 、坚定文化自信 的主体 。” ；

　　“谈起东北抗联 ，想必大家脑海中立马浮现出一个名字——‘杨靖宇’ 。英雄是民族最闪亮 的坐标 ，在新时代 ，我们就 是要宣传 、弘扬杨靖宇精神与东北抗联精神，发挥红色文化引领作用 ，为全省乃至全国党员干部培根铸魂、增劲赋能 ，奋力谱写红色教育培训事业高质量发展新篇章。”；

　　“我们的学习书苑通过主题文化墙、核心研读区 、教研沙龙区、学习大讲堂等沉浸式教学功能，围绕推动习近平新时代中国特色社会主义思想入脑入心、走深走实，深刻领会执政理念 ，实现课与课的联通、教与学 的互动、知与学 的融合 ，进一步促进党的创新理论进课堂 、进教材、进头脑 ，成为学院‘第一课堂’ 。”……

　　一段时间以来 ，吉林杨靖宇干部学院将学习宣传贯彻党的二十大精神融入到干部教育培训中，精心设置课程，采取你“预约点单” ，我“沉浸授课”方式 ，从多个维度积极开展党的二十大精神宣传培训。

　　与此同时，全面建设社会主义现代化国家的行动纲领、牢牢把握习近平新时代中国特色社会主义思想 的世界观和方法论、“数说”二十大等一系列以精神之光照亮奋斗之路激发复兴之志的党的二十大专题课程和精品微课程 ，也将陆续“走心”“出新” 。

　　“来吉林杨靖宇干部学院参加培训真 的是一次难忘 的学习经历 ，在这里，我深学细悟党 的二十大精神 ，聆听革命先烈的英雄事迹 ，感悟到了东北抗联精神和杨靖宇精神。作为党员干部 ，要以本次培训为契机，大力弘扬东北抗联精神和杨靖宇精神 ，不断提升综合素质，以能担重任、善谋大局 、完成使命为目标方向 ，在奋进新征程中体现政法干部的使命担当 。”听着党 的二十大报告中描绘 的宏伟蓝图 、东北抗联精神的伟大意义一一展开 ，参加辽源市政法系统领导干部政治素养提升班 的学员朱建勇 ，情不自禁鼓起掌来。

　　学习形式 的多种多样，课堂教学 的有声有色 ，学员听讲的有滋有味，让一个个宣讲学习现场气氛十分热烈 。

　　“通过这些天的学习 ，让我学有所悟 ，学有所得 ，收获颇丰 。专题教学《全面建设社会主义现代国家 的行动纲领——学习领会党的二十大精神》，授课教师深入浅出地讲解 ，使我深刻领会党 的二十大 的重大政治意义 、历史意义和实践意义 ，进一步夯实理论根基、提高政治站位 。通过专题教学《东北抗联抗日斗争的启示》 ，令我感悟到 ：以杨靖宇将军为代表的东北抗联将士们勇赴国难 的爱国情怀、绝对忠诚的理想信念 、战天斗地 的艰苦作风 、团结战斗 的大局观念。在今后工作中，我将牢记新时代共产党人的初心使命，继承和发扬东北抗联精神和杨靖宇精神，在本职工作上取得新突破、迈上新台阶 。”集安市新任职乡科级领导干部综合素质能力提升培训班学员郭玉泉感慨道 。

　　纸上谈兵不如严抓落实 。《吉林省党员干部教育培训“铸魂赋能”工程四项配套行动计划》下发以来 ，吉林杨靖宇干部学院紧紧围绕党 的二十大主题，以组织一场集中收看、召开一次传达会议 、开展一次理论学习 、举办一次高端讲坛、实施一轮专题培训 、搞好一次基层宣讲等“六个一”形式 ，在全院范围内组织开展好党的二十大精神学习宣传系列活动，聚力做二十大报告 的学习先行者 、理论宣传者、践行示范者。

　　在此基础上，围绕二十大精神谋划《吉林杨靖宇干部学院2023年课程设置规划》，迅速推出学习贯彻 的教研成果。将党的二十大精神融入学习书苑第一课堂教学 、沉浸式情景教学馆和红色吉林主题教室建设、红色资源系列现场教学点打造提升等学院重点工作中，将培训线路进一步向全省“三地三摇篮”红色标识相关地市拓展延伸 ，满足学员体验式教学培训需求 ，不断提升学院红色教育品牌 的影响力和知名度 。

　　“我们要先学一步、深学一层、多悟一分 ，把党 的二十大精神落实到教学培训、理论研究、队伍建设和管理服务各方面全过程 。深入挖掘东北抗联精神和红色吉林精神 的时代价值 ，讲好党 的故事、革命 的故事、英雄 的故事，为推动吉林振兴取得新突破激发前进动能 、汇聚精神力量 。”吉林杨靖宇干部学院常务副院长韩冬言之凿凿。

　　文字来源 ：隋二龙

　　图片来源：信息技术部

　　主审 | 曲相东

　　编审 | 孙吉麟

　　编辑 | 孙晓亮

　　李 坤

　　校对 | 于 淼