(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074787 7.1 (22)申请日 2022.06.29 (71)申请人 扬州航盛科技有限公司 地址 225000 江苏省扬州市邗江区经济开 发区扬子江中路186号智谷科技大厦A 幢6-7层 (72)发明人 徐武龙　杨洪坪　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东 (51)Int.Cl. G10L 15/22(2006.01) G06F 9/451(2018.01) (54)发明名称 一种车载多 模交互方法 (57)摘要 本发明公开了车载智能控制领域内的一种 车载多模交互方法， 步骤1， 用户打开应用程序页 面； 步骤2， 无障碍服务应用监听应用程序页面变 化； 步骤3， 用户下达语音指令； 步骤4， 无障碍服 务应用与应用程序进行交互应用； 主机中新增无 障碍服务应用， 无障碍服务应用负责监听应用程 序页面元素变化和执行模拟点击操作， 语音识别 应用将语音指令派发给到无障碍服务应用， 无障 碍服务应用找到匹配语音指令的描述内容， 并检 索当前页面元素中是否存在对应的描述内容， 如 果查找到则执行点击事件， 帮助主机厂在交互应 用页面显示场景时定义一套新的交互方式从而 减少应用间的交互接口， 且这种方案能减少语音 识别应用接口联调适配 工作。 权利要求书1页 说明书6页 附图8页 CN 115050365 A 2022.09.13 CN 115050365 A 1.一种车 载多模交 互方法， 其特 征在于： 包括以下步骤， 步骤1， 用户打开应用程序 页面； 步骤2， 无障碍服 务应用监听应用程序 页面变化； 步骤3， 用户下达语音指令； 步骤4， 无障碍服 务应用与应用程序进行交 互应用。 2.根据权利要求1所述的一种车 载多模交 互方法， 其特 征在于： 无障碍服务应用为安卓系统下自带的无障碍服务应用， 应用程序页面为安卓系统下的 标准化页面。 3.根据权利要求2所述的一种车 载多模交 互方法， 其特 征在于： 步骤2的具体内容如下， 应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给 AccessibilityMan agerService， AccessibilityMan agerService对该信息进行读取识别 后发送给 无障碍服 务应用， 并由此监听应用程序 页面变化。 4.根据权利要求3所述的一种车 载多模交 互方法， 其特 征在于： 步骤3具体内容如下， 由用户下达针对应用程序的语音指令， 该语音指令发送给车载语音识别应用， 通过车 载语音识别应用对该语音指令进 行语音识别， 并将识别后的语音指令发送给无障碍服务应 用。 5.根据权利要求 4所述的一种车 载多模交 互方法， 其特 征在于： 步骤4的具体内容如下， 无障碍服务应用收到该语音指令并进行识别， 通过查找整个应用程序页面的视图层次 结构的信息中是否有与该语音指令内容相匹配的描述， 若找到匹配的描述， 则进行虚拟点 击， 执行语音指令； 若找不到匹配语音指令的描述， 则发出语音提示后， 由用户发出下一道 语音指令， 重复步骤3 ‑4， 直至能够查找到与最新语音指令相匹配的描述， 并进 行虚拟点击， 执行语音指令 。 6.根据权利要求5所述的一种车载多模交互方法， 其特征在于： 标准化页面在安卓系统 中都有一个布局页面， 称为layout.xml,能在布局页面中定义控件和显示位置， 在控件定义 时有一个属性android:contentDescription用来描述控件， 通过对 标准化页面控件描述进 行规范程序定义， 在无障碍服务与应用程序进行 交互应用时按照该规范化定义程序进 行需 要按照规范程序填写。 7.根据权利要求6所述的一种车 载多模交 互方法， 其特 征在于： 规范化 程序具体为： android:contentDescripti on="描述定义"。权　利　要　求　书 1/1 页 2 CN 115050365 A 2一种车载多模交互方 法 技术领域 [0001]本发明涉及汽车 软件领域内的车 载多模交 互方法。 背景技术 [0002]现有的语音交互方案是语音识别应用将车主的语音内容转换成文字指令， 然后调 用交互应用的接口进行指令操作， 这种方式需要交互应用提供大量接口， 且不同的交互应 用提供接口不一样， 同时语音识别应用需要进行大量的接口联调适配工作。 当前语音交互 方式不利于主机厂定义统一的交 互接口， 且适配工作量大。 发明内容 [0003]本发明的目的是提供一种车载多模交互方法， 在交互应用页面显示场景时定义一 套新的交 互方式从而减少应用间的交 互接口， 能减少语音识别应用接口联调适配工作。 [0004]为实现上述目的， 本发明提供了一种车载多模交互方法， 步骤1， 用户打开应用程 序页面； 步骤2， 无障碍服务应用监听应用程序页面变化； 步骤3， 用户下达语音指令；  步骤 4， 无障碍服 务应用与应用程序进行交 互应用。 [0005]与现有技术相比， 本 发明的有益效果在于， 主机中新增无障碍服务应用， 无障碍服 务应用负责监听应用程序页面元素变化和执行模拟点击操作， 语音识别应用将语音指 令派 发给到无障碍服务应用， 无障碍服务应用找到匹配语音指令的描述内容， 并检索当前页面 元素中是否存在对应的描述内容， 如果查找到则执行点击事件， 帮助主机厂在交互应用页 面显示场景时定义一套新的交互方式从而减少应用间的交互接口， 且这种方案能减少语音 识别应用接口联调适配工作。 [0006]作为本发明的进一步改进， 无障碍服务应用为安卓系统下自带的无障碍服务应 用， 应用程序页面为安卓系统下 的标准化页面； 这样可以借助成熟 的软件应用进行承载程 序之间的应用交 互， 更加方便 。 [0007]作为本发明的进一 步改进， 步骤2的具体内容如下， 应用程序页面的视图层次结构信息由sendAccessibilityEvent获取并发送给 AccessibilityMan agerService，  AccessibilityMan agerService对该信息进行读取识别 后发送给 无障碍服 务应用， 并由此监听应用程序 页面变化。 [0008]这样能够利用无障碍服务应用识别应用程序页面的层析结构信息， 进而为识别匹 配用户的语音指令做准备。 [0009]作为本发明的进一 步改进， 步骤3具体内容如下， 由用户下达针对应用程序的语音指令， 该语音指令发送给车载语音识别应用， 通 过车载语音识别应用对该语音指令进 行语音识别， 并将识别后的语音指令发送给无障碍服 务应用。 [0010]这样， 可以通过无障碍服务应用通过车载语音识别应用接收用户下达的语音指 令， 以便与监听的应用程序 页面进行交 互。说　明　书 1/6 页 3 CN 115050365 A 3