今天，谷歌发布了语音访问的更新版本，用户可以通过语音命令控制安卓设备。它利用机器学习模型，根据UI截图自动检测屏幕上的图标，从而可以判断图像、图标等元素是否有辅助功能标签或提供给安卓辅助功能服务的标签。

可访问性标签允许安卓的可访问性服务一次只引用一个屏幕元素，这样用户就可以知道何时在用户界面中循环。不幸的是，一些元素缺少标签，这是新的语音访问旨在解决的挑战。

新语音接入(5.0版)中基于视觉的对象检测模型IconNet可以检测31种不同的图标类型，很快将扩展到70多种类型。正如谷歌在博文中解释的那样，IconNet基于新颖的CenterNet架构，该架构从输入图像中提取应用程序图标，然后预测它们的位置和大小。通过语音访问，用户可以通过图标的名称来引用图标网检测到的图标，如“点击‘菜单’”。

为了训练IconNet，谷歌工程师收集并标记了70多万张应用程序截图，利用启发式、辅助模型和数据增强技术简化了流程，简化了稀有图标，并用不常用的图标丰富了现有截图。谷歌软件工程师Gilles Baechler和Srinivas Sunkara在他们的博客中写道：“IconNet经过优化，可以在移动环境下的设备上运行，并且体积小巧，推理时间快，可以实现无缝的用户体验。”

版权说明： 本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

标签：