(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211248004.2 (22)申请日 2022.10.12 (71)申请人 广州宏天软件股份有限公司 地址 510000 广东省广州市海珠区琶洲大 道东8号1209房 (72)发明人 何一帆　陈林　牟红兵　鲁聪　 (74)专利代理 机构 广州海藻专利代理事务所 (普通合伙) 44386 专利代理师 郑凤姣 (51)Int.Cl. G06F 8/38(2018.01) G06F 3/04817(2022.01) G06F 3/0485(2022.01) G06F 40/289(2020.01) G06F 40/30(2020.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种表单交 互图形展示与选择方法 (57)摘要 本申请提供一种表单交互图形展示与选择 方法， 包括： 通过网络获取大量前端通用表单图 形及描述文本， 构建样本数据集； 对描述文本进 行语义简化； 对样本数据集进行预处理， 筛选出 能够生成简短而明确的语义的图形数据作为候 选训练集； 对文本对应的图形进行组合， 实现通 过文本输 出表单图形； 基于界面需求挑选生成的 图形并排序； 预测用户使用一个图形后， 下一次 拖拽的图形， 进行闪动， 减少图形文字描述； 获取 用户经常拖拽又替换， 错误使用的歧义图形， 进 行图形替换； 对用户进行使用习惯聚类， 对能够 理解图形意 义的用户， 展示 不同图标。 权利要求书4页 说明书9页 附图2页 CN 115525281 A 2022.12.27 CN 115525281 A 1.一种表单交 互图形展示与选择 方法， 其特 征在于， 所述方法包括： 通过网络获取大量前端通用表单图形及描述文本， 构建样本数据集； 对描述文本进行 语义简化； 对样本数据集进行预处理， 筛选出能够生成简短而明确的语义的图形数据作为 候选训练集； 对文本对应的图形进行 组合， 实现通过文本输出表单图形， 所述对文本对应的 图形进行组合， 实现通过文本输出表单图形， 具体包括： 根据候选训练集中的描述文本输出 表单图形， 通过候选训练集构建视觉词袋模型， 实现输入表单图形内容输出表单图形； 基于 界面需求挑选生 成的图形并排序， 所述基于界面需求挑选生成的图形并排序， 具体包括： 获 取界面功能性需求， 根据需求对图形排序， 获取界面美观性需求， 根据需求对图形排序； 预 测用户使用一个图形后， 下一次拖拽的图形， 进行闪动， 减少图形文字描述， 所述预测用户 使用一个图形后， 下一次拖拽的图形， 进 行闪动， 减少图形文字描述， 具体包括： 根据用户操 作习惯预测下一次拖拽的图形， 根据用户鼠标浮动区域预测下一次拖拽的图形， 根据用户 输入文本预测下一次拖拽的图形， 并进 行自动生成和闪动； 获取用户经常拖拽又替换， 错误 使用的歧义图形， 进行图形替换； 对用户进行使用习惯聚类， 对能够理解图形意义的用户， 展示不同图标。 2.根据权利要求1所述的方法， 其中， 所述通过网络获取大量前端通用表单图形及描述 文本， 构建样本数据集， 包括: 通过爬虫获取前端通用表单图形及描述文本， 并构建样本数据集； 首先， 获取网站根目 录； 然后， 使用hasRootIcon函数识别该网站中是否包括表单图形文件； 若hasRootIcon函数 存在返回值， 则获取表单图形的下载地址及描述文本； 若hasRootIcon函数没有返回值， 则 无法获取表单图形 的下载地址及描述文本； 将下载 的表单图形及描述文本存入数据库中， 并对每个表单图形进行编号， 作为样本数据集。 3.根据权利要求1所述的方法， 其中， 所述对描述文本进行语义简化， 包括: 从数据库中提取样本数据集中包含的所有描述文本， 利用jieba分词器对所有描述文 本进行分词操作， 将长文本拆分成词语； 对拆分后的词语进 行数据清洗， 包括剔除符号和停 用词； 将经过数据清洗后的词语输入word2vec模型中， 输出每个词语的词向量； 构建 seq2seq模型， 将所得词向量输入seq2seq模 型进行语义简化； 其中seq2seq模 型由编码器和 解码器构成， 输入的词向量首先通过编 码器进行编 码， 得到文本向量， 然后经过解码 器计算 后得到简化后的文本结果； 将所有描述文本替换为简化后的描述文本， 同时更新样本数据 集中的内容。 4.根据权利要求1所述的方法， 其中， 所述对样本数据集进行预处理， 筛选出能够生成 简短而明确的语义的图形 数据作为 候选训练集， 包括: 从更新后的样本数据集中加载数据， 包括编号、 表单图形、 描述文本； 首先获取所有描 述文本的长度， 将所有描述文本的长度的平均值作为第一阈值； 依 次比较所有描述文本的 字符串长度和第一阈值的大小； 若所述描述文本的字符串长度小于或等于第一阈值， 则将 该描述文本标记为具有简短而明确的语义； 若所述描述文本的字符串长度大于第一阈值， 则将该描述文本标记为简化后仍不符合简短明确的要求； 将所有标记为具有简短而明确的 语义的描述文本提取出来， 记录其编号， 通过编号从数据库中导出所有 数据， 构成候选训练 集。 5.根据权利要求1所述的方法， 其中， 所述对文本对应的图形进行组合， 实现通过文本权　利　要　求　书 1/4 页 2 CN 115525281 A 2输出表单图形， 包括: 对文本对应的图形进行组合， 实现通过文本输出表单图形； 实现通过文本输出表单图 形包括两种 方式： 第一种方法是根据候选训练集中的描述文本输出表单图形， 第二种 方法 是通过候选训练集构建视觉词袋模型， 实现输入表单图形内容输出表单图形； 当用户输入 文本时首先采用描述文本匹配表单图形 的方法， 输出相对应的表单图形后， 监听用户的点 击行为， 获取所有用户在1分钟内的平均点击次数并作为第二阈值， 当用户的点击行为次数 大于或等于第二阈值则存储用户最后点击的表单图形编号； 若所述表单图形编号不为空， 则操作结束； 若 所述表单图形编号为空， 则弹出提示 ‘建议输入图形内容 ’， 并采用视觉词袋 模型输出表单图形； 包括： 根据候选训练集中的描述文本输出表单图形； 通过候选训练集构 建视觉词袋模型， 实现输入表单图形内容输出表单图形； 所述根据候选训练集中的描述文本 输出表单图形， 具体包括: 从数据库中加载候选训练集中的编号、 表单图形、 描述文本， 并获取用户输入的文本； 计算候选训练集中的描述文本与用户输入的文本的相似度； 计算相似度时获取两个文本的 对应的编码， 然后逐一对比每层编码是否相等； 对每层编码分配不同权重， 记为w1、 w2、 w3、 w4、 w5、 w6， 将所有编码相等层的权重累加起来记为w0， 计算相似度值S； 依次计算选训练集 中的描述文本与用户输入的文本的相似度值S， 并将相似度值S的平均值作为第三阈值， 当 相似度值大于第三阈值， 则 说明用户输入的文本和候选训练集中的描述文本词义相似， 此 时应输出与候选训练集中描述文本相对应的表单图形； 所述通过候选训练集构建视觉词袋模型， 实现输入表单图形内容输出表单图形， 具体 包括: 从数据库中获取候选训练集中的所有表单图形， 提取每个表单图形的特征， 建立表单 图形特征库； 然后通过K ‑means算法对表单图形特征库聚类， 将生 成的聚类中心作为视觉单 词， 所有的视觉单词构成一个视觉词典， 用视觉词典标识所有的表单图形； 最后获取用户输 入的文本， 遍历所有视觉词典并计算其与用户输入的文本的相似度， 筛选出相似度最高的 视觉单词， 并输出 该视觉单词所包 含的所有表单图形。 6.根据权利要求1所述的方法， 其中， 所述基于界面需求挑选生成的图形并排序， 包括: 获取视觉词典中所有的视觉单词， 根据视觉单词对图形的功能进行分类， 并存入数据 库； 在用户还没有进行表单图形选择 的操作行为时， 通过获取界面功 能性需求和图形功 能 并对图形进行排序， 图形功能与界面功 能重合越多的排序越靠前； 当用户发生了操作行为 时， 获取界面美观性需求， 根据需求对图形进 行排序； 包括： 获取界面功能性需求， 根据需求 对图形排序； 获取界面美观性需求， 根据需求对图形排序； 所述获取界面功能性需求， 根据需求对图形排序， 具体包括: 获取用户界面功能， 从数据库中提取表单图形编号及图形功能； 从所述图形功能中筛 选出包含用户界面功能数据对应的表单图形编号， 根据字符串依次匹配图形功能和用户界 面的所有功能， 统计重合的次数； 根据次数大小对图形进行排序， 次数大则排在前面， 次数 小则在后面； 根据表单图形编号从数据库中加载图形进行排序， 若两图形功 能相等次数相 同则按照 编号排序； 所述获取界面美观性需求， 根据需求对图形排序， 具体包括: 获取候选训练集中所有图形的LAB值； 首先对图形进行预处理， 将图形大小统一变换至权　利　要　求　书 2/4 页 3 CN 115525281 A 3