1. 结果整理(填充17UP评测结果的表格)
a) 18年三月之后的结果为有效数据
b) 评测结果异常(结果为空)的数据可以查看结果日志,如果数据条数较少一般是正常现象,可整体评测完成后删除该条结果,并做记录。如果评测数据量大,集中出现没有结果的情况,可报给申昊检查问题,并记录进入当天的评测进度及问题汇总邮件中。
c) 部分分散开的评测结果可使用评测后台:系统配置中的合并评测结果选项进行合并
d) 对于合并的结果进行查看去重,可将整个页面复制到notepad++中 筛选出评测集,在Excel中去重处理,目前需要在后台手动删除重复的评测数据,如重复评测集结果不同,在没有修改过数据统计方式的情况下以时间靠前的一个为准,(去重及筛选未完成的评测集的页面需求已提交申昊,实现后会更方便一些)
e) 可从附件中的js文件中筛选当前语言全量评测集,进行查漏补缺,有遗漏的进行补充评测,结果与之前的进行合并计算,除无结果的评测集外评测完成后补充进入17UP的评测结果表格中
2. 评测
a) 评测竞品:
Swiftkey、Gboard、Facemoji、TouchPal、Cheetah(Typany 、KiKa、BaiduIME、)
b) 评测语言:
表格中未进行填充的语种(后期如有增加需进行添加)
c) 键盘配置
对于没有进行键盘配置的竞品对应的语种,需要进行键盘配置,配置任务以评测正常运行为目的及结束点
d) 评测运行
长时间未评测的输入法,建议评测前进行键位检查的评测检查
e) 评测类型
评测优先进行UP评测集的评测,对于没有UP评测集的语言进行高频句子评测集评测,都没有的可与我联系
- 评测计划、进度及问题公示
a) 根据当前的任务指定评测计划
评测是长期任务,穿插在日常工作中即可,根据当前评测任务指定合理的评测计划,有项目任务时,建议每天评测时间不超过1小时,无项目任务时可适当增加安排评测。
b) 每天公示当前的评测进度,包括评测竞品、对应的评测语言、当前语言的评测类型、整体进度(如12/50)、问题
每日进度可填写当天完成的任务及进度,附件添加整体进度表格
问题描述,描写当天评测过程中的所有问题:工具、评测集、其他等,并标注当前处理进度
4. 问题处理:
工具相关的问题可联系评测工具测试开发处理(当前为申昊2018/7/16)
有其他问题可评测项目负责人联系处理(当前为张志洋 2018/7/16)
5. 附件:
1701UP文件存放当前评测的结果
Data.js 可获取当前所有语言评测集文件集合
Csv 文件可用来查看各个语言所对应的语言简码 如英文:en
6. 名词解释:
UP :Uesrprofile 评测集类型简称,为用户真是输入数据
高频句子:采用人际交往中使用最高频的句子,翻译成各种语言后制成的评测集,理想化评测集,参考意义较UP 低,无法评测出纠错相关结果
纠错评测集:专门用于对纠错相关指标进行评测的数据集
7. 邮件公示规范:
a) 评测进度
标题:【进度公示】Typany Android 效果评测
收件人:评测项目负责人(当前为zhangzhiyang)
抄送:gimeqa邮件组
内容:当日评测进度,如没有进度,给出没有进度的原因及当前进度,附件添加整体进度
负责评测任务的同学每周五下班前给出下周的评测计划,每日对进度进行汇总总结发送邮件公示
b) 评测计划:
标题:【评测计划】 效果评测
收件人:评测项目负责人(当前为zhangzhiyang)
抄送:gimeqa邮件组
内容:下周评测计划