一个数据分析报告的框架
· 项目背景:
- 为了收集到学生对于老师和课节准确的评价,更好地了解老师的教学效果,学生对于老师教学的满意度,从而更好地评估老师的教学质量,更好地服务学生和家长,让学生家长对我们满意。产品部门联合教务教研部门,讨论出学生评价的内容和维度,以及制定出上线后运营部门的跟踪策略和安排。
- 为了建立一个完善的师生评价体系,建立老师和学生的完整个人档案,将用户的每一次反馈,都记录下来。
· 项目进度: 已完结
· 名词解释:关键性指标定义是什么,为什么这么定义
· 课节总量:当天课节状态为“结束”的课节总数
· 出现评价页面的课节数:课节总量中的课节,下课后出现了评价弹窗的课节数
· 评价数量:课节总量中提交了评价的课节数
· 评价提交率:提交数量/课节总量
· 心情不好占比:学生反馈中,心情不好的评价/所有的评价数
· 没听懂占比:学生反馈中,没听懂的评价/所有的评价数
· 不喜欢老师占比:试听课学生反馈中,不喜欢老师的评价/所有试听课的评价数
· 数据获取方法:如何取样,怎么获取到的数据,会有哪些问题
· 数据概览:重要指标的趋势,变化情况,重要拐点成因解释
· 数据拆分:根据需要拆分不同的维度,作为细节补充
第一个分式表示:下课后出现评价页面的课节数中,有多少节是学生看到后就点击提交了的,可以理解为 学生提交评价的意愿,这个数据统计下来是95%,可以看出学生对于提交评价是不排斥的,但凡看到了评价页面,基本都会提交评价。
这个数据,需要产品在页面设计上下功夫。
用户完成的任务量要轻,页面内容数量不能多,不能让用户看到页面就头疼,不想评价。
页面内容要易懂,不需要用户反复思考,反复纠结抉择,而是看到问题就知道答案。
页面设计要简单直观,用户做出的行为操作,要有直观的反馈,比如用表情来直观表达用户的选择。
第二个分式表示:当天结束的课程中,下了课成功弹出评价弹窗的课节数,可以理解为 学生按照预想的下课流程操作到评价页面的概率,这个数据统计下来是75%,也就是说,有25% 的课节,下了课时没有出现评价弹窗的。
那么,影响评价弹窗出现的因素有哪些呢?
是否所有的用户都升级到了出现评价弹窗的版本?没有升级的用户所上的课,占比有多少?
评价弹窗的页面加载,是否都加载成功,有多少占比的课节数,是评价弹窗没有加载成功的?
学生是否按照产品预想的路径操作到评价界面,也就是说,显示是否下了课就按手机Home键离开了App?
以上问题的验证数据如下:
目前Android用户已全部升级,iOS的用户中约有2%的用户,尚未升级到要求版本,。鉴于iOS版本的安装包占比约为62%,可以算出目前尚未升级的用户有1.2%。这些用户在统计时间段里,所上课节的占比约为5%。
对于评价页面加载失败的占比,目前尚无数据可以获取,因为当初开发的时候,没有安排页面加载成功率、页面停留时长等数据的统计埋点。但根据100.com的其他web页面的加载数据,大致可以粗糙估计,评价页面的加载失败率在1%左右。
对于学生是否按照产品预设的步骤进行操作,目前尚无数据支撑。但可从第二个分式的最终数据反推出,这部分的学生下课不按照套路出牌的课节数占比为19%。若想教育和培养这部分学生的下课操作习惯,可以从两个角度入手:
a) 下课时,明确告知用户,下课成功后会出现本节课的评价弹窗,请用户评价。给用户一个心理预期,提前告知用户接下来会出现的页面。当然如果有用户本来就不愿意提交评价,那么提前告知他接下来有评价需要提交,没有任何益处。鉴于我们目前暂时没有学生的积分运营体系,对于学生提交评价的行为,没有激励和奖励策略,所以有用户不愿意提交,也只能随他去了。
b) 本次下课,学生直接按Home键离开了App,我们无法挽留,只能在下一次用户打开App的时候,给他再次弹窗,提示用户提交评价。而这其中,则需要制定一个评价弹窗的出现策略:什么时候弹,多久弹一次,什么时候就不弹了?鉴于人脑的记忆力都有一个时效性,为了评价内容的真实准确有效,我们设定:某节课下课后24小时内,只要用户尚未提交评价,则每次用户打开App,都弹出评价页面,请求评价,直到24小时后打开不再弹出。但是这其中,又需要考虑一个因素,那就是学生打开我们的App的频率有多高?某节课下课后,24小时内再次打开App的占比有多大?不同时期,学生排课的间隔时间不一样,比如假期,学生基本每天都会有课,那么,24小时内打开App的概率会升高很多,那么评价页面的出现概率也就随之上升很多。如果是平时, 2/3的学生7天上1节,1/3的学生7天上2节。也就是说,2/3的学生中,如果这节课下课没有走到评价那一步,24小时内又没有打开App,看到评价弹窗的话,那么他也许始终都没见过评价弹窗呢。那么这部分的课节数占比多少呢?2/3学生数1节课+1/3学生数2节课=4/3*学生数 节课,每周只上一节课的那2/3的学生说上的课节数,占一半的课节数。
如果扩大时间范围,出现评价页面的课节数占比会上升,但是数据的真实性会降低。但优先级上,真实性要高于提交率,所以不可以为了提高提交率而降低真实性。
· 结论汇总:总的来说,在评价数据真实准确的前提下,目前的评价提交率为76%,是符合预期的,也是正常的,基本没有多少上升空间了。
· 后续改进:
- 开发过程中,有的数据没有及时埋点,导致后续在分析数据的时候,发现数据获取不到。
根本问题在于:在做需求方案的时候,没有明确的数据目标,比如提升什么,降低什么;其次,针对数据目标,拆解数据指标,分析影响因素有哪些,这些因素分别需要哪些数据支撑,这些数据是否现有?没有的话,需要在开发过程中提给开发埋点需求。
- 运营:
教务部门,针对每一节课后学生评价中的负面选项,对用户专门回访,鼓励用户积极反馈真实上课情况,详细了解学生这节课的学习情况。如果本节课没有听懂,教务班主任会及时向老师反馈,根据学生或家长的要求,与老师沟通,要求老师合理安排课程内容。
教研部门,对于家长口头反馈给班主任的或者是学生在课后评价的不满意课节,安排专人观看录播视频,从5个维度考核老师的教学质量。
· 附件:详细数据