策略产品工作流程包括发现问题、撰写需求和发起项目、跟进开发评估、上线后效果回归开启新的产品循环四个阶段。
一、发现问题的途径
(一)用户反馈收集
用户反馈的基本流程
1.收集用户问题,通过自有渠道和外部渠道
2.用户反馈分析
数据处理:清洗,标注。浏览了解数据内容,删除无效数据。对反馈问题进行标注,理解背后反应的问题。标注类型有:不是问题,用户的抱怨,在产品当前的服务范围外;已知问题,优先级不高,或已在项目计划中还未上线的问题;未知问题,新版本问题或之前问题没发现的老问题,如果无法判断原因,需要抽取当时具体操作路径,或进行用户回访定位具体问题。
问题整理:分析,汇总。已知问题,按照原计划推进;未知问题,进行分析定位合并,进行下一步产品机划。
收集问题比较随机,有局限性很难反应产品现状的全局。虽然能代表一类问题,但是问题的影响面和优先级比较难判断。
3.整理撰写需求
4.落实产品改进
每一个反馈的背后都是一个真实用户的情感表达,以敬畏心态深入分析每一个问题
二、系统监控
(一)定义
监控是一种针对相对文档的产品,通过对数字性指标的收集和观察,自动,实时发现问题的有效手段。
(二)监控体系的搭建
1.定义监控指标
产品框架拆解
白盒:效果监控,监控用户体验即产品的核心目标
黑盒:策略监控,监控某个策略的运转情况,对象为各类中间指标。
2.定义报警规则
触发报警的条件,什么时候报警。超过正常波动区间,界定正常波动区间波动是否超越历史波动范围,波动范围在期望值加减3。
3.报警方式
怎么报警是根据评估指标重要程度,影响程度-影响面来衡量。
(三)监控的局限性
考虑到准确性,对异常覆盖的精度(召回率)有限。监控可以帮你发现异常,但是不能准确定位问题。
对于任何一个复杂的策略系统,人工去排查每个模块带给用户的影响,是一种非常不经济的手段。所以线上监控作为一种自动,实时针对效果的问题发现方法是很重要的。
三、效果回归
效果回归是策略产品非常重要的一部分工作。
判断产品循环是否中止,确定产品接下来的计划。验证解决方案可行性,修正和巩固方法论。
四、阶段性调研
针对产品现状进行的详细的系统性分析。产出结论最能代表产品全貌,可以有效指导下一阶段的产品计划。
(一)阶段性调研时间节点
1.接触新产品,接手某个新的产品方向
2.周期性回顾,每个月/季/半年等固定周期的回顾
3.不定期回顾,其他需要临时回顾整个产品现状时
(二)阶段性通用方法论
一共分为四步:定义理想状态,拆解未达理想状态的结果,提出解决方案,验证是否解决
1.定义理想状态
找到理想态定义并以数字化或其他明确标准来衡量。
如何找到理想态:
简单情况,对大多数刚需和工具类产品,通常以帮助用户解决了问题来作为理想态,并找到单一的数据指标来衡量。
复杂情况,理想态的描述是复杂的。搜索类基于对用户的理解,并参照竞品结果,给出根据需求影响面排序的各类搜索结果,以平台当前能给出的最佳产品方案作为理想态;推荐类平台猜测用户的非刚需求,永远不清楚最准确答案是什么,以平台当前能给出的最佳产品方案作为理想态。评估策略推荐出的结果在所有候选集中是否出现最佳结果,用户行为指标作为发现问题的辅助手段
所有的理想态都是为阶段性产品目标去服务的,会随着产品的进化而变化。工具刚需类产品以帮用户解决问题为理想态,并能找到单一指标衡量。
2.抽样分析
将所有未达理想态度案例抽样分析,并做统计分类,明确满足不好的原因
抽样的基本步骤:
确定调研目标:明确调研目标,确定抽样对象和方式。
确定抽样对象:通过规则筛选出来的待分析的合集。筛选出核心指标未达理想态,可以代替全体用户行为的最小时间窗口内的全量数据;样本类型根据策略可以是用户个体,行为片段,搜索词,订单等。
选择抽样方法:常用简单随机抽样,每个样本被抽到的概率相等
确定抽样数量:数量是精度和成本的平衡,只要代表某类问题的样本数据有统计意义即可。也可根据经验值来选择,尽量代表某问题的样本数量大于等于5,或影响面大于等于3%。
3.样本分析标注并整理汇总问题
按合理的逻辑框架整理,上下层级按总分关系,同层级之间要相互排斥,不重叠,不遗漏。
4.优先级判断
汇总所有问题,综合影响面,问题重要程度和解决成本确定优先级,作为接下来的项目计划。
优先级判断方法:
按照单位成本下的收益从小到大排序(即ROI),ROI相同,绝对收益高的优先级高。
考虑外部影响,恶劣程度高的,优于其他优先级。
项目收益=待解决问题的影响面*解决后体验提升程度*预期解决比例
项目成本=通常仅指开发成本
优先级判断流程:
PM进行产品调研,得到问题解决list和影响面。RD进行策略预调研,评估问题解决成本和开发成本。
优先级判断直接决定后续产品计划,优先级判断除了关注项目成本和收益之外,pm还要灵活对外部环境的变化,综合决策。
作者:朱 二,微信:朱二(xiaopihai0610)一个待业的产品,爱拍照,爱旅游。
期待能与你一起交流,一起进步。
来源参考三节课系列课程