AI 产品团队做测试左移,先把标准说清楚
AI 产品团队做测试左移,重点是从需求阶段定义质量标准,并提前确认 prompt、数据、模型输出、风控规则和回归方式。
AI 产品里的测试左移,不是把测试人员提前拉进会议那么简单,而是要在需求阶段就定义质量标准。
左移要解决的问题
测试左移的重点不是提前写更多用例,而是把模糊质量要求提前转成可执行、可度量、可回归的标准。
需求阶段要确认的标准
我会优先确认几件事:
- 输出边界:模型应该回答什么,不应该回答什么。
- 风险清单:敏感词、错误承诺、幻觉、遗漏、过度拒答等风险如何识别。
- 数据样本:正例、反例、边界样本和线上典型输入如何保存。
- 回归机制:prompt、模型、规则、数据更新后如何快速验证。
- 证据标准:失败结果如何追踪到输入、配置、上下文和版本。
工程化执行
这些标准确定后,才能把 prompt、模型、规则、数据和业务流程纳入同一条回归链路。
覆盖范围
对 AI 产品团队来说,质量保障要覆盖模型输出,也要覆盖产品交互、业务流程、风控规则和运营配置。