AI 产品测试开发记录
围绕 AI 产品自动化框架、LLM 输出断言和质量左移的系列文章,关注怎样定义标准、保留证据和做回归。
AI 产品自动化测试框架怎么拆:Pytest + Playwright + Allure
AI 产品的自动化测试不只是记录页面操作,还要记录输入、断言、失败证据和报告,方便后续复查。
LLM 输出不稳定时,自动化测试应该怎么断言
LLM 输出天然存在非确定性,测试不能只依赖全文匹配。更可靠的策略是组合结构化断言、关键事实校验、禁止项和语义相似度。
AI 产品团队做测试左移,先把标准说清楚
AI 产品团队做测试左移,重点是从需求阶段定义质量标准,并提前确认 prompt、数据、模型输出、风控规则和回归方式。
Harness Engineering:给 AI 装上工程护栏
从 Prompt、Context 到工具权限、验证门禁和反馈回路,解释 Harness Engineering 如何把 AI coding agent 纳入可控的软件工程流程。