AI 产品自动化测试框架怎么拆：Pytest + Playwright + Allure

AI 产品的自动化测试框架，核心不是“能不能点页面”，而是能不能把不稳定的输入、模型输出和页面状态变成可复查的证据。

框架要解决的问题

AI 场景里的页面、数据和模型输出都可能变化。框架不能只记录操作步骤，还要记录输入、配置、页面状态、模型响应和失败证据。

四层框架结构

我的做法里，框架至少要拆成四层：

1. 用例层：用 YAML 或结构化数据描述页面动作、输入、断言和期望证据。
2. 执行层：用 Pytest 统一参数化、fixture、重试、环境准备和失败清理。
3. 浏览器层：用 Playwright 负责稳定交互、截图、trace 和可观测信息采集。
4. 报告层：用 Allure 记录步骤、附件、失败上下文和回归趋势。

断言设计

AI 场景里最容易出问题的是断言。如果只断言完整文案，测试会非常脆弱；如果只看页面不报错，又很难发现真实质量问题。更稳的方式是把断言拆成结构化字段、关键事实、禁止项和语义相似度。

框架目标

框架的目标不是替代测试工程师判断，而是把重复执行、证据采集和回归对比交给机器，让人专注在策略、风险和异常解释上。