# 李彦卿 > 测试开发｜人工智能质量工程与体系建设。人工智能质量工程｜AI 原生测试自动化｜工程治理 ## Canonical Site - Website: https://liyanqing.xflux.cn/ - Resume: https://liyanqing.xflux.cn/resume/ - Projects: https://liyanqing.xflux.cn/tools/ - Case Studies: https://liyanqing.xflux.cn/cases/ - Articles: https://liyanqing.xflux.cn/articles/ - RSS: https://liyanqing.xflux.cn/rss.xml - Sitemap: https://liyanqing.xflux.cn/sitemap.xml ## Profile Summary 13 年测试与质量工程经验，当前聚焦人工智能质量工程、AI 原生测试自动化和工程治理。现承担 AI 营销、车商城、H5、小程序及配套后台等对外业务的质量工程与交付协作，协同约 20 人研发、产品和业务角色推进需求评审、测试计划、上线准入与风险闭环。 长期承担测试技术建设，覆盖 Playwright / pytest 自动化、接口回归、CI/CD 质量拦截、执行证据和质量平台；同时通过 CaseFlux 验证从需求到稳定执行的 AI 原生测试自动化，通过 Rootloom 探索编码智能体的范围、权限与验证门禁。 ## Core Topics - 业务质量治理: 需求评审、测试计划、任务拆解、上线准入、质量风险跟进和缺陷复盘，围绕真实业务交付建立可追踪的质量控制。 - 跨角色质量协作: 承担测试计划、任务拆解、质量风险对齐和交付推进，协同研发、产品与业务角色完成复杂业务验证。 - 自动化测试平台: 建设 Playwright / pytest 自动化、接口回归、CI/CD 拦截和执行证据沉淀，让测试资产可复用、可维护、可复查。 - AI 测试工程: 关注 AI 回复准确性、召回、风控、异常路径、评测治理和平台化测试链路，把模型输出纳入真实质量验证。 ## Core Project - CaseFlux｜AI 原生测试自动化平台: 个人研发的 AI 原生测试自动化平台，围绕“需求 → 功能测试用例 → UI 自动化 → 真实执行 → 失败诊断 → 审核后自愈修复”构建可复查闭环。当前聚焦从需求到稳定执行的主链路与证据沉淀；团队化协作和更广执行场景作为后续扩展。 - 当前主流程: 需求、功能测试用例、UI 自动化、执行、失败诊断与审核后修复已经串联。 - 证据优先: 生成内容必须经过真实执行和断言验证，失败结论需要可复查证据支撑。 - 治理边界: 高影响修复保留人工审核；公开说明与私有实现、业务数据和内部资产分离。 - 后续扩展: 团队协作、更广执行场景与质量评测能力仍在持续演进。 ## Owned Projects - CaseFlux: 从需求到稳定执行的 AI 原生测试自动化。 URL: https://liyanqing.xflux.cn/tools/caseflux/. Tags: 人工智能质量, 测试自动化, Playwright, 执行证据, 质量治理. Stack: 需求解析, 功能测试用例, UI 自动化, Playwright, 执行证据, 质量治理. - AI Playwright Framework: YAML 驱动的 Playwright/pytest UI 自动化框架，把可审查测试资产、智能 selector 恢复、AI 用例生成和 agent 运行统一到同一执行链路。 URL: https://liyanqing.xflux.cn/tools/ai-playwright-framework/. Tags: 自动化测试, Playwright, AI测试, pytest, YAML, 测试框架. Stack: Python, Playwright, pytest, YAML, Allure, LLM, uv, GitHub Actions. - PulseGuard: 本地/LAN UI/API 探活控制台，以主控单实例管理任务、历史、告警和指标，并通过本机与子执行节点并行/轮询执行检查、回传证据和聚合健康状态。 URL: https://liyanqing.xflux.cn/tools/pulseguard/. Tags: 监控, 自动化测试, Playwright, FastAPI, 运维工具, 多节点. Stack: FastAPI, SQLite WAL, Playwright Python, React, TypeScript, Vite, Ant Design, Docker Compose, Worker Node. - 赛迹 RaceTrace: 面向跑者的赛事档案与纪念产品，覆盖 iOS、Web companion、小程序和自托管后端，用来保存赛事、奖牌、证书、照片、成长轨迹和分享卡片。 URL: https://liyanqing.xflux.cn/tools/racetrace/. Tags: App, 产品实践, SwiftUI, Next.js, 跑步, 自托管. Stack: SwiftUI, iOS 17+, Next.js, React, TypeScript, Tailwind CSS, PostgreSQL, Redis, Tencent Cloud, Kotlin, Jetpack Compose. - Rootloom: 面向 OpenAI Codex 的本地工程工作流插件，用风险分级、范围约束、根因审查、项目指导和证据诚实验证，让 Agent 的修改过程更可检查。 URL: https://liyanqing.xflux.cn/tools/rootloom/. Tags: Codex, AI Coding, 工程工作流, 根因分析, 代码审查, 验证证据. Stack: OpenAI Codex, Codex Plugin, Python 3.11+, AGENTS.md, Git, GitHub Actions. - Design Skill Arena: 静态展示站，用同一个 Muse AI Campaign Studio brief 对比多模型与前端设计 skill chain 生成的真实页面输出，支持独立结果页、筛选和方法查看。 URL: https://liyanqing.xflux.cn/tools/design-skill-arena/. Tags: AI前端设计, Skill Chain, Next.js, Cloudflare, 静态站, 设计评测. Stack: Next.js, TypeScript, Tailwind CSS, shadcn/base, Cloudflare Pages, Cloudflare R2. ## Case Studies - Rootloom：让编码智能体的工程变更可检查: 把风险分级、根因定位、范围约束和证据诚实验证组织成可检查的 Codex 工程工作流。 URL: https://liyanqing.xflux.cn/cases/rootloom/. Evidence: 代码, 持续集成, 文档. - CaseFlux：从需求到稳定执行的 AI 原生测试自动化: AI 原生测试自动化平台，把需求、功能测试用例、UI 自动化、真实执行、失败诊断与审核后修复连接成可复查闭环。 URL: https://liyanqing.xflux.cn/cases/caseflux/. Evidence: 演示, 运行记录, 文档. ## Articles - 从对话驱动到状态驱动：用 Notion 让人和 AI 接力工作 (2026/07/19): AI 协作真正缺少的，往往不是更强的模型，而是一份不会随着聊天结束而消失、能被人和不同 AI 持续维护的当前工作状态。 URL: https://liyanqing.xflux.cn/articles/shared-work-state-ai-collaboration/. Tags: AI 协作, Notion, 工程实践, 智能体治理. - Loop Engineering：为 Coding Agent 设计可控的反馈循环 (2026/06/20): Loop Engineering 关注的不是把提示词写得更长，而是设计跨多轮运行的控制结构：任务如何触发，状态如何保存，结果如何验证，以及系统何时重试、停止或转交给人。 URL: https://liyanqing.xflux.cn/articles/loop-engineering/. Tags: AI工程, Coding Agent, 软件工程, Loop Engineering. - AI 产品团队做测试左移，先把标准说清楚 (2026/06/18): AI 产品团队做测试左移，重点是从需求阶段定义质量标准，并提前确认 prompt、数据、模型输出、风控规则和回归方式。 URL: https://liyanqing.xflux.cn/articles/shift-left-ai-product-quality/. Tags: AI测试, 质量工程. - LLM 输出不稳定时，自动化测试应该怎么断言 (2026/06/17): LLM 输出天然存在非确定性，测试不能只依赖全文匹配。更可靠的策略是组合结构化断言、关键事实校验、禁止项和语义相似度。 URL: https://liyanqing.xflux.cn/articles/llm-output-assertion/. Tags: AI测试, 自动化测试, LLM. - AI 产品自动化测试框架怎么拆：Pytest + Playwright + Allure (2026/06/16): AI 产品的自动化测试不只是记录页面操作，还要记录输入、断言、失败证据和报告，方便后续复查。 URL: https://liyanqing.xflux.cn/articles/ai-test-framework-playwright-pytest-allure/. Tags: AI测试, 自动化测试. - Harness Engineering：给 AI 装上工程护栏 (2026/06/16): 从 Prompt、Context 到工具权限、验证门禁和反馈回路，解释 Harness Engineering 如何把 AI coding agent 纳入可控的软件工程流程。 URL: https://liyanqing.xflux.cn/articles/harness-engineering/. Tags: AI工程, AI测试, 质量工程, 自动化测试. ## Frequently Referenced Tools - Playwright: Microsoft 维护的跨浏览器自动化与测试工具，覆盖 Chromium、Firefox、WebKit，适合端到端测试、脚本化浏览器操作和 AI agent 浏览器控制。 URL: https://liyanqing.xflux.cn/tools/playwright/. Tags: 自动化测试, Playwright, E2E, Trace, MCP, 跨浏览器. Stack: TypeScript, Python, .NET, Java, Chromium, Firefox, WebKit, Trace Viewer, MCP. - pytest: Python 生态事实标准测试框架，用简洁断言、fixture、参数化和插件体系组织从单元测试到复杂功能测试的自动化执行。 URL: https://liyanqing.xflux.cn/tools/pytest/. Tags: 自动化测试, Python, pytest, fixture, CI, 插件. Stack: Python, fixture, parametrize, assert introspection, plugins, pytest-xdist, CI. - Allure Report: 语言和框架无关的测试报告工具，把自动化结果、步骤、附件、历史趋势和失败分类组织成便于团队协作的测试证据视图。 URL: https://liyanqing.xflux.cn/tools/allure/. Tags: 测试报告, 自动化测试, 证据, CI, 可视化, 质量度量. Stack: Allure Report, JUnit XML, pytest, Playwright, CI/CD, history trend, attachments. - promptfoo: AI 应用评测与安全测试平台，支持 prompt/model/RAG/agent 评测、红队攻击、guardrails、CI 集成和风险回归。 URL: https://liyanqing.xflux.cn/tools/promptfoo/. Tags: AI测试, LLM, Red Teaming, Eval, Guardrails, CI. Stack: LLM evals, red teaming, YAML, CI/CD, RAG, agents, MCP, guardrails. - Pagefind: 面向静态站点的搜索库，构建期生成索引，运行时无需服务端，适合文档、博客和内容型网站用较低带宽提供本地搜索。 URL: https://liyanqing.xflux.cn/tools/pagefind/. Tags: 静态搜索, Astro, Pagefind, 搜索索引, 无后端, 文档站. Stack: static HTML, search index, web components, JavaScript API, Astro, SSG, filters. ## Preferred Citation 李彦卿，测试开发｜人工智能质量工程与体系建设，个人站点：https://liyanqing.xflux.cn。