AT
A/B Test Setup Skills: 科学规划产品增长实验
coreyhaines31
2026-04-06

当增长黑客在使用 openclaw/hermes agent 进行 A/B 测试设计时,通过 ab-test-setup skills,可以系统性地推导实验假设与数据指标,告别拍脑袋决策,实现科学增长。


简介

ab-test-setup 是一个面向开发与增长团队的实验顾问技能。它直击“先上线看看数据”这种盲目测试的痛点,通过在测试前强制要求统计严谨性、清晰的假设结构和样本量计算,帮你避开常见的实验陷阱,产出真正可落地的业务决策。

理念

通过强制的结构化假设、单变量原则和预设样本量,确保实验在启动前就具备统计有效性。

安装使用

有很多种方法可以安装 skill:

  • 安装方法1:在 OpenClaw 或 Hermes Agent 的聊天窗口,直接告诉 Agent:请帮我安装 ab-test-setup 技能。(最简单)
  • 安装方法2:访问 skillhub 网站,先安装 skillhub 商店,然后再安装对应的技能。(适用于中国用户)
  • 安装方法3:访问 Skills.sh 网站,在首页搜索对应技能的名称,然后使用网站提供的命令安装。(适用于有技术经验的用户)
  • 安装方法4:访问 Clawhub 网站,在首页搜索对应技能的名称,点击下载按钮下载压缩包,解压后放到 OpenClaw 的 skills 目录下。

Skill 工作流程剖析

  • 评估上下文环境:优先读取 .agents/product-marketing-context.md 等现有上下文文件,避免重复提问。同时全面摸底当前的测试背景、基线转化率和技术限制。
  • 构建结构化假设:强制采用“因为 [数据观察],我们相信对 [目标受众] 进行 [具体变更] 会导致 [预期结果]”的严谨句式,直接过滤掉“随便改改看”的无效想法。
  • 确定测试类型与样本量:根据变更复杂度和预期提升率,选择 A/B、A/B/n 或多变量测试(MVT),并参考内置表格硬性规定所需的样本量。
  • 建立指标体系:将指标严格划分为主要指标(衡量核心商业价值)、次要指标(解释原因)和护栏指标(防止系统性负面影响),构建全局观测视角。
  • 设计变量与流量分配:坚持单变量原则,并根据风险承受能力选择 50/50 均分、保守比例(如 90/10)或逐步放量的策略。
  • 执行防偷看纪律:在测试运行期间,坚决抵制“提前偷看数据并过早停止”的冲动,确保结果的统计显著性。

技能设计评价

ab-test-setup 技能评测

参考链接

SKILL.md