twg-bench-lite

Compare original and translation side by side

🇺🇸

Original

English

🇨🇳

Translation

Chinese

twg-bench-lite

Run one read-only prompt twice: once with free Atlassian/local MCP context and once with paid Atlassian Teamwork Graph context through TWG CLI. This is a skill-first workflow with a thin

twg benchmark lite run

bridge. The benchmark repo owns reusable runner, judge, and report-template code.

将同一个只读提示词运行两次：一次使用免费Atlassian/本地MCP上下文，另一次通过TWG CLI使用付费Atlassian Teamwork Graph上下文。这是一个以Skill为核心的工作流，通过简洁的

twg benchmark lite run

命令桥接。基准测试仓库包含可复用的运行器、评判器和报告模板代码。

CLI launcher fallback

CLI启动器回退方案

Run

twg <command>

. On shell

command not found

, use

$HOME/.local/bin/twg

(macOS/Linux) /

$env:LOCALAPPDATA\Programs\twg\bin\twg.exe

(PowerShell), then tell user to add that directory to PATH. Do not treat auth or command errors as PATH failures.

运行

twg <command>

。如果shell提示

command not found

，请使用

$HOME/.local/bin/twg

（macOS/Linux）或

$env:LOCALAPPDATA\Programs\twg\bin\twg.exe

（PowerShell），然后告知用户将该目录添加到PATH中。请勿将认证或命令错误视为PATH配置问题。

Runtime Support

运行时支持

V1 supports Codex and Rovo live runs. Claude is V2. Do not require users to install the benchmark CLI locally.

V1版本支持Codex和Rovo实时运行。Claude支持将在V2版本中提供。无需用户在本地安装基准测试CLI。

Eligibility

适用场景

Use a text-only read task both arms can attempt. Do not compare mutations; for writes, compare a read-only plan or dry-run only after user approval. Preserve the underlying prompt byte-for-byte for both arms.

使用双方均可尝试的纯文本只读任务。请勿对比写入操作；若涉及写入，仅在用户批准后对比只读计划或试运行版本。确保两个测试分支使用完全相同的提示词（字节级一致）。

Prerequisite

前置条件

For the default full lifecycle command, verify the portable runner and selected runtime first:

bash

twg benchmark lite --check

The default check is Codex; use

--agent rovo

when the run should use Rovo.

For Rovo runs:

bash

twg benchmark lite --check --agent rovo

The quality judge defaults to the selected runtime, so Rovo runs use a Rovo judge by default. If the user explicitly wants a different judge runtime, use:

bash

twg benchmark lite --check --agent rovo --judge-agent codex

The managed custom agents are only required for manual orchestration:

```
twg-bench-lite-control
```
```
twg-bench-lite-test
```

If a manual run needs either agent and it is missing, tell the user to run:

bash

twg skills install --yes

Then start a fresh Codex thread so agent discovery refreshes. Do not substitute generic agents for manual orchestration because arm isolation is the point.

Before a live run, verify setup with:

bash

twg benchmark lite --check

This checks the bundled runner artifact and the selected live-run runtime. Codex checks include the Codex executable and Codex home. Rovo checks include the Rovo executable and OAuth status. If

--judge-agent

differs from

--agent

, the check verifies both runtimes. It also reports the global

twg-bench-lite

skill install and managed control/test Codex agent configs as manual-workflow optional checks when relevant.

对于默认的全生命周期命令，请先验证可移植运行器和所选运行时：

bash

twg benchmark lite --check

默认检查针对Codex；若运行需使用Rovo，请添加

--agent rovo

参数。

针对Rovo运行：

bash

twg benchmark lite --check --agent rovo

质量评判器默认使用所选运行时，因此Rovo运行默认使用Rovo评判器。如果用户明确希望使用不同的评判器运行时，请使用：

bash

twg benchmark lite --check --agent rovo --judge-agent codex

仅在手动编排时才需要托管自定义Agent：

```
twg-bench-lite-control
```
```
twg-bench-lite-test
```

如果手动运行需要其中任一Agent但未安装，请告知用户运行：

bash

twg skills install --yes

然后启动新的Codex线程以刷新Agent发现。请勿使用通用Agent替代手动编排，因为分支隔离是核心要求。

在实时运行前，请使用以下命令验证设置：

bash

twg benchmark lite --check

该命令会检查捆绑的运行器工件和所选的实时运行时。Codex检查包括Codex可执行文件和Codex主目录。Rovo检查包括Rovo可执行文件和OAuth状态。如果

--judge-agent

与

--agent

不同，检查将验证两个运行时。此外，当涉及手动工作流时，它还会报告全局

twg-bench-lite

Skill安装情况以及托管的控制/测试Codex Agent配置（作为可选检查项）。

Arms

测试分支

Control - Free Atlassian with Local MCPs Context: use free Atlassian tools plus user-local MCPs/connectors. Do not use TWG CLI, TWG skills, paid graph tools, prior artifacts, or local files as task evidence unless the prompt is explicitly about local files.
Test - Paid Atlassian Teamwork Graph Context: use TWG CLI graph context with bundled TWG guidance as the primary work-data source.

控制分支 - 免费Atlassian搭配本地MCP上下文：使用免费Atlassian工具加上用户本地MCP/连接器。除非提示词明确涉及本地文件，否则请勿使用TWG CLI、TWG Skills、付费图谱工具、先前工件或本地文件作为任务证据。
测试分支 - 付费Atlassian Teamwork Graph上下文：使用TWG CLI图谱上下文，并将捆绑的TWG指导作为主要工作数据源。

Paired Run

成对运行

For the default full lifecycle, run:

bash

twg benchmark lite run --prompt "<read-only prompt>" --output-dir <dir>

Use

--agent rovo

to run the same lifecycle with Rovo. The quality judge uses the same runtime unless

--judge-agent codex|rovo

is supplied.

For manual orchestration:

Save the exact comparison prompt.
Ask TWG CLI for the test-arm route before launching the paired agents:
```
twg benchmark lite plan --prompt-file <prompt-file> --json
```
.
Spawn both managed agents concurrently with no forked parent context:
```
twg-bench-lite-control
```
and
```
twg-bench-lite-test
```
.
Send the identical prompt as the complete user message to each child. Do not add arm-specific instructions; the managed agent configs own isolation. The test agent may receive the TWG route plan as tool-selection policy only; it is not answer evidence.
Leave model/reasoning overrides unset unless the user asks; apply any override equally to both arms.
Wait for both children to finish and record their agent IDs or session links.
Do not solve the task again in the parent. The parent compares, evaluates, and reports.

Print lifecycle progress in the parent session: start, prompt captured, agents started, each arm finished, outputs read, quality reviewed, report compiled, done.

对于默认的全生命周期运行，请执行：

bash

twg benchmark lite run --prompt "<read-only prompt>" --output-dir <dir>

添加

--agent rovo

参数可使用Rovo执行相同的生命周期流程。质量评判器默认使用与运行时相同的环境，除非指定

--judge-agent codex|rovo

参数。

对于手动编排：

保存精确的对比提示词。
在启动成对Agent前，向TWG CLI请求测试分支的路由：
```
twg benchmark lite plan --prompt-file <prompt-file> --json
```
。
同时启动两个托管Agent，且不继承父上下文：
```
twg-bench-lite-control
```
和
```
twg-bench-lite-test
```
。
将完全相同的提示词作为完整用户消息发送给每个子Agent。请勿添加分支特定指令；分支隔离由托管Agent配置负责。测试Agent仅可将TWG路由计划作为工具选择策略接收，不可将其作为回答证据。
除非用户要求，否则请勿设置模型/推理覆盖参数；若设置，需对两个分支应用相同的覆盖。
等待两个子Agent完成，并记录它们的Agent ID或会话链接。
父会话无需再次解决任务，仅负责对比、评估和生成报告。

在父会话中打印生命周期进度：启动、提示词已捕获、Agent已启动、各分支完成、输出已读取、质量已评审、报告已编译、完成。

Quality

质量评估

Read both answers before interpreting token delta. Classify as

equivalent

twg-better

control-better

capability-gain

, or

not-comparable

not-comparable

is a real outcome for missing, unusable, or non-comparable answers, not a placeholder. Claim observed savings only for

equivalent

twg-better

; for

capability-gain

, report capability instead.

Evaluate coverage, correctness, evidence quality, directness, and limitations. Do not assign numeric quality scores.

在分析token增量前，先阅读两个回答。将结果分类为

equivalent

（等效）、

twg-better

（TWG更优）、

control-better

（控制分支更优）、

capability-gain

（能力提升）或

not-comparable

（无法对比）。

not-comparable

是针对缺失、不可用或无法对比的回答的真实结果，而非占位符。仅在结果为

equivalent

或

twg-better

时声明观测到的成本节省；若为

capability-gain

，则报告能力提升情况。

评估维度包括覆盖范围、正确性、证据质量、直接性和局限性。请勿分配数值质量分数。

Lite Report

精简报告

Return a compact report in the parent answer with:

prompt text,
control/test status and final outputs,
observed tool families and TWG command evidence when available,
token/tool/duration metrics when the agent runtime exposes them,
quality classification and rationale,
integrity notes: identical prompt, expected roles, TWG absent from control, TWG used in test, and any measurement gaps.

If token/session metrics are unavailable, say "not measured"; do not estimate. Describe the result as one observed prompt comparison, not a universal efficiency rate.

在父会话的回答中返回一份紧凑报告，包含：

提示词文本，
控制/测试分支的状态和最终输出，
观测到的工具家族及可用时的TWG命令证据，
Agent运行时暴露的token/工具/时长指标，
质量分类及理由，
完整性说明：提示词完全相同、角色符合预期、控制分支未使用TWG、测试分支使用了TWG，以及任何测量缺口。

如果token/会话指标不可用，请注明“未测量”；请勿估算。将结果描述为单次观测到的提示词对比，而非通用效率比率。