AVA这些评测从答案正确率、每题用量与执行耗时三个角度，观察 AVA 在不同数据任务上的表现。查看原始报告。
上下文是否足够，影响有多大
| 评测任务 | 上下文 | 答对题数 | 准确率 | 每题 Token | 每题耗时 |
|---|---|---|---|---|---|
| 表格问答 DataBench[1] | 原始数据 （表头与前 3 行） | 1,494 | 83.51% （基线） | 991 | 1.35 s |
| 结构与统计 （Schema + Profile） | 1,506 | 84.18% (+0.67 pp) | 1,990 | 2.08 s | |
| 业务语义 | 1,664 | ★ 93.01% (+9.50 pp) | 3,288 | 1.66 s | |
| 复杂 SQL · SQLite Spider2-Lite[3] | 原始数据 （表头与前 3 行） | 35 | 25.93% （基线） | 4,057 | 12.93 s |
| 结构与统计 （Schema + Profile） | 45 | 33.33% (+7.41 pp) | 20,945 | 11.89 s | |
| 业务语义 | 109 | ★ 80.74% (+54.81 pp) | 23,705 | 13.33 s |
DataBench 包含 1,789 道单表问答，涉及筛选、聚合和排序。Spider2-Lite 使用 135 道多表复杂 SQL 问题及外部知识。原始数据只向模型展示表头与每表前 3 行，结构与统计增加 Schema 和 Profile，业务语义再增加业务定义。查询始终使用完整数据。
怎样选择分析策略
| 评测任务 | 模型 | 策略 | 答对题数 | 准确率 | 每题 Token | 每题耗时 |
|---|---|---|---|---|---|---|
| 表格问答 DataBench[1] | GLM-5.1 | Direct | 1,550 | ★ 86.64% | 2,315 | 20.48 s |
| Loop | 1,504 | 84.07% | 5,089 | 82.52 s | ||
| 数据库查询 BIRD New Dev[2] | GLM-5.1 | Direct | 968 | 63.10% | 6,780 | — |
| Loop | 1,010 | 65.84% | 35,272 | — | ||
| GLM-5.2 | Direct | 1,003 | 65.38% | 6,575 | — | |
| Loop | 1,030 | 67.14% | 33,545 | — | ||
| GLM-5.3 | Direct | 1,045 | ★ 68.12% | ≥ 9,529 | — | |
| Loop | 1,016 | 66.23% | ≥ 32,976 | — | ||
| Kimi-K2.5 | Direct | 941 | 61.34% | 7,220 | — | |
| Loop | 905 | 59.00% | 51,631 | — | ||
| Kimi-K3 | Direct | 1,014 | 66.10% | 6,696 | — | |
| Loop | 993 | 64.73% | 43,512 | — |
AVA Workflow。DataBench 共 1,789 题，此处是上下文配置不同的历史运行；BIRD New Dev 共 1,534 题，包含 Schema、题目证据与数据库说明。
执行方式的差异
| 评测任务 | 模型 | 执行方式 | 答对题数 | 准确率 | 每题 Token | 每题耗时 |
|---|---|---|---|---|---|---|
| 表格问答 DataBench[1] | GLM-5.1 | SQL (DuckDB) | 1,550 | ★ 86.64% | 2,315 | 20.48 s |
| Python | 1,528 | 85.41% | 2,002 | 22.03 s |
DataBench 共 1,789 题，使用 AVA Workflow 和 Direct。历史 SQL 与 Python 运行的执行配置不同。
接入方式的差异
| 评测任务 | 模型 | 接入方式 | 答对题数 | 准确率 | 每题 Token | 每题耗时 |
|---|---|---|---|---|---|---|
| 表格问答 DataBench[1] | GLM-5.1 | SDK | 1,550 | ★ 86.64% | 2,315 | 20.48 s |
| Agent Skill | 1,511 | 84.46% | 23,384 | 40.93 s |
DataBench 共 1,789 题。SDK 使用 AVA Workflow 和 Direct；Agent Skill 由 Agent 自主选择工具与步骤。这些历史运行的执行配置不同。
先了解数据集和计分方式
-
DataBench：1,789 道问题，覆盖 79 张完整表，排除
080_Books。平均每表 46,911 行、22.8 列。根据参考答案与不同结果类型的匹配规则衡量答案正确性。复现说明。 -
BIRD New Dev：1,534 道问题，覆盖 11 个数据库，版本
dev_20251106。平均每库 6.8 张表，每表 52,436 行、10.6 列。对照参考 SQL 的执行结果评估 Text-to-SQL。复现说明。 -
Spider2-Lite SQLite 子集：135 道复杂 SQL 问题，覆盖 30 个数据库。平均每库 13.7 张表，每表 43,009 行、7.0 列。使用官方执行结果评分器，未回答计为错误，结果只代表 SQLite 子集。复现说明。
规模均值只统计唯一基础表，不含视图和内部表。不同数据集的评分协议不同，分数不能直接横向比较。这些评测衡量的是答案正确性，不是图表质量。表中的 pp 表示百分点，耗时单位 s 表示秒。