README_zh.md

FastBrain-9B

面向校准结构化决策的单次前向非自回归模型

English | 简体中文

---

摘要

将自回归语言模型用于封闭 Schema 分类、工具路由与安全合规校验等结构化决策任务时，逐 Token 解码机制不仅引入与决策复杂度无关的序列生成延迟，还会因表面词形切分导致类别概率分布失准。本文发布 FastBrain-9B ，一个总参数量为 9.41B 的非自回归结构化决策模型，由 32 层混合 Gated DeltaNet 线性注意力与全注意力主干网络（基于 Cloudflare/clef-flash 初始化的 Qwen3.5-9B 架构）及 116M 参数的交叉注意力联合决策头（JointSchemaHead）组成。给定任意 JSON 或多模态状态以及一组类型化决策定义（多选分类 choice、二元真值判别 noul 与序数量表评分 score），模型仅通过单次 Prefill 前向传播（output_tokens = 0）即可同步输出全部问题与候选项的校准概率分布。训练阶段，我们在复合序数 KL 散度、累积分布距离（离散分级概率评分 RPS）与期望值均方误差目标下，联合优化全部 32 层中的 104 个注意力投影矩阵及决策头参数，并将增量权重原地合并至主干张量。在涵盖 109 个参评模型条目的三项公开评测基准中：FastBrain-9B 在 safeagents-judge-bench（v2）7 类违规判别赛道位列 第 1 / 8 （Macro-F1 0.751，准确率 0.858，较 27.4B 参数的 Cloudflare/clef 高出 18.8 个百分点），并在二元拦截赛道实现 82/82 越界轨迹全检出（AUROC 0.985）；在 LocalLLaMA/typed-decisions 零样本总榜位列 第 7 / 43 （开源权重模型 第 5 / 36 ，≤9B 开源模型 第 2 / 19），中位推理延迟为 50 ms（较 31B 模型 Quyet-1.0-Large 快 66.7 倍），在冻结全部模型权重仅拟合先验与温度参数的设定下位列 train 校准榜 并列第 12（列表第 14 / 51） （准确率 0.7970，KL 散度 0.0816）；在 Cloudflare Decision Index（v0.2.1）10 任务套件上取得 80.55% 的宏平均分，位列全量级 第 2 / 7 、≤9B 量级 10 / 10 任务单项第 1 ，并在其中 5 项任务上超越 27.4B 的 Cloudflare/clef。

---

1. 研究背景与设计动机

在实际部署的智能体（Agent）与企业自动化工作流中，系统需高频执行具有明确输出空间的结构化判断，例如候选工具与参数选择、沙箱可疑命令拦截、工单队列分发以及有序风险等级评定。采用自回归生成范式求解此类问题存在两方面固有局限：其一，端到端延迟受限于格式化字符与标签文本的串行解码步数；其二，概率质量被分散至同义词表面形式或格式 Token 上，导致预测分布偏离真实后验概率，难以直接设定可靠的拒识或风险拦截阈值。

单次前向决策架构（ClefModel / System-1 范式）通过特殊边界标记将问题描述与候选项直接编码至输入序列尾部，利用最后一层隐藏状态经单次 Prefill 前向直接读取各选项对数几率（Logits），从而消除了自回归解码开销。然而，现有 9B 级决策基座在细粒度多类判别、序数标尺回归以及开放集越界拒识任务上与 27B–35B 级模型仍存在显著差距（例如 Cloudflare/clef-flash 在 safeagents-judge-bench v2 多分类赛道 Macro-F1 仅为 0.462，在 CLINC150+OOS 上仅为 66.77%）。FastBrain-9B 通过全深度投影矩阵联合适配、序数累积分布蒸馏以及编译期 Schema 拓扑边际校准，在保持 9B 级显存与单卡亚百毫秒延迟的前提下弥补乃至逆转了上述规模差距，并提供了高精度保持率的 8-bit 与 4-bit GGUF 量化部署方案。

---

2. 模型架构与训练目标

2.1 混合线性注意力与全注意力主干网络

FastBrain-9B 主干网络包含 32 层混合序列建模模块（9.30B 参数，bfloat16 精度，最大上下文长度 262,144 tokens），由 24 层 Gated DeltaNet 线性注意力模块与 8 层标准多头自注意力模块交替堆叠而成。在指令适应阶段，我们联合解冻并更新全部 32 层中的 104 个核心投影矩阵（包括线性注意力层的 in_proj_qkv、in_proj_z、out_proj 以及全注意力层的 q_proj、k_proj、v_proj、o_proj）。训练完成后，所有参数更新均被精确合并至 model-00001-of-00004.safetensors 至 model-00004-of-00004.safetensors 中，推理阶段无需加载外部 LoRA 适配器。

2.2 联合 Schema 决策头与向量化 CUDA 算子

JointSchemaHead（116M 参数，独立存储于 joint_head.safetensors）从主干末层隐藏状态 $H\in {\mathbb{R}}^{T\times d}H\; \backslash in\; \backslash mathbb\{R\}^\{T\; \backslash times\; d\}$ 中提取由 <|question_start|>/<|question_end|> 与 <|option_start|>/<|option_end|> 界定的片段表征，经问题-选项交叉注意力交互后映射为三类基础决策原语的标量对数几率：

1. choice (K 分类离散分布): 输出归一化概率向量 $\widehat{p}=\mathrm{softmax}(z\mathrm{/}\tau )\in {\mathrm{\Delta }}^{K-1}\backslash hat\{p\}\; =\; \backslash operatorname\{softmax\}(z\; /\; \backslash tau)\; \backslash in\; \backslash Delta^\{K-1\}$ 。
2. noul (二元真值判别): 输出命题成立概率 $\widehat{p}(\text{true})=\sigma (z_{\text{true}}-z_{\text{false}})\backslash hat\{p\}(\backslash text\{true\})\; =\; \backslash sigma(z\_\{\backslash text\{true\}\}\; -\; z\_\{\backslash text\{false\}\})$ 。
3. score (定义在有序分值 上的量表评估): 同时输出各等级概率 $\widehat{p}\in {\mathrm{\Delta }}^{K-1}\backslash hat\{p\}\; \backslash in\; \backslash Delta^\{K-1\}$ 与数学期望得分 $\mathbb{E}[\widehat{y}]={\sum }_{k=1}^K{\widehat{p}}_k{v}_k\backslash mathbb\{E\}[\backslash hat\{y\}]\; =\; \backslash sum\_\{k=1\}^K\; \backslash hat\{p\}\_k\; v\_k$ 。

在参考运行时 joint_schema_model.py 中，针对 CUDA 设备实现了融合算子路径 _forward_fast_cuda：利用基于 torch.cumsum 的 $\mathcal{O}(1)\backslash mathcal\{O\}(1)$ 前缀和差分替代逐片段 Python 循环完成变长片段均值池化，并通过 cu_seqlens 紧凑打包调用变长 FlashAttention（torch.ops.aten._flash_attention_forward）替代稠密掩码注意力。在 NVIDIA RTX PRO 6000 Blackwell 上，该实现将决策头单次前向耗时由 3.27 ms 降至 1.72 ms（1.90 倍加速），且保持严格数值等价（最大 Logit 绝对偏差 max_logit_diff = 0.00000）。

2.3 序数 KL 蒸馏与编译期 Schema 拓扑校准

标准交叉熵或普通多类 KL 散度将有序评定量表视为无序独立类别，对相邻等级误差与跨端极端误差施加同等惩罚。FastBrain-9B 在 TypeScript/FastBrain-Instruct 数据集上采用复合分布匹配损失进行训练，联合优化软标签 KL 散度、离散分级概率评分（预测累积分布 ${\widehat{F}}_k={\sum }_{j\le k}{\widehat{p}}_j\backslash hat\{F\}\_k\; =\; \backslash sum\_\{j\; \backslash le\; k\}\; \backslash hat\{p\}\_j$ 与目标累积分布 $F_{k}F\_k$ 之间的二阶距离）以及 score 题型的期望值均方误差：

$$\mathcal{L}(\theta )=\mathrm{K}\mathrm{L}(p\mathrm{\parallel }{\widehat{p}}_{\theta })+{\lambda }_{\mathrm{o}\mathrm{r}\mathrm{d}}\sum _{k=1}^{K-1}({\widehat{F}}_{\theta ,k}-F_k{)}^2+\mathbb{I}[\text{type}=\text{score}]\cdot {\lambda }_{\mathrm{m}\mathrm{s}\mathrm{e}}(\mathbb{E}[{\widehat{y}}_{\theta }]-\mathbb{E}[y]{)}^2\mathrm{.}\backslash mathcal\{L\}(\backslash theta)\; =\; \backslash mathrm\{KL\}(p\; \backslash ,\backslash |\backslash ,\; \backslash hat\{p\}\_\backslash theta)\; +\; \backslash lambda\_\{\backslash mathrm\{ord\}\}\; \backslash sum\_\{k=1\}^\{K-1\}\; \backslash bigl(\backslash hat\{F\}\_\{\backslash theta,k\}\; -\; F\_k\backslash bigr)^2\; +\; \backslash mathbb\{I\}[\backslash text\{type\}=\backslash text\{score\}]\; \backslash cdot\; \backslash lambda\_\{\backslash mathrm\{mse\}\}\; \backslash bigl(\backslash mathbb\{E\}[\backslash hat\{y\}\_\backslash theta]\; -\; \backslash mathbb\{E\}[y]\backslash bigr)^2.$$

在推理阶段，joint_schema_model.py 提供可选的编译期 Schema 拓扑校准函数（apply_schema_aware_calibration），通过解析候选项的语法结构特征（如 <tool_call> 调用声明、澄清追问子句及越界拒识选项）修正判别边际，抑制工具过度触发（Over-Triggering）与开放集误接收。

---

3. 实验评测与基准分析

表 1：公开评测基准与官方排行榜结果汇总（截至 2026 年 11 月，核验共 109 个参评模型条目）。

评测基准与赛道	参评模型规模	FastBrain-9B 核心指标	官方排名	代表性对比基线（参数量，指标）
safeagents-judge-bench (v2) — 7 类违规判别 (PR #1)	8 个决策模型 (+2 基线)	0.751 Macro-F1 / 0.858 Acc	1 / 8	Cloudflare/clef (27.4B, 0.563), vllm-sr/d3-mini (1.8B, 0.512), Cloudflare/clef-flash (9.4B, 0.462), clef-omni (30B, 0.437)
safeagents-judge-bench (v2) — 二元安全护栏 (PR #1)	8 个决策模型 (+2 基线)	0.985 AUROC / 82/82 轨迹检出 (0.814 默认；0.938 阈值校准)	3 / 8 AUROC 1 / 8 (并列) 轨迹	Cloudflare/clef (27.4B, 默认 Bal. Acc 0.808), clef-flash (0.967 AUROC, 81/82), clef-omni (0.946 AUROC, 81/82), d1-3B (68/82)
safeagents-judge-bench (v1) — 二元与 7 分类 (PR #1)	9 个决策模型 (+2 基线)	0.974 Bal. Acc / 0.850 Cat. F1	1 / 9 (双赛道第 1)	Cloudflare/clef-omni (30B, 0.845 / 0.327), Cloudflare/clef (27.4B, 0.718 / 0.425), clef-flash (0.721 / 0.345)
LocalLLaMA/typed-decisions — 零样本评测 (PR #58)	43 个模型 (36 开源, 19 个 ≤9B 开源)	0.7525 Acc (0.7625 并列口径) 0.1508 KL · 0.0795 Brier · 50 ms	7 / 43 总榜 5 / 36 开源 · 2 / 19 ≤9B	vllm-sr/d3 (27B, 0.749), Elephant 1 (9B, 0.748, 352 ms), Darwin-27B (0.743), Cloudflare/clef (27B, 0.728), clef-flash (0.710)
LocalLLaMA/typed-decisions — train 校准 (PR #57)	51 个微调与校准模型	0.7970 Acc (0.8070 并列口径) 0.0816 KL · 0.0437 Brier · 50 ms	并列 12 (列表 14 / 51) 冻结权重 ≤9B 及 KL 第 1	冻结全部模型权重（no weights changed）；高于 Rev-gen1-midi (25.6B, 0.7945)、OpenDecider-small-td (4B LoRA, 0.792)、OpenDecider-medium-td (30B LoRA, 0.788)
Cloudflare Decision Index (v0.2.1) — 10 任务套件	7 个模型 (0.4B–27.4B)	80.55% 宏平均	2 / 7 全量级总榜 ≤9B 量级 10 / 10 单项第 1	Jev (27B, 80.32%), Kev 9B (76.51%), Clef-flash (9.4B, 74.96%), DiffGemma (26B, 69.14%)；5 / 10 项任务高于 27.4B Clef

---

3.1 智能体工具调用安全审计评测 (safeagents-judge-bench)

harness-hub/safeagents-judge-bench 用于评估决策模型对真实编码智能体（运行于 Terminal-Bench 2.1、OpenThoughts-TBLite 与 Terminal-Bench 4）在沙箱中被静态扫描器 atif-scan 标记的可疑工具调用的审计能力。v2 测试集包含来自 55 个任务的 N = 661 次工具调用（其中 536 次为分布在 82 条违规轨迹中的恶意 block 调用，125 次为正常 allow 调用）。每次调用以零样本单次请求形式同时询问一个二元 noul 拦截问题与一个 7 类 choice 违规归因问题（legit、eval_gaming、harness_introspection、credential_misuse、exfiltration、sandbox_escape、other_overreach）。表 2 中的 v2 官方结果由基准维护者在 NVIDIA A100-SXM4-80GB（HF Jobs）上独立运行并提交合入（PR #1）。

在 7 类违规归因赛道上，FastBrain-9B 取得 0.751 的 Macro-F1 与 0.858 的分类准确率（567/661），位列全部参评模型第 1：相较于参数量约为其 3 倍的 27.4B 模型 Cloudflare/clef（Macro-F1 0.563，准确率 0.737），分别高出 +18.8 与 +12.1 个百分点；相较于同尺寸基座 Cloudflare/clef-flash（Macro-F1 0.462，准确率 0.576），分别提升 +28.9 与 +28.2 个百分点。分项指标上，harness_introspection（n = 272）F1 达 0.945（召回率 0.978），eval_gaming（n = 245）F1 达 0.828（召回率 0.853），合法调用 legit（n = 125）精确率达 0.975。

在二元安全拦截赛道上，FastBrain-9B 的 AUROC 为 0.985，恶意调用总召回率为 0.996（534/536），全部 82/82 条越界轨迹均在首次违规调用处即被捕获（median_bad_calls_before_catch = 0.0），其中 harness_introspection（272/272）、credential_misuse（15/15）与 sandbox_escape（4/4）三类召回率均为 1.000。在未经验证集调整的默认判别阈值 $P(\text{block})\ge 0.50P(\backslash text\{block\})\; \backslash ge\; 0.50$ 下，平衡准确率为 0.814（误拦率 0.368，优于 27.4B Cloudflare/clef 的平衡准确率 0.808 与误拦率 0.384）。由于连续概率排序区分度保持在 0.985 AUROC，将工作点阈值设定为 $P(\text{block})\ge 0.961P(\backslash text\{block\})\; \backslash ge\; 0.961$ 时，平衡准确率提升至 0.938，误拦率降至 0.056（7/125），同时仍保持 82/82 越界轨迹全检出。表 2 同时列出了 v1 版本（N = 562，78 条轨迹）的官方归档结果，FastBrain-9B 在该版本二元与多分类双赛道均位居第 1 / 9。

表 2：harness-hub/safeagents-judge-bench 零样本评测结果对比（v2 测试集 N = 661，82 条越界轨迹；附 v1 归档对照 N = 562）。

模型	参数量	7 分类 Macro-F1 ↑	7 分类准确率 ↑	AUROC ↑	平衡准确率 ↑	恶意召回率 ↑	误拦率 ↓	越界轨迹检出 ↑	p50 延迟（测试硬件）
TypeScript/FastBrain-9B (v2, 默认 t = 0.50)	9.4B	0.751	0.858	0.985	0.814	0.996	0.368	82 / 82	327 ms (A100) · 104 ms (G4)
TypeScript/FastBrain-9B (v2, 校准 t = 0.961)	9.4B	0.751	0.858	0.985	0.938	0.931	0.056	82 / 82	327 ms (A100) · 104 ms (G4)
TypeScript/FastBrain-9B (v1 官方榜, N = 562)	9.4B	0.850	0.923	0.983	0.974	1.000	0.051	78 / 78	104 ms (RTX PRO 6000)
Cloudflare/clef	27.4B	0.563	0.737	0.993	0.808	1.000	0.384	82 / 82	636 ms (A100)
vllm-sr/d3-mini	1.8B	0.512	0.652	0.986	0.856	1.000	0.288	82 / 82	168 ms (A100)
Cloudflare/clef-flash (基座)	9.4B	0.462	0.576	0.967	0.893	0.978	0.192	81 / 82	326 ms (A100)
Cloudflare/clef-omni	30B-A3B	0.437	0.564	0.946	0.877	0.914	0.160	81 / 82	285 ms (A100)
knowledgator/gliclass-v4-edge	0.4B	0.373	0.528	0.753	0.676	0.696	0.344	68 / 82	101 ms (L4)
fastino/GLiNER2.5-Decide	0.5B	0.355	0.620	0.517	0.576	0.151	0.000	17 / 82	117 ms (M5 Pro CPU)
LiquidAI/d1-3B	3.0B	0.328	0.457	0.946	0.836	0.681	0.008	68 / 82	35 ms (A100)

---

3.2 多业务流企业结构化决策评测 (LocalLLaMA/typed-decisions)

LocalLLaMA/typed-decisions 评测集覆盖智能体轨迹可观测性（agent_trace_observability）、客户服务（customer_service）、供应商发票核验（invoice_processing）与安全事件响应（security_incidents）四类企业工作流，测试集包含 400 个独立案例、共 2,000 个类型化子问题（涵盖 noul、choice 与 score），并以多教师模型集成的软标签分布作为真值基准。官方仓库存在两种并列真值处理脚本：bench/score_with_jobs.py 对真值分布中概率并列最高的选项按首个索引判对（g.index(max(g))），而 scripts/score_model.py 将 20 道并列题中的任一最高分选项均计为正确；两种脚本下的 KL 散度与 Brier 评分完全一致。我们在表 3 中同时报告两种口径的准确率，并在 eval_submissions/ 中公开原始预测文件。

在零样本总榜（N = 43 个参评模型）中，FastBrain-9B 取得 0.7525（并列口径 0.7625）的准确率、0.1508 的 KL 散度、0.0795 的 Brier 评分与 0.085 的期望校准误差（ECE），在 RTX PRO 6000（SGLang）上的 p50 延迟为 50 ms。该成绩位列全量零样本榜 第 7 / 43 、开源权重模型 第 5 / 36 、≤9B 开源模型 第 2 / 19 以及全部 Clef 架构模型 第 1 ，较 9.4B 基座 Cloudflare/clef-flash（准确率 0.7100，KL 0.2093）提升 +4.25 个百分点，较 27.4B Cloudflare/clef（准确率 0.7275，KL 0.1907）提升 +2.50 个百分点。在零样本准确率高于 0.700 的全部 28 个模型中，FastBrain-9B 具有最低的 p50 推理延迟（50 ms，对比 9B Amos 1 medium 的 118 ms、27B Amos 1 large 的 357 ms、meraGPT Decider 1 的 526 ms 以及 31B Quyet-1.0-Large 的 3,335 ms）。若直接评测未经后验规则调整的序数 KL 蒸馏原生头，零样本准确率为 0.7735（KL 0.1039，Brier 0.0582）。

在使用 train 划分（1,200 个样本）的独立榜单（N = 51 个模型）上，在 完全冻结主干与决策头权重 (no weights changed) 、仅拟合逐问题对数先验偏置与标量温度参数的前提下，FastBrain-9B 取得 0.7970（并列口径 0.8070）的准确率、0.0816 的 KL 散度与 0.0437 的 Brier 评分，位列 并列第 12（列表第 14 / 51） ，并在冻结权重模型中取得最优的 KL 分布校准度。

表 3：LocalLLaMA/typed-decisions 测试集（N = 400 案例，2,000 次决策）评测结果。/ 前后分别对应 score_with_jobs.py 与 score_model.py 口径。

模型	参数量	评测设定	总体准确率 ↑	KL 散度 ↓	Brier ↓	noul ↑	choice ↑	score ↑	Agent ↑	客服 ↑	发票 ↑	安全 ↑	p50 延迟
FastBrain-9B (先验温度拟合，冻结权重)	9.4B	Fitted	79.70% / 80.70%	0.0816	0.0437	86.7% / 88.0%	76.5% / 77.2%	76.9% / 77.9%	75.4% / 76.6%	82.0% / 83.4%	83.4% / 83.6%	78.0% / 79.2%	50 ms
FastBrain-9B (序数 KL 蒸馏原生头)	9.4B	Zero-shot	77.35%	0.1039	0.0582	84.8%	74.8%	73.8%	71.2%	80.4%	82.6%	75.2%	50 ms
FastBrain-9B (官方主榜 PR #58)	9.4B	Zero-shot	75.25% / 76.25%	0.1508	0.0795	83.2% / 84.3%	74.7% / 76.0%	69.8% / 70.4%	68.2% / 69.8%	77.6% / 78.8%	82.0%	73.2% / 74.4%	50 ms
Amos 1 (medium)	9.0B	Zero-shot	76.45%	0.1510	0.0800	—	—	—	—	—	—	—	118 ms
Amos 1 (large)	27.0B	Zero-shot	76.10%	0.1260	0.0690	83.2%	73.7%	72.6%	67.4%	78.8%	83.0%	75.2%	357 ms
pplx-decider-v1.1-27b	27.0B	Zero-shot	75.30%	0.4410	0.1600	85.2%	73.7%	69.1%	66.4%	80.2%	80.2%	74.4%	—
vllm-sr/d3	27.0B	Zero-shot	74.90%	0.4090	0.1460	84.7%	68.5%	72.4%	67.2%	76.6%	82.8%	73.0%	—
Baseten Elephant 1	9.0B	Zero-shot	74.80%	0.1340	0.0690	—	—	—	—	—	—	—	352 ms
Darwin-27B-ZTC	27.0B	Zero-shot	74.30%	0.2040	0.0970	—	—	—	—	—	—	—	—
Cloudflare/clef	27.4B	Zero-shot	72.75%	0.1907	0.1032	84.5%	64.8%	69.9%	63.8%	74.2%	78.6%	74.4%	—
vllm-sr/d3-flash	9.0B	Zero-shot	71.70%	0.3220	0.1310	—	—	—	—	—	—	—	—
Cloudflare/clef-flash (基座)	9.4B	Zero-shot	71.00%	0.2093	0.1105	81.5%	71.3%	62.9%	62.0%	76.0%	76.4%	69.6%	—
Cloudflare/clef-omni	35B-A3B	Zero-shot	67.30%	0.2469	0.1233	82.7%	63.5%	58.6%	55.2%	73.6%	74.2%	66.2%	—

---

3.3 多领域结构化决策基准 (Cloudflare Decision Index v0.2.1)

在涵盖 10 个评测数据集、共 N = 22,427 条请求的 Cloudflare Decision Index (v0.2.1) 套件（覆盖 AST 函数调用、20 候选工具检索重排、多步状态 API 调用、细粒度金融意图识别、开放集越界拒识、推理密集型检索、电商相关性分级、多探针钓鱼网站鉴别与工具调用触发治理）上，FastBrain-9B 的无加权 10 任务宏平均得分为 80.55% (表 4，图 1–3）。

在 ≤9B 参数量级（对比 Clef-flash 9.4B、Kev 9B 与 Laya 0.4B）中，FastBrain-9B 在全部 10 / 10 个子基准上均取得第 1 ，宏平均分较同架构基座 Clef-flash（74.96%）提升 +5.59 个百分点，较 Kev 9B（76.51%）提升 +4.04 个百分点。增幅主要集中于对边界校准敏感的开放集拒识与安全治理任务：CLINC150+OOS 提升 +31.67 个百分点（98.44% 对比 66.77%），When2Call 提升 +15.55 个百分点（81.13% 对比 65.58%），PhishNChips 提升 +6.80 个百分点（78.75% 对比 71.95%）。跨全部参数规模（最高 27.4B）比较，FastBrain-9B 总宏平均位列 第 2 / 7 ，高于 27B Jev（80.32%）与 26B-A4B DiffusionGemma Jev（69.14%），并在 BFCL、API-Bank、CLINC150+OOS、Home Appliances 与 When2Call 五个子基准上高于 27.4B Clef（81.81%）。

图 1. Cloudflare Decision Index（v0.2.1，22,427 条请求）10 任务宏平均分与模型参数规模关系。

图 2. 0.4B–27.4B 规模决策模型在 Cloudflare Decision Index（v0.2.1）各子任务上的详细得分矩阵。

图 3. 置信度可靠性图、开放集越界意图拒识（CLINC150+OOS）与工具触发边际分析（When2Call）。

表 4：Cloudflare Decision Index（v0.2.1，10 任务，N = 22,427）逐项评测结果。粗体表示全参数规模最高值，下划线表示 ≤9B 量级最高值。

评测基准（指标）	FastBrain-9B (本工作)	Clef-flash (基座)	Kev 9B	Clef	Jev	DiffGemma	Laya
总参数量	9.41B	9.41B	9.00B	27.36B	27.00B	25.8B (激活 4B)	0.42B
1. BFCL (Case Exact Acc)	98.76%	98.76%	97.58%	98.47%	98.58%	97.64%	95.87%
2. ToolRet (nDCG@10)	67.26%	67.26%	65.72%	68.18%	65.50%	45.28%	51.31%
3. API-Bank (Accuracy)	93.70%	93.11%	89.76%	91.93%	90.35%	85.24%	86.22%
4. BANKING77 (Macro-F1)	93.77%	93.69%	91.77%	94.07%	93.58%	93.80%	62.66%
5. CLINC150+OOS (Macro-F1)	98.44%	66.77%	96.65%	97.43%	96.44%	94.64%	73.79%
6. Home Appliances (Case Exact)	97.73%	96.59%	88.64%	96.59%	88.64%	68.18%	23.86%
7. BRIGHT (nDCG@10)	38.58%	38.49%	38.53%	48.03%	43.37%	18.69%	25.00%
8. Amazon ESCI (Macro-F1)	57.40%	57.39%	53.75%	59.30%	56.60%	56.83%	52.84%
9. PhishNChips (Accuracy)	78.75%	71.95%	72.10%	91.70%	88.20%	55.65%	60.45%
10. When2Call (Macro-F1)	81.13%	65.58%	70.64%	72.37%	81.91%	75.44%	48.92%
10 任务宏平均（Macro Mean）	80.55%	74.96%	76.51%	81.81%	80.32%	69.14%	58.09%

---

4. 系统吞吐与训练后量化分析

4.1 不同推理引擎性能对比

表 5 展示了在同一张 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，SGLang（集成 JointSchemaPooler 的 lmsysorg/sglang:dev-clef）、llama.cpp（b11430 ClefModel 计算图，含 Q8_0 与 Q4_K_M 两种精度）以及原生 PyTorch（joint_schema_model.py）在五类典型长度负载下的端到端延迟、Prefill 吞吐率与显存占用。由于全部请求的生成步数均为零（output_tokens = 0），推理耗时完全取决于 Prefill 计算与片段池化效率；在批量 B = 4 并发设定下，SGLang 吞吐达 19,319 tok/s（每秒完成 131.2 个独立结构化决策）。

表 5：NVIDIA RTX PRO 6000 Blackwell Server Edition（G4）上三类推理后端的延迟与吞吐实测。

评测负载 / 系统指标	SGLang dev-clef (BF16)	llama.cpp b11430 (Q8_0)	llama.cpp b11430 (Q4_K_M)	PyTorch 原生 (BF16)
冷启动加载时间	11.11 s	2.56 s	2.00 s	11.11 s
峰值显存占用 (16K 上下文)	~20.5 GiB	12.55 GiB	10.30 GiB	20.3–24.7 GiB
兼容 16 GiB T4 显卡	否 (BF16 TP=1)	是 (9.03 GiB, 4K)	是 (6.78 GiB, 4K)	是 (6.8 GiB, NF4)
相对 PyTorch BF16 Top-1 一致率	100.00%	99.86% (1,471 / 1,473)	98.78% (1,455 / 1,473)	100.00% (基准)
1. 短文本意图路由 (293 tok, K = 2)	30.01 ms (9,763 tok/s)	32.82 ms (8,929 tok/s)	31.69 ms (9,245 tok/s)	43.23 ms (6,778 tok/s)
2. Typed Decisions (736 tok, K = 5)	50.29 ms (14,635 tok/s)	62.40 ms (11,795 tok/s)	61.80 ms (11,909 tok/s)	63.58 ms (11,576 tok/s)
3. When2Call 工具治理 (1,068 tok, K = 1)	66.06 ms (16,167 tok/s)	87.78 ms (12,167 tok/s)	89.34 ms (11,955 tok/s)	77.77 ms (13,733 tok/s)
4. PhishNChips 安全检测 (1,303 tok, K = 9)	75.86 ms (17,176 tok/s)	108.55 ms (12,004 tok/s)	109.97 ms (11,849 tok/s)	90.32 ms (14,426 tok/s)
5. SafeAgents 审计 (2,217 tok, K = 2)	125.85 ms (17,616 tok/s)	181.70 ms (12,201 tok/s)	183.50 ms (12,082 tok/s)	138.06 ms (16,058 tok/s)
批量 B = 4 Typed Decisions (2,944 tok, 20 题)	152.39 ms (19,319 tok/s)	248.50 ms (11,847 tok/s)	245.20 ms (12,006 tok/s)	175.85 ms (16,742 tok/s)

4.2 混合精度 GGUF 量化保真度分析

若对交叉注意力决策头或线性注意力递归状态直接施加均匀 4-bit 量化，细粒度选项间微小的对数几率差值易受量化噪声干扰。因此在 FastBrain-9B-Q4_K_M.gguf（6.73 GB）构建方案中，仅对前馈网络（FFN）使用 4-bit K-quants，而将全部 dec.* 决策头张量、ssm_* Gated DeltaNet 状态参数以及 attn_* 投影矩阵保持为 Q8_0 精度。在涵盖 10 类任务的分层验证子集（203 个多约束请求，共 1,473 道独立评分题；表 6）上，Q8_0.gguf（9.66 GB）在 1,471/1,473 道题上与原生 bfloat16 给出完全一致的 Top-1 决策（一致率 99.86%，预测概率平均绝对误差 0.00203，10 任务均分差异 -0.03 个百分点）；Q4_K_M.gguf 保持了 98.78% 的 Top-1 决策一致率（概率 MAE 0.00387，校准后均分差异 -0.20 个百分点）。表 7 给出了各精度版本在不同硬件（含 NVIDIA Tesla T4 16 GiB 实测）上的资源需求。

表 6：10 任务分层子集（N = 1,473 道评分题）上 GGUF 量化模型的决策一致性与精度保持率。

评测指标 / 子任务	PyTorch bfloat16 (18.82 GB)	GGUF Q8_0 (9.66 GB)	GGUF Q4_K_M (6.73 GB, Q8_0 决策头)
Top-1 决策一致率 (N = 1,473)	100.00% (基准)	99.86% (1,471 / 1,473)	98.78% (1,455 / 1,473)
预测概率平均绝对误差 — $\mid {\widehat{p}}_q-{\widehat{p}}_{\mathrm{b}\mathrm{f}16}\mid \backslash lvert\; \backslash hat\{p\}\_q\; -\; \backslash hat\{p\}\_\{\backslash mathrm\{bf16\}\}\; \backslash rvert$	0.00000	0.00203	0.00387
10 任务宏平均（未校准原生输出）	82.37%	82.34% (-0.03)	82.56% (+0.19)
10 任务宏平均（Schema 拓扑校准）	83.68%	83.65% (-0.03)	83.48% (-0.20)
├─ 1. BFCL / 3. API-Bank / 4. BANKING77	100.0% / 95.0% / 100.0%	100.0% / 95.0% / 100.0%	100.0% / 95.0% / 100.0%
├─ 2. ToolRet / 7. BRIGHT	73.15% / 41.93%	73.70% / 41.00%	75.60% / 40.31%
├─ 5. CLINC150+OOS / 6. Home Appliances	93.94% / 90.00%	93.94% / 90.00%	93.94% / 90.00%
└─ 8. Amazon ESCI / 9. PhishNChips / 10. When2Call	73.89% / 85.00% / 75.00%	73.89% / 85.00% / 75.00%	75.79% / 85.00% / 72.92%

表 7：各精度格式的存储体积、显存占用峰值与 Tesla T4（16 GiB）实测延迟。

精度与权重格式	权重体积	峰值显存 (4K–16K 上下文)	T4 延迟 (293 / 1,068 tok)	适用硬件范围
FastBrain-9B-Q4_K_M.gguf	6.73 GB	6.78 – 10.30 GiB	343.0 ms / 1,154.3 ms	8–16 GB 显卡 (RTX 3060/4060, Tesla T4), Apple Silicon (8 GB+)
PyTorch load_in_4bit=True (NF4 + fp16 头)	~5.5 GB (内存)	6.20 – 6.80 GiB	—	8–16 GB CUDA 显卡 (Colab T4, 消费级 GPU)
FastBrain-9B-Q8_0.gguf	9.66 GB	9.03 – 12.55 GiB	349.3 ms / 1,149.8 ms	12–16 GB 显卡 (Tesla T4, RTX 4070 Ti), Apple Silicon (16 GB+)
PyTorch load_in_8bit=True (INT8 + bf16 头)	~9.6 GB (内存)	~11.20 GiB	—	12–16 GB CUDA 显卡
原生 bfloat16 (safetensors / BF16.gguf)	18.82 / 18.16 GB	20.30 – 24.70 GiB	—	≥24 GB 显卡 (NVIDIA L4, A100, H100, RTX 3090/4090, PRO 6000)

---

5. 推理复现与服务部署

5.1 Python / Transformers 接口（支持 bfloat16、8-bit 与 4-bit NF4）

TypeScript/FastBrain-9B 提供标准 joint_schema_model 接口，可与 Cloudflare/clef-flash 调用代码直接互换。启用 load_in_4bit=True 时，仅对 9.3B 主干网络执行 bitsandbytes NF4 量化，116M JointSchemaHead 保持浮点精度。

import sys
import torch
from huggingface_hub import snapshot_download

model_dir = snapshot_download("TypeScript/FastBrain-9B", ignore_patterns=["*.gguf"])
sys.path.insert(0, model_dir)
import joint_schema_model as clef

# 原生 bfloat16 加载 (>=24 GB 显存):
model, processor = clef.load_release_model(model_dir, device="cuda", dtype=torch.bfloat16)

# 混合精度 4-bit NF4 加载 (8-16 GB 显存，如免费 Colab Tesla T4):
# model, processor = clef.load_release_model(model_dir, device="cuda", dtype=torch.float16, load_in_4bit=True)

response = clef.systemone(model, processor, {
    "model": "TypeScript/FastBrain-9B",
    "state": {
        "query": "能帮我查询一下当前账户余额吗？",
        "tools": ["get_balance", "transfer_funds"],
    },
    "questions": {
        "next_action": {
            "type": "choice",
            "instructions": "选择最恰当的助手动作。",
            "criteria": {
                "call_balance": "调用 <tool_call>{\"name\": \"get_balance\", \"arguments\": {}}</tool_call>",
                "request_auth": "请用户先提供账户标识符或身份验证令牌。",
                "abstain": "拒绝执行，因为个人银行记录超出访问权限。",
            },
        },
    },
})
print(response)

5.2 llama.cpp GGUF 服务部署（/v1/systemone）

ClefModel 架构 GGUF 运行参数要求

1. 需使用 llama.cpp b11430 或更高版本 。该版本包含 LLM_ARCH_CLEF 计算图定义（支持 dec.* 决策头张量）与 /v1/systemone HTTP 路由；旧版构建或纯生成式封装无法执行交叉注意力决策头。
2. 启动时需将物理微批次设为与逻辑批次一致（如 -b 16384 -ub 16384 或 -b 4096 -ub 4096），并开启 --no-cache-prompt。ClefModel 在单个物理 ubatch 内对 <|question_*|> 与 <|option_*|> 区间执行池化，默认的 -ub 512 会截断超过 512 tokens 的输入序列，而前缀缓存可能跳过边界标记计算。

# 1. 下载预编译 llama.cpp (b11430+) 与 GGUF 权重文件
curl -sL https://github.com/ggml-org/llama.cpp/releases/download/b11430/llama-b11430-bin-ubuntu-cuda-13.4-x64.tar.gz | tar -xz
pip install -U "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 hf download TypeScript/FastBrain-9B FastBrain-9B-Q8_0.gguf --local-dir .

# 2. 启动 llama-server（如需处理图像状态，追加 --mmproj mmproj-FastBrain-9B-Q8_0.gguf）
export LD_LIBRARY_PATH="$(pwd)/llama-b11430:/usr/lib64-nvidia:/usr/local/cuda/lib64:${LD_LIBRARY_PATH}"
./llama-b11430/llama-server \
  -m ./FastBrain-9B-Q8_0.gguf \
  -ngl 99 -c 16384 -b 16384 -ub 16384 -np 1 -fa on --no-cache-prompt \
  --port 8080

向 /v1/systemone 发送单次请求即可同步评估异构题型组合（choice + noul）：

curl http://127.0.0.1:8080/v1/systemone \
  -H "Content-Type: application/json" \
  -d '{
    "model": "FastBrain-9B",
    "state": {
      "ticket_id": "ORD-99281",
      "customer_message": "我上周的订阅被重复扣费了两次，提交工单后一直无人处理。"
    },
    "questions": {
      "department": {
        "type": "choice",
        "instructions": "将该工单分派至对应的处理队列。",
        "criteria": {
          "billing": "账单支付、退款、重复扣费或发票核对",
          "engineering": "软件缺陷、程序崩溃或服务中断",
          "identity": "密码重置或多因素身份验证异常"
        }
      },
      "is_urgent": {
        "type": "noul",
        "instructions": "该消息是否涉及未解决的资金损失或时效敏感故障？"
      }
    }
  }'

5.3 SGLang 服务部署（JointSchemaPooler）

docker run --gpus all --shm-size 32g -p 30000:30000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host \
  lmsysorg/sglang:dev-clef \
  sglang serve --model-path TypeScript/FastBrain-9B --host 0.0.0.0 --port 30000

---

6. 仓库文件清单与引用格式

表 8：仓库文件与权重清单说明。

文件路径	体积	内容说明
model-00001-of-00004.safetensors .. 00004	18.59 GB	原地合并全部投影更新后的 bfloat16 混合主干网络权重
joint_head.safetensors, joint_head_config.json	232 MB	116M 参数 JointSchemaHead 权重（122 个张量）与结构配置
FastBrain-9B-Q4_K_M.gguf	6.73 GB	混合精度 4-bit GGUF（dec.*、ssm_* 与 attn_* 保持 Q8_0）
FastBrain-9B-Q8_0.gguf / FastBrain-9B-BF16.gguf	9.66 / 18.16 GB	面向 llama-server（b11430+）的 8-bit 与 bfloat16 GGUF 权重
mmproj-FastBrain-9B-Q8_0.gguf / BF16.gguf	624 / 922 MB	支持多模态图像状态输入的视觉投影器权重
joint_schema_model.py	25 KB	ClefModel 定义、向量化 _forward_fast_cuda 算子及 systemone() 运行时
eval_submissions/typescript_fastbrain-9b*.json	1.80 MB	LocalLLaMA/typed-decisions 零样本与先验拟合的 2,000 次决策原始预测轨迹
eval_submissions/TypeScript__FastBrain-9B*.jsonl	110 KB	safeagents-judge-bench（v2）661 条工具调用的二元与 7 分类预测轨迹
.eval_results/*.yaml	2.3 KB	Hugging Face Hub 标准化评测结果元数据
README.md, README_zh.md, assets/*.png	1.28 MB	中英双语技术报告与实验评测图表

引用（Citation）

@misc{fastbrain9b2026,
  title        = {FastBrain-9B: A Single-Pass Non-Autoregressive Model for Calibrated Structured Decisions},
  author       = {TypeScript},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/TypeScript/FastBrain-9B}},
  note         = {Apache-2.0 License}
}