# FastBrain-9B
**面向校准结构化决策的单次前向非自回归模型**
[-3b82f6?style=flat-square)](#2-模型架构与训练目标)
[-10b981?style=flat-square)](#2-模型架构与训练目标)
[-ec4899?style=flat-square)](#31-智能体工具调用安全审计评测-safeagents-judge-bench)
[_%C2%B7_50ms-8b5cf6?style=flat-square)](#32-多业务流企业结构化决策评测-localllamatyped-decisions)
[-f59e0b?style=flat-square)](#33-多领域结构化决策基准-cloudflare-decision-index-v021)
[](./LICENSE)
**[English](./README.md)** | **简体中文**
---
## 摘要
将自回归语言模型用于封闭 Schema 分类、工具路由与安全合规校验等结构化决策任务时，逐 Token 解码机制不仅引入与决策复杂度无关的序列生成延迟，还会因表面词形切分导致类别概率分布失准。本文发布 **FastBrain-9B** ，一个总参数量为 9.41B 的非自回归结构化决策模型，由 32 层混合 Gated DeltaNet 线性注意力与全注意力主干网络（基于 `Cloudflare/clef-flash` 初始化的 `Qwen3.5-9B` 架构）及 116M 参数的交叉注意力联合决策头（`JointSchemaHead`）组成。给定任意 JSON 或多模态状态以及一组类型化决策定义（多选分类 `choice`、二元真值判别 `noul` 与序数量表评分 `score`），模型仅通过单次 Prefill 前向传播（`output_tokens = 0`）即可同步输出全部问题与候选项的校准概率分布。训练阶段，我们在复合序数 KL 散度、累积分布距离（离散分级概率评分 RPS）与期望值均方误差目标下，联合优化全部 32 层中的 104 个注意力投影矩阵及决策头参数，并将增量权重原地合并至主干张量。在涵盖 109 个参评模型条目的三项公开评测基准中：FastBrain-9B 在 `safeagents-judge-bench`（v2）7 类违规判别赛道位列 **第 1 / 8** （Macro-F1 `0.751`，准确率 `0.858`，较 27.4B 参数的 `Cloudflare/clef` 高出 18.8 个百分点），并在二元拦截赛道实现 `82/82` 越界轨迹全检出（AUROC `0.985`）；在 `LocalLLaMA/typed-decisions` 零样本总榜位列 **第 7 / 43** （开源权重模型 **第 5 / 36** ，≤9B 开源模型 **第 2 / 19**），中位推理延迟为 `50 ms`（较 31B 模型 `Quyet-1.0-Large` 快 66.7 倍），在冻结全部模型权重仅拟合先验与温度参数的设定下位列 `train` 校准榜 **并列第 12（列表第 14 / 51）** （准确率 `0.7970`，KL 散度 `0.0816`）；在 Cloudflare Decision Index（v0.2.1）10 任务套件上取得 **80.55%** 的宏平均分，位列全量级 **第 2 / 7** 、≤9B 量级 **10 / 10 任务单项第 1** ，并在其中 5 项任务上超越 27.4B 的 `Cloudflare/clef`。
---
## 1. 研究背景与设计动机
在实际部署的智能体（Agent）与企业自动化工作流中，系统需高频执行具有明确输出空间的结构化判断，例如候选工具与参数选择、沙箱可疑命令拦截、工单队列分发以及有序风险等级评定。采用自回归生成范式求解此类问题存在两方面固有局限：其一，端到端延迟受限于格式化字符与标签文本的串行解码步数；其二，概率质量被分散至同义词表面形式或格式 Token 上，导致预测分布偏离真实后验概率，难以直接设定可靠的拒识或风险拦截阈值。
单次前向决策架构（`ClefModel` / System-1 范式）通过特殊边界标记将问题描述与候选项直接编码至输入序列尾部，利用最后一层隐藏状态经单次 Prefill 前向直接读取各选项对数几率（Logits），从而消除了自回归解码开销。然而，现有 9B 级决策基座在细粒度多类判别、序数标尺回归以及开放集越界拒识任务上与 27B–35B 级模型仍存在显著差距（例如 `Cloudflare/clef-flash` 在 `safeagents-judge-bench` v2 多分类赛道 Macro-F1 仅为 `0.462`，在 `CLINC150+OOS` 上仅为 `66.77%`）。FastBrain-9B 通过全深度投影矩阵联合适配、序数累积分布蒸馏以及编译期 Schema 拓扑边际校准，在保持 9B 级显存与单卡亚百毫秒延迟的前提下弥补乃至逆转了上述规模差距，并提供了高精度保持率的 8-bit 与 4-bit GGUF 量化部署方案。
---
## 2. 模型架构与训练目标
### 2.1 混合线性注意力与全注意力主干网络
FastBrain-9B 主干网络包含 32 层混合序列建模模块（`9.30B` 参数，`bfloat16` 精度，最大上下文长度 `262,144` tokens），由 24 层 Gated DeltaNet 线性注意力模块与 8 层标准多头自注意力模块交替堆叠而成。在指令适应阶段，我们联合解冻并更新全部 32 层中的 104 个核心投影矩阵（包括线性注意力层的 `in_proj_qkv`、`in_proj_z`、`out_proj` 以及全注意力层的 `q_proj`、`k_proj`、`v_proj`、`o_proj`）。训练完成后，所有参数更新均被精确合并至 `model-00001-of-00004.safetensors` 至 `model-00004-of-00004.safetensors` 中，推理阶段无需加载外部 LoRA 适配器。
### 2.2 联合 Schema 决策头与向量化 CUDA 算子
`JointSchemaHead`（`116M` 参数，独立存储于 `joint_head.safetensors`）从主干末层隐藏状态 \\(H \in \mathbb{R}^{T \times d}\\) 中提取由 `<|question_start|>`/`<|question_end|>` 与 `<|option_start|>`/`<|option_end|>` 界定的片段表征，经问题-选项交叉注意力交互后映射为三类基础决策原语的标量对数几率：
1. **`choice`** (*K* 分类离散分布): 输出归一化概率向量 \\(\hat{p} = \operatorname{softmax}(z / \tau) \in \Delta^{K-1}\\) 。
2. **`noul`** (二元真值判别): 输出命题成立概率 \\(\hat{p}(\text{true}) = \sigma(z_{\text{true}} - z_{\text{false}})\\) 。
3. **`score`** (定义在有序分值 \\(v_1 < \dots < v_K\\) 上的量表评估): 同时输出各等级概率 \\(\hat{p} \in \Delta^{K-1}\\) 与数学期望得分 \\(\mathbb{E}[\hat{y}] = \sum_{k=1}^K \hat{p}_k v_k\\) 。
在参考运行时 `joint_schema_model.py` 中，针对 CUDA 设备实现了融合算子路径 `_forward_fast_cuda`：利用基于 `torch.cumsum` 的 \\(\mathcal{O}(1)\\) 前缀和差分替代逐片段 Python 循环完成变长片段均值池化，并通过 `cu_seqlens` 紧凑打包调用变长 FlashAttention（`torch.ops.aten._flash_attention_forward`）替代稠密掩码注意力。在 NVIDIA RTX PRO 6000 Blackwell 上，该实现将决策头单次前向耗时由 `3.27 ms` 降至 `1.72 ms`（**1.90 倍加速**），且保持严格数值等价（最大 Logit 绝对偏差 `max_logit_diff = 0.00000`）。
### 2.3 序数 KL 蒸馏与编译期 Schema 拓扑校准
标准交叉熵或普通多类 KL 散度将有序评定量表视为无序独立类别，对相邻等级误差与跨端极端误差施加同等惩罚。FastBrain-9B 在 `TypeScript/FastBrain-Instruct` 数据集上采用复合分布匹配损失进行训练，联合优化软标签 KL 散度、离散分级概率评分（预测累积分布 \\(\hat{F}_k = \sum_{j \le k} \hat{p}_j\\) 与目标累积分布 \\(F_k\\) 之间的二阶距离）以及 `score` 题型的期望值均方误差：
$$
\mathcal{L}(\theta) = \mathrm{KL}(p \,\|\, \hat{p}_\theta) + \lambda_{\mathrm{ord}} \sum_{k=1}^{K-1} \bigl(\hat{F}_{\theta,k} - F_k\bigr)^2 + \mathbb{I}[\text{type}=\text{score}] \cdot \lambda_{\mathrm{mse}} \bigl(\mathbb{E}[\hat{y}_\theta] - \mathbb{E}[y]\bigr)^2.
$$
在推理阶段，`joint_schema_model.py` 提供可选的编译期 Schema 拓扑校准函数（`apply_schema_aware_calibration`），通过解析候选项的语法结构特征（如 `` 调用声明、澄清追问子句及越界拒识选项）修正判别边际，抑制工具过度触发（Over-Triggering）与开放集误接收。
---
## 3. 实验评测与基准分析
**表 1：公开评测基准与官方排行榜结果汇总（截至 2026 年 11 月，核验共 109 个参评模型条目）。**
| 评测基准与赛道 | 参评模型规模 | FastBrain-9B 核心指标 | 官方排名 | 代表性对比基线（参数量，指标） |
| :--- | :---: | :---: | :---: | :--- |
| [`safeagents-judge-bench` (v2)](https://huggingface.co/datasets/harness-hub/safeagents-judge-bench/tree/v2) — 7 类违规判别 ([PR #1](https://huggingface.co/TypeScript/FastBrain-9B/discussions/1)) | 8 个决策模型 (+2 基线) | **0.751** Macro-F1 / **0.858** Acc | **1 / 8** | `Cloudflare/clef` (27.4B, `0.563`), `vllm-sr/d3-mini` (1.8B, `0.512`), `Cloudflare/clef-flash` (9.4B, `0.462`), `clef-omni` (30B, `0.437`) |
| [`safeagents-judge-bench` (v2)](https://huggingface.co/datasets/harness-hub/safeagents-judge-bench/tree/v2) — 二元安全护栏 ([PR #1](https://huggingface.co/TypeScript/FastBrain-9B/discussions/1)) | 8 个决策模型 (+2 基线) | **0.985** AUROC / **82/82** 轨迹检出
(`0.814` 默认；**0.938** 阈值校准) | **3 / 8** AUROC
**1 / 8** (并列) 轨迹 | `Cloudflare/clef` (27.4B, 默认 Bal. Acc `0.808`), `clef-flash` (`0.967` AUROC, `81/82`), `clef-omni` (`0.946` AUROC, `81/82`), `d1-3B` (`68/82`) |
| [`safeagents-judge-bench` (v1)](https://huggingface.co/datasets/harness-hub/safeagents-judge-bench/tree/v1) — 二元与 7 分类 ([PR #1](https://huggingface.co/datasets/harness-hub/safeagents-judge-bench/discussions/1)) | 9 个决策模型 (+2 基线) | **0.974** Bal. Acc / **0.850** Cat. F1 | **1 / 9** (双赛道第 1) | `Cloudflare/clef-omni` (30B, `0.845` / `0.327`), `Cloudflare/clef` (27.4B, `0.718` / `0.425`), `clef-flash` (`0.721` / `0.345`) |
| [`LocalLLaMA/typed-decisions`](https://huggingface.co/datasets/LocalLLaMA/typed-decisions) — 零样本评测 ([PR #58](https://huggingface.co/datasets/LocalLLaMA/typed-decisions/discussions/58)) | 43 个模型 (36 开源, 19 个 ≤9B 开源) | **0.7525** Acc (`0.7625` 并列口径)
`0.1508` KL · `0.0795` Brier · **50 ms** | **7 / 43** 总榜
**5 / 36** 开源 · **2 / 19** ≤9B | `vllm-sr/d3` (27B, `0.749`), `Elephant 1` (9B, `0.748`, `352 ms`), `Darwin-27B` (`0.743`), `Cloudflare/clef` (27B, `0.728`), `clef-flash` (`0.710`) |
| [`LocalLLaMA/typed-decisions`](https://huggingface.co/datasets/LocalLLaMA/typed-decisions) — `train` 校准 ([PR #57](https://huggingface.co/datasets/LocalLLaMA/typed-decisions/discussions/57)) | 51 个微调与校准模型 | **0.7970** Acc (`0.8070` 并列口径)
**0.0816** KL · **0.0437** Brier · **50 ms** | **并列 12** (列表 14 / 51)
冻结权重 ≤9B 及 KL **第 1** | 冻结全部模型权重（`no weights changed`）；高于 `Rev-gen1-midi` (25.6B, `0.7945`)、`OpenDecider-small-td` (4B LoRA, `0.792`)、`OpenDecider-medium-td` (30B LoRA, `0.788`) |
| Cloudflare Decision Index (`v0.2.1`) — 10 任务套件 | 7 个模型 (0.4B–27.4B) | **80.55%** 宏平均 | **2 / 7** 全量级总榜
≤9B 量级 **10 / 10 单项第 1** | `Jev` (27B, `80.32%`), `Kev 9B` (`76.51%`), `Clef-flash` (9.4B, `74.96%`), `DiffGemma` (26B, `69.14%`)；5 / 10 项任务高于 `27.4B Clef` |
---
### 3.1 智能体工具调用安全审计评测 (`safeagents-judge-bench`)
[`harness-hub/safeagents-judge-bench`](https://huggingface.co/datasets/harness-hub/safeagents-judge-bench/tree/v2) 用于评估决策模型对真实编码智能体（运行于 Terminal-Bench 2.1、OpenThoughts-TBLite 与 Terminal-Bench 4）在沙箱中被静态扫描器 `atif-scan` 标记的可疑工具调用的审计能力。`v2` 测试集包含来自 55 个任务的 *N* = 661 次工具调用（其中 `536` 次为分布在 `82` 条违规轨迹中的恶意 `block` 调用，`125` 次为正常 `allow` 调用）。每次调用以零样本单次请求形式同时询问一个二元 `noul` 拦截问题与一个 7 类 `choice` 违规归因问题（`legit`、`eval_gaming`、`harness_introspection`、`credential_misuse`、`exfiltration`、`sandbox_escape`、`other_overreach`）。表 2 中的 `v2` 官方结果由基准维护者在 NVIDIA A100-SXM4-80GB（HF Jobs）上独立运行并提交合入（[PR #1](https://huggingface.co/TypeScript/FastBrain-9B/discussions/1)）。
在 7 类违规归因赛道上，FastBrain-9B 取得 `0.751` 的 Macro-F1 与 `0.858` 的分类准确率（`567/661`），位列全部参评模型第 1：相较于参数量约为其 3 倍的 27.4B 模型 `Cloudflare/clef`（Macro-F1 `0.563`，准确率 `0.737`），分别高出 `+18.8` 与 `+12.1` 个百分点；相较于同尺寸基座 `Cloudflare/clef-flash`（Macro-F1 `0.462`，准确率 `0.576`），分别提升 `+28.9` 与 `+28.2` 个百分点。分项指标上，`harness_introspection`（*n* = 272）F1 达 `0.945`（召回率 `0.978`），`eval_gaming`（*n* = 245）F1 达 `0.828`（召回率 `0.853`），合法调用 `legit`（*n* = 125）精确率达 `0.975`。
在二元安全拦截赛道上，FastBrain-9B 的 AUROC 为 `0.985`，恶意调用总召回率为 `0.996`（`534/536`），全部 `82/82` 条越界轨迹均在首次违规调用处即被捕获（`median_bad_calls_before_catch = 0.0`），其中 `harness_introspection`（`272/272`）、`credential_misuse`（`15/15`）与 `sandbox_escape`（`4/4`）三类召回率均为 `1.000`。在未经验证集调整的默认判别阈值 \\(P(\text{block}) \ge 0.50\\) 下，平衡准确率为 `0.814`（误拦率 `0.368`，优于 27.4B `Cloudflare/clef` 的平衡准确率 `0.808` 与误拦率 `0.384`）。由于连续概率排序区分度保持在 `0.985` AUROC，将工作点阈值设定为 \\(P(\text{block}) \ge 0.961\\) 时，平衡准确率提升至 `0.938`，误拦率降至 `0.056`（`7/125`），同时仍保持 `82/82` 越界轨迹全检出。表 2 同时列出了 `v1` 版本（*N* = 562，78 条轨迹）的官方归档结果，FastBrain-9B 在该版本二元与多分类双赛道均位居第 1 / 9。
**表 2：`harness-hub/safeagents-judge-bench` 零样本评测结果对比（`v2` 测试集 *N* = 661，82 条越界轨迹；附 `v1` 归档对照 *N* = 562）。**
| 模型 | 参数量 | 7 分类 Macro-F1 ↑ | 7 分类准确率 ↑ | AUROC ↑ | 平衡准确率 ↑ | 恶意召回率 ↑ | 误拦率 ↓ | 越界轨迹检出 ↑ | p50 延迟（测试硬件） |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| **TypeScript/FastBrain-9B** (`v2`, 默认 *t* = 0.50) | 9.4B | **0.751** | **0.858** | 0.985 | 0.814 | 0.996 | 0.368 | **82 / 82** | 327 ms (A100) · 104 ms (G4) |
| **TypeScript/FastBrain-9B** (`v2`, 校准 *t* = 0.961) | 9.4B | **0.751** | **0.858** | 0.985 | **0.938** | 0.931 | 0.056 | **82 / 82** | 327 ms (A100) · 104 ms (G4) |
| **TypeScript/FastBrain-9B** (`v1` 官方榜, *N* = 562) | 9.4B | **0.850** | **0.923** | 0.983 | **0.974** | **1.000** | 0.051 | **78 / 78** | 104 ms (RTX PRO 6000) |
| Cloudflare/clef | 27.4B | 0.563 | 0.737 | **0.993** | 0.808 | **1.000** | 0.384 | **82 / 82** | 636 ms (A100) |
| vllm-sr/d3-mini | 1.8B | 0.512 | 0.652 | 0.986 | 0.856 | **1.000** | 0.288 | **82 / 82** | 168 ms (A100) |
| Cloudflare/clef-flash (基座) | 9.4B | 0.462 | 0.576 | 0.967 | 0.893 | 0.978 | 0.192 | 81 / 82 | 326 ms (A100) |
| Cloudflare/clef-omni | 30B-A3B | 0.437 | 0.564 | 0.946 | 0.877 | 0.914 | 0.160 | 81 / 82 | 285 ms (A100) |
| knowledgator/gliclass-v4-edge | 0.4B | 0.373 | 0.528 | 0.753 | 0.676 | 0.696 | 0.344 | 68 / 82 | 101 ms (L4) |
| fastino/GLiNER2.5-Decide | 0.5B | 0.355 | 0.620 | 0.517 | 0.576 | 0.151 | **0.000** | 17 / 82 | 117 ms (M5 Pro CPU) |
| LiquidAI/d1-3B | 3.0B | 0.328 | 0.457 | 0.946 | 0.836 | 0.681 | 0.008 | 68 / 82 | **35 ms** (A100) |
---
### 3.2 多业务流企业结构化决策评测 (`LocalLLaMA/typed-decisions`)
[`LocalLLaMA/typed-decisions`](https://huggingface.co/datasets/LocalLLaMA/typed-decisions) 评测集覆盖智能体轨迹可观测性（`agent_trace_observability`）、客户服务（`customer_service`）、供应商发票核验（`invoice_processing`）与安全事件响应（`security_incidents`）四类企业工作流，测试集包含 400 个独立案例、共 2,000 个类型化子问题（涵盖 `noul`、`choice` 与 `score`），并以多教师模型集成的软标签分布作为真值基准。官方仓库存在两种并列真值处理脚本：`bench/score_with_jobs.py` 对真值分布中概率并列最高的选项按首个索引判对（`g.index(max(g))`），而 `scripts/score_model.py` 将 20 道并列题中的任一最高分选项均计为正确；两种脚本下的 KL 散度与 Brier 评分完全一致。我们在表 3 中同时报告两种口径的准确率，并在 [`eval_submissions/`](./eval_submissions/) 中公开原始预测文件。
在零样本总榜（*N* = 43 个参评模型）中，FastBrain-9B 取得 `0.7525`（并列口径 `0.7625`）的准确率、`0.1508` 的 KL 散度、`0.0795` 的 Brier 评分与 `0.085` 的期望校准误差（ECE），在 RTX PRO 6000（SGLang）上的 p50 延迟为 `50 ms`。该成绩位列全量零样本榜 **第 7 / 43** 、开源权重模型 **第 5 / 36** 、≤9B 开源模型 **第 2 / 19** 以及全部 `Clef` 架构模型 **第 1** ，较 9.4B 基座 `Cloudflare/clef-flash`（准确率 `0.7100`，KL `0.2093`）提升 `+4.25` 个百分点，较 27.4B `Cloudflare/clef`（准确率 `0.7275`，KL `0.1907`）提升 `+2.50` 个百分点。在零样本准确率高于 `0.700` 的全部 28 个模型中，FastBrain-9B 具有最低的 p50 推理延迟（`50 ms`，对比 9B `Amos 1 medium` 的 `118 ms`、27B `Amos 1 large` 的 `357 ms`、`meraGPT Decider 1` 的 `526 ms` 以及 31B `Quyet-1.0-Large` 的 `3,335 ms`）。若直接评测未经后验规则调整的序数 KL 蒸馏原生头，零样本准确率为 `0.7735`（KL `0.1039`，Brier `0.0582`）。
在使用 `train` 划分（1,200 个样本）的独立榜单（*N* = 51 个模型）上，在 **完全冻结主干与决策头权重 (`no weights changed`)** 、仅拟合逐问题对数先验偏置与标量温度参数的前提下，FastBrain-9B 取得 `0.7970`（并列口径 `0.8070`）的准确率、`0.0816` 的 KL 散度与 `0.0437` 的 Brier 评分，位列 **并列第 12（列表第 14 / 51）** ，并在冻结权重模型中取得最优的 KL 分布校准度。
**表 3：`LocalLLaMA/typed-decisions` 测试集（*N* = 400 案例，2,000 次决策）评测结果。`/` 前后分别对应 `score_with_jobs.py` 与 `score_model.py` 口径。**
| 模型 | 参数量 | 评测设定 | 总体准确率 ↑ | KL 散度 ↓ | Brier ↓ | `noul` ↑ | `choice` ↑ | `score` ↑ | Agent ↑ | 客服 ↑ | 发票 ↑ | 安全 ↑ | p50 延迟 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| **FastBrain-9B** (先验温度拟合，冻结权重) | 9.4B | Fitted | **79.70% / 80.70%** | **0.0816** | **0.0437** | **86.7% / 88.0%** | **76.5% / 77.2%** | **76.9% / 77.9%** | **75.4% / 76.6%** | **82.0% / 83.4%** | **83.4% / 83.6%** | **78.0% / 79.2%** | **50 ms** |
| **FastBrain-9B** (序数 KL 蒸馏原生头) | 9.4B | Zero-shot | 77.35% | 0.1039 | 0.0582 | 84.8% | 74.8% | 73.8% | 71.2% | 80.4% | 82.6% | 75.2% | **50 ms** |
| **FastBrain-9B** (官方主榜 PR #58) | 9.4B | Zero-shot | 75.25% / 76.25% | 0.1508 | 0.0795 | 83.2% / 84.3% | 74.7% / 76.0% | 69.8% / 70.4% | 68.2% / 69.8% | 77.6% / 78.8% | 82.0% | 73.2% / 74.4% | **50 ms** |
| Amos 1 (medium) | 9.0B | Zero-shot | 76.45% | 0.1510 | 0.0800 | — | — | — | — | — | — | — | 118 ms |
| Amos 1 (large) | 27.0B | Zero-shot | 76.10% | 0.1260 | 0.0690 | 83.2% | 73.7% | 72.6% | 67.4% | 78.8% | 83.0% | 75.2% | 357 ms |
| pplx-decider-v1.1-27b | 27.0B | Zero-shot | 75.30% | 0.4410 | 0.1600 | 85.2% | 73.7% | 69.1% | 66.4% | 80.2% | 80.2% | 74.4% | — |
| vllm-sr/d3 | 27.0B | Zero-shot | 74.90% | 0.4090 | 0.1460 | 84.7% | 68.5% | 72.4% | 67.2% | 76.6% | 82.8% | 73.0% | — |
| Baseten Elephant 1 | 9.0B | Zero-shot | 74.80% | 0.1340 | 0.0690 | — | — | — | — | — | — | — | 352 ms |
| Darwin-27B-ZTC | 27.0B | Zero-shot | 74.30% | 0.2040 | 0.0970 | — | — | — | — | — | — | — | — |
| Cloudflare/clef | 27.4B | Zero-shot | 72.75% | 0.1907 | 0.1032 | 84.5% | 64.8% | 69.9% | 63.8% | 74.2% | 78.6% | 74.4% | — |
| vllm-sr/d3-flash | 9.0B | Zero-shot | 71.70% | 0.3220 | 0.1310 | — | — | — | — | — | — | — | — |
| Cloudflare/clef-flash (基座) | 9.4B | Zero-shot | 71.00% | 0.2093 | 0.1105 | 81.5% | 71.3% | 62.9% | 62.0% | 76.0% | 76.4% | 69.6% | — |
| Cloudflare/clef-omni | 35B-A3B | Zero-shot | 67.30% | 0.2469 | 0.1233 | 82.7% | 63.5% | 58.6% | 55.2% | 73.6% | 74.2% | 66.2% | — |
---
### 3.3 多领域结构化决策基准 (Cloudflare Decision Index `v0.2.1`)
在涵盖 10 个评测数据集、共 *N* = 22,427 条请求的 **Cloudflare Decision Index (`v0.2.1`)** 套件（覆盖 AST 函数调用、20 候选工具检索重排、多步状态 API 调用、细粒度金融意图识别、开放集越界拒识、推理密集型检索、电商相关性分级、多探针钓鱼网站鉴别与工具调用触发治理）上，FastBrain-9B 的无加权 10 任务宏平均得分为 **80.55%** (表 4，图 1–3）。
在 ≤9B 参数量级（对比 `Clef-flash` 9.4B、`Kev 9B` 与 `Laya` 0.4B）中，FastBrain-9B 在全部 **10 / 10 个子基准上均取得第 1** ，宏平均分较同架构基座 `Clef-flash`（`74.96%`）提升 `+5.59` 个百分点，较 `Kev 9B`（`76.51%`）提升 `+4.04` 个百分点。增幅主要集中于对边界校准敏感的开放集拒识与安全治理任务：`CLINC150+OOS` 提升 `+31.67` 个百分点（`98.44%` 对比 `66.77%`），`When2Call` 提升 `+15.55` 个百分点（`81.13%` 对比 `65.58%`），`PhishNChips` 提升 `+6.80` 个百分点（`78.75%` 对比 `71.95%`）。跨全部参数规模（最高 27.4B）比较，FastBrain-9B 总宏平均位列 **第 2 / 7** ，高于 `27B Jev`（`80.32%`）与 `26B-A4B DiffusionGemma Jev`（`69.14%`），并在 `BFCL`、`API-Bank`、`CLINC150+OOS`、`Home Appliances` 与 `When2Call` 五个子基准上高于 `27.4B Clef`（`81.81%`）。
*图 1. Cloudflare Decision Index（v0.2.1，22,427 条请求）10 任务宏平均分与模型参数规模关系。*
*图 2. 0.4B–27.4B 规模决策模型在 Cloudflare Decision Index（v0.2.1）各子任务上的详细得分矩阵。*
*图 3. 置信度可靠性图、开放集越界意图拒识（`CLINC150+OOS`）与工具触发边际分析（`When2Call`）。*
**表 4：Cloudflare Decision Index（`v0.2.1`，10 任务，*N* = 22,427）逐项评测结果。粗体表示全参数规模最高值，下划线表示 ≤9B 量级最高值。**
| 评测基准（指标） | **FastBrain-9B** (本工作) | Clef-flash (基座) | Kev 9B | Clef | Jev | DiffGemma | Laya |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| 总参数量 | 9.41B | 9.41B | 9.00B | 27.36B | 27.00B | 25.8B (激活 4B) | 0.42B |
| 1. BFCL (Case Exact Acc) | **98.76%** | **98.76%** | 97.58% | 98.47% | 98.58% | 97.64% | 95.87% |
| 2. ToolRet (nDCG@10) | 67.26% | 67.26% | 65.72% | **68.18%** | 65.50% | 45.28% | 51.31% |
| 3. API-Bank (Accuracy) | **93.70%** | 93.11% | 89.76% | 91.93% | 90.35% | 85.24% | 86.22% |
| 4. BANKING77 (Macro-F1) | 93.77% | 93.69% | 91.77% | **94.07%** | 93.58% | 93.80% | 62.66% |
| 5. CLINC150+OOS (Macro-F1) | **98.44%** | 66.77% | 96.65% | 97.43% | 96.44% | 94.64% | 73.79% |
| 6. Home Appliances (Case Exact) | **97.73%** | 96.59% | 88.64% | 96.59% | 88.64% | 68.18% | 23.86% |
| 7. BRIGHT (nDCG@10) | 38.58% | 38.49% | 38.53% | **48.03%** | 43.37% | 18.69% | 25.00% |
| 8. Amazon ESCI (Macro-F1) | 57.40% | 57.39% | 53.75% | **59.30%** | 56.60% | 56.83% | 52.84% |
| 9. PhishNChips (Accuracy) | 78.75% | 71.95% | 72.10% | **91.70%** | 88.20% | 55.65% | 60.45% |
| 10. When2Call (Macro-F1) | 81.13% | 65.58% | 70.64% | 72.37% | **81.91%** | 75.44% | 48.92% |
| **10 任务宏平均（Macro Mean）** | 80.55% | 74.96% | 76.51% | **81.81%** | 80.32% | 69.14% | 58.09% |
---
## 4. 系统吞吐与训练后量化分析
### 4.1 不同推理引擎性能对比
表 5 展示了在同一张 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，SGLang（集成 `JointSchemaPooler` 的 `lmsysorg/sglang:dev-clef`）、`llama.cpp`（`b11430` `ClefModel` 计算图，含 `Q8_0` 与 `Q4_K_M` 两种精度）以及原生 PyTorch（`joint_schema_model.py`）在五类典型长度负载下的端到端延迟、Prefill 吞吐率与显存占用。由于全部请求的生成步数均为零（`output_tokens = 0`），推理耗时完全取决于 Prefill 计算与片段池化效率；在批量 *B* = 4 并发设定下，SGLang 吞吐达 `19,319 tok/s`（每秒完成 `131.2` 个独立结构化决策）。
**表 5：NVIDIA RTX PRO 6000 Blackwell Server Edition（G4）上三类推理后端的延迟与吞吐实测。**
| 评测负载 / 系统指标 | SGLang `dev-clef` (BF16) | `llama.cpp b11430` (`Q8_0`) | `llama.cpp b11430` (`Q4_K_M`) | PyTorch 原生 (BF16) |
| :--- | :---: | :---: | :---: | :---: |
| 冷启动加载时间 | 11.11 s | 2.56 s | **2.00 s** | 11.11 s |
| 峰值显存占用 (16K 上下文) | ~20.5 GiB | 12.55 GiB | **10.30 GiB** | 20.3–24.7 GiB |
| 兼容 16 GiB T4 显卡 | 否 (BF16 TP=1) | 是 (`9.03 GiB`, 4K) | **是 (`6.78 GiB`, 4K)** | 是 (`6.8 GiB`, NF4) |
| 相对 PyTorch BF16 Top-1 一致率 | **100.00%** | 99.86% (1,471 / 1,473) | 98.78% (1,455 / 1,473) | 100.00% (基准) |
| 1. 短文本意图路由 (293 tok, *K* = 2) | **30.01 ms** (9,763 tok/s) | 32.82 ms (8,929 tok/s) | 31.69 ms (9,245 tok/s) | 43.23 ms (6,778 tok/s) |
| 2. Typed Decisions (736 tok, *K* = 5) | **50.29 ms** (14,635 tok/s) | 62.40 ms (11,795 tok/s) | 61.80 ms (11,909 tok/s) | 63.58 ms (11,576 tok/s) |
| 3. When2Call 工具治理 (1,068 tok, *K* = 1) | **66.06 ms** (16,167 tok/s) | 87.78 ms (12,167 tok/s) | 89.34 ms (11,955 tok/s) | 77.77 ms (13,733 tok/s) |
| 4. PhishNChips 安全检测 (1,303 tok, *K* = 9) | **75.86 ms** (17,176 tok/s) | 108.55 ms (12,004 tok/s) | 109.97 ms (11,849 tok/s) | 90.32 ms (14,426 tok/s) |
| 5. SafeAgents 审计 (2,217 tok, *K* = 2) | **125.85 ms** (17,616 tok/s) | 181.70 ms (12,201 tok/s) | 183.50 ms (12,082 tok/s) | 138.06 ms (16,058 tok/s) |
| 批量 *B* = 4 Typed Decisions (2,944 tok, 20 题) | **152.39 ms** (19,319 tok/s) | 248.50 ms (11,847 tok/s) | 245.20 ms (12,006 tok/s) | 175.85 ms (16,742 tok/s) |
### 4.2 混合精度 GGUF 量化保真度分析
若对交叉注意力决策头或线性注意力递归状态直接施加均匀 4-bit 量化，细粒度选项间微小的对数几率差值易受量化噪声干扰。因此在 `FastBrain-9B-Q4_K_M.gguf`（`6.73 GB`）构建方案中，仅对前馈网络（FFN）使用 4-bit K-quants，而将全部 `dec.*` 决策头张量、`ssm_*` Gated DeltaNet 状态参数以及 `attn_*` 投影矩阵保持为 `Q8_0` 精度。在涵盖 10 类任务的分层验证子集（`203` 个多约束请求，共 `1,473` 道独立评分题；表 6）上，`Q8_0.gguf`（`9.66 GB`）在 `1,471/1,473` 道题上与原生 `bfloat16` 给出完全一致的 Top-1 决策（一致率 `99.86%`，预测概率平均绝对误差 `0.00203`，10 任务均分差异 `-0.03` 个百分点）；`Q4_K_M.gguf` 保持了 `98.78%` 的 Top-1 决策一致率（概率 MAE `0.00387`，校准后均分差异 `-0.20` 个百分点）。表 7 给出了各精度版本在不同硬件（含 NVIDIA Tesla T4 `16 GiB` 实测）上的资源需求。
**表 6：10 任务分层子集（*N* = 1,473 道评分题）上 GGUF 量化模型的决策一致性与精度保持率。**
| 评测指标 / 子任务 | PyTorch `bfloat16` (18.82 GB) | GGUF `Q8_0` (9.66 GB) | GGUF `Q4_K_M` (6.73 GB, `Q8_0` 决策头) |
| :--- | :---: | :---: | :---: |
| Top-1 决策一致率 (*N* = 1,473) | 100.00% (基准) | 99.86% (1,471 / 1,473) | 98.78% (1,455 / 1,473) |
| 预测概率平均绝对误差 — \\(\lvert \hat{p}_q - \hat{p}_{\mathrm{bf16}} \rvert\\) | 0.00000 | 0.00203 | 0.00387 |
| 10 任务宏平均（未校准原生输出） | 82.37% | 82.34% (-0.03) | 82.56% (+0.19) |
| 10 任务宏平均（Schema 拓扑校准） | 83.68% | 83.65% (-0.03) | 83.48% (-0.20) |
| ├─ 1. BFCL / 3. API-Bank / 4. BANKING77 | 100.0% / 95.0% / 100.0% | 100.0% / 95.0% / 100.0% | 100.0% / 95.0% / 100.0% |
| ├─ 2. ToolRet / 7. BRIGHT | 73.15% / 41.93% | 73.70% / 41.00% | 75.60% / 40.31% |
| ├─ 5. CLINC150+OOS / 6. Home Appliances | 93.94% / 90.00% | 93.94% / 90.00% | 93.94% / 90.00% |
| └─ 8. Amazon ESCI / 9. PhishNChips / 10. When2Call | 73.89% / 85.00% / 75.00% | 73.89% / 85.00% / 75.00% | 75.79% / 85.00% / 72.92% |
**表 7：各精度格式的存储体积、显存占用峰值与 Tesla T4（`16 GiB`）实测延迟。**
| 精度与权重格式 | 权重体积 | 峰值显存 (4K–16K 上下文) | T4 延迟 (293 / 1,068 tok) | 适用硬件范围 |
| :--- | :---: | :---: | :---: | :--- |
| `FastBrain-9B-Q4_K_M.gguf` | 6.73 GB | 6.78 – 10.30 GiB | 343.0 ms / 1,154.3 ms | 8–16 GB 显卡 (RTX 3060/4060, Tesla T4), Apple Silicon (8 GB+) |
| PyTorch `load_in_4bit=True` (NF4 + `fp16` 头) | ~5.5 GB (内存) | 6.20 – 6.80 GiB | — | 8–16 GB CUDA 显卡 (Colab T4, 消费级 GPU) |
| `FastBrain-9B-Q8_0.gguf` | 9.66 GB | 9.03 – 12.55 GiB | 349.3 ms / 1,149.8 ms | 12–16 GB 显卡 (Tesla T4, RTX 4070 Ti), Apple Silicon (16 GB+) |
| PyTorch `load_in_8bit=True` (INT8 + `bf16` 头) | ~9.6 GB (内存) | ~11.20 GiB | — | 12–16 GB CUDA 显卡 |
| 原生 `bfloat16` (`safetensors` / `BF16.gguf`) | 18.82 / 18.16 GB | 20.30 – 24.70 GiB | — | ≥24 GB 显卡 (NVIDIA L4, A100, H100, RTX 3090/4090, PRO 6000) |
---
## 5. 推理复现与服务部署
### 5.1 Python / Transformers 接口（支持 `bfloat16`、`8-bit` 与 `4-bit` NF4）
`TypeScript/FastBrain-9B` 提供标准 `joint_schema_model` 接口，可与 `Cloudflare/clef-flash` 调用代码直接互换。启用 `load_in_4bit=True` 时，仅对 9.3B 主干网络执行 `bitsandbytes` NF4 量化，116M `JointSchemaHead` 保持浮点精度。
```python
import sys
import torch
from huggingface_hub import snapshot_download
model_dir = snapshot_download("TypeScript/FastBrain-9B", ignore_patterns=["*.gguf"])
sys.path.insert(0, model_dir)
import joint_schema_model as clef
# 原生 bfloat16 加载 (>=24 GB 显存):
model, processor = clef.load_release_model(model_dir, device="cuda", dtype=torch.bfloat16)
# 混合精度 4-bit NF4 加载 (8-16 GB 显存，如免费 Colab Tesla T4):
# model, processor = clef.load_release_model(model_dir, device="cuda", dtype=torch.float16, load_in_4bit=True)
response = clef.systemone(model, processor, {
"model": "TypeScript/FastBrain-9B",
"state": {
"query": "能帮我查询一下当前账户余额吗？",
"tools": ["get_balance", "transfer_funds"],
},
"questions": {
"next_action": {
"type": "choice",
"instructions": "选择最恰当的助手动作。",
"criteria": {
"call_balance": "调用 {\"name\": \"get_balance\", \"arguments\": {}}",
"request_auth": "请用户先提供账户标识符或身份验证令牌。",
"abstain": "拒绝执行，因为个人银行记录超出访问权限。",
},
},
},
})
print(response)
```
### 5.2 `llama.cpp` GGUF 服务部署（`/v1/systemone`）
> [!IMPORTANT]
> **`ClefModel` 架构 GGUF 运行参数要求**
> 1. 需使用 **`llama.cpp` `b11430` 或更高版本** 。该版本包含 `LLM_ARCH_CLEF` 计算图定义（支持 `dec.*` 决策头张量）与 `/v1/systemone` HTTP 路由；旧版构建或纯生成式封装无法执行交叉注意力决策头。
> 2. 启动时需将物理微批次设为与逻辑批次一致（如 `-b 16384 -ub 16384` 或 `-b 4096 -ub 4096`），并开启 `--no-cache-prompt`。`ClefModel` 在单个物理 `ubatch` 内对 `<|question_*|>` 与 `<|option_*|>` 区间执行池化，默认的 `-ub 512` 会截断超过 512 tokens 的输入序列，而前缀缓存可能跳过边界标记计算。
```bash
# 1. 下载预编译 llama.cpp (b11430+) 与 GGUF 权重文件
curl -sL https://github.com/ggml-org/llama.cpp/releases/download/b11430/llama-b11430-bin-ubuntu-cuda-13.4-x64.tar.gz | tar -xz
pip install -U "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 hf download TypeScript/FastBrain-9B FastBrain-9B-Q8_0.gguf --local-dir .
# 2. 启动 llama-server（如需处理图像状态，追加 --mmproj mmproj-FastBrain-9B-Q8_0.gguf）
export LD_LIBRARY_PATH="$(pwd)/llama-b11430:/usr/lib64-nvidia:/usr/local/cuda/lib64:${LD_LIBRARY_PATH}"
./llama-b11430/llama-server \
-m ./FastBrain-9B-Q8_0.gguf \
-ngl 99 -c 16384 -b 16384 -ub 16384 -np 1 -fa on --no-cache-prompt \
--port 8080
```
向 `/v1/systemone` 发送单次请求即可同步评估异构题型组合（`choice` + `noul`）：
```bash
curl http://127.0.0.1:8080/v1/systemone \
-H "Content-Type: application/json" \
-d '{
"model": "FastBrain-9B",
"state": {
"ticket_id": "ORD-99281",
"customer_message": "我上周的订阅被重复扣费了两次，提交工单后一直无人处理。"
},
"questions": {
"department": {
"type": "choice",
"instructions": "将该工单分派至对应的处理队列。",
"criteria": {
"billing": "账单支付、退款、重复扣费或发票核对",
"engineering": "软件缺陷、程序崩溃或服务中断",
"identity": "密码重置或多因素身份验证异常"
}
},
"is_urgent": {
"type": "noul",
"instructions": "该消息是否涉及未解决的资金损失或时效敏感故障？"
}
}
}'
```
### 5.3 SGLang 服务部署（`JointSchemaPooler`）
```bash
docker run --gpus all --shm-size 32g -p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host \
lmsysorg/sglang:dev-clef \
sglang serve --model-path TypeScript/FastBrain-9B --host 0.0.0.0 --port 30000
```
---
## 6. 仓库文件清单与引用格式
**表 8：仓库文件与权重清单说明。**
| 文件路径 | 体积 | 内容说明 |
| :--- | :---: | :--- |
| `model-00001-of-00004.safetensors` .. `00004` | 18.59 GB | 原地合并全部投影更新后的 `bfloat16` 混合主干网络权重 |
| `joint_head.safetensors`, `joint_head_config.json` | 232 MB | 116M 参数 `JointSchemaHead` 权重（`122` 个张量）与结构配置 |
| `FastBrain-9B-Q4_K_M.gguf` | 6.73 GB | 混合精度 4-bit GGUF（`dec.*`、`ssm_*` 与 `attn_*` 保持 `Q8_0`） |
| `FastBrain-9B-Q8_0.gguf` / `FastBrain-9B-BF16.gguf` | 9.66 / 18.16 GB | 面向 `llama-server`（`b11430`+）的 8-bit 与 `bfloat16` GGUF 权重 |
| `mmproj-FastBrain-9B-Q8_0.gguf` / `BF16.gguf` | 624 / 922 MB | 支持多模态图像状态输入的视觉投影器权重 |
| `joint_schema_model.py` | 25 KB | `ClefModel` 定义、向量化 `_forward_fast_cuda` 算子及 `systemone()` 运行时 |
| `eval_submissions/typescript_fastbrain-9b*.json` | 1.80 MB | `LocalLLaMA/typed-decisions` 零样本与先验拟合的 2,000 次决策原始预测轨迹 |
| `eval_submissions/TypeScript__FastBrain-9B*.jsonl` | 110 KB | `safeagents-judge-bench`（v2）661 条工具调用的二元与 7 分类预测轨迹 |
| `.eval_results/*.yaml` | 2.3 KB | Hugging Face Hub 标准化评测结果元数据 |
| `README.md`, `README_zh.md`, `assets/*.png` | 1.28 MB | 中英双语技术报告与实验评测图表 |
### 引用（Citation）
```bibtex
@misc{fastbrain9b2026,
title = {FastBrain-9B: A Single-Pass Non-Autoregressive Model for Calibrated Structured Decisions},
author = {TypeScript},
year = {2026},
howpublished = {\url{https://huggingface.co/TypeScript/FastBrain-9B}},
note = {Apache-2.0 License}
}
```