yixue888/Coract_checkpoint

Checkpoints（JanusFlow 动作专家）

⚠️ 未整理版本（raw research release）：这是原始训练存档，按内部 实验目录结构直接上传，未做整理与筛选。目录命名沿用内部 run 约定； 本卡片不含评测结果——各 run 成功率见对应子目录的 README。整理过的 版本可能后续发布。

基于 deepseek-ai/JanusFlow-1.3B 微调的机器人动作专家（action expert）， 数值 CoT + chunk-start-relative 动作目标 + 可选 world-model 生成损失， 覆盖 VLABench 与 RoboCasa，并包含 GRPO 噪声 actor 训练产物与 grounding 奖励模型。

仓库结构

目录	内容
vlabench/cot_wm/	VLABench CoT + world-model 配置（best 44.4% + last + GRPO 起点 ep7）
vlabench/cot_action_only/	VLABench CoT only 配置（best 41.3% + last + 人类干预实验 base）
vlabench/no_cot_action_only/	VLABench no-CoT baseline（best 47.5%）
robocasa/	RoboCasa：xyz-waypoint SFT（ep7–10，含 OOD 套件与各 epoch 成功率）、0820 compare_pre 224 对照、nocot8_unified_logit_normal_action/ no-CoT baseline（best 77.5%）、cot_numeric GRPO actors。层级镜像本地 outputs/；各 run 成功率见 robocasa/README.md
grpo/	RoboCasa xyz+rotation CoT 基座的 GRPO 噪声 actor 完整实验包：基座权重、51 个 actor、30 组评测指标、一键训练/评测脚本（grpo/README.md）。训练数据集在独立仓库 yixue888/Coract_robocasa_dataset
with_state_configs/	6 个遗留 waypoint-regression run 的 epoch-10（last）存档，成功率见 with_state_configs/README.md
human_correct/	VLABench 人工采集/恢复数据（非 checkpoint）
groundingdino/	GRPO waypoint/world 奖励用的 grounding 模型（base 为公共 IDEA-Research/grounding-dino-base，这里只放训练头），各子目录与 GRPO config 的对应关系见 groundingdino/README.md

训练/评测配套数据：yixue888/Coract_robocasa_dataset（RoboCasa 17 任务 LeRobot 训练集，60,520 文件，model 仓库受 HF 2 万文件上限故独立托管）。

Checkpoint 目录内容（每个 checkpoint）

文件	大小	说明
model.safetensors	~6.6GB	JanusFlow 主干（VLM + 生成侧）完整权重
action_expert.pt	~9.0GB	动作专家模块权重（flow-matching 动作头）
optimizer.bin	~12.8GB	优化器状态（续训用）
scheduler.bin / training_state.json	小	学习率调度与训练进度
config.yaml	—	完整训练配置（数据/模型/训练三段）
normalization_stats.json	—	动作/状态 q99 归一化统计（推理必需）
random_states_*.pkl	—	16 卡随机状态（精确复现用）

推理必需：model.safetensors + action_expert.pt + config.yaml + normalization_stats.json；其余为续训/复现用。

模型与训练配置（摘要）

• 基座：deepseek-ai/JanusFlow-1.3B（dual-resolution；VLM 侧注入 EEF 状态）
• 动作头：flow matching，horizon 8，7 维（xyz + delta-euler + 夹爪）， logit-normal timestep，MOT (Mixture-of-Transformers)
• 动作表示：chunk_start_relative_target_v1，闭环执行
• CoT：数值型移动 CoT（xyz + 旋转 + t+H 路点）；no_cot_* 无 CoT； *_wm 配置额外带 motion 自适应加权的未来 second-image 生成损失
• 数据：LeRobot v2.1，q99 归一化，episode 级切分
• 训练：full fine-tune（非 LoRA），bf16，lr 2e-4 cosine，seed 42

下载

huggingface-cli download yixue888/Coract_checkpoint \
  --include "vlabench/cot_wm/*" --local-dir ./ckpt --repo-type model

加载与闭环评测脚本见各子目录 README。