Instructions to use XHToken/Spark-X2.6-4B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use XHToken/Spark-X2.6-4B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="XHToken/Spark-X2.6-4B", trust_remote_code=True) messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("XHToken/Spark-X2.6-4B", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use XHToken/Spark-X2.6-4B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "XHToken/Spark-X2.6-4B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/XHToken/Spark-X2.6-4B
- SGLang
How to use XHToken/Spark-X2.6-4B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use XHToken/Spark-X2.6-4B with Docker Model Runner:
docker model run hf.co/XHToken/Spark-X2.6-4B
[HER Hack-Astron # 7] [Accessibility] NoticeClear 明白通知 — Public Notice Reading Assistant
Project name and track|作品名称与赛道
NoticeClear|明白通知 — 本地公共服务通知通俗化与原文对照助手。
Track: Accessibility / Public-service information access(无障碍与公共服务信息获取)。
Open-source repository: https://github.com/qweerdad/NoticeClear-Spark-X2.6
Positioning: An experimental, human-reviewed reading aid — not an autonomous public-service notice or fact-verification system. / 仅供理解通知的辅助草稿,请对照原文核实。
Who this helps and what problem it solves|服务对象与问题
面向阅读复杂通知有困难的社区居民,以及协助他们理解通知、逐项核对信息的志愿者。公共服务通知可能在长段文字中穿插适用对象、办理事项、时间地点、费用、否定条件和例外;误读这些条件会影响实际行动。
NoticeClear让用户粘贴不超过1500字符的通知,由 Spark-X2.6-4B 生成六栏通俗化草稿,页面始终保留原文,并提醒用户核对日期、地点、金额、否定和例外信息。它探索一种低成本、离线本地推理的阅读辅助方式;尚未开展真实老年用户试验,也没有证据证明它改善了真实人群的理解水平。
How Spark-X2.6-4B is used|模型的实际作用
模型不是占位符:点击“生成改写草稿”会通过本地Ollama API调用真实的 Spark-X2.6-4B Q4_K_M GGUF,生成一句话摘要、适用对象、需要做的事、时间地点、已知例外和缺失/冲突信息。应用负责输入边界、展示、导出和错误处理,不把程序格式成功当作事实正确性证明。
Base model: XHToken/Spark-X2.6-4B, revision 66e3ae7bee54e0a523d692cb8ef841f35409807b.
Official GGUF: XHToken/Spark-X2.6-4B-GGUF, revision 83b47fda018fd14f51aa63341f78266f628af5a5.
量化文件:Spark-X2.6-4B-Q4_K_M.gguf;SHA-256:91cb2811aebb47ac916aa619d27d4cdd7f4143106b7917accb8ead4cd7f5cbd9。下载时使用官方XHToken ModelScope镜像,并与固定HF文件哈希核对。
Runtime: Windows 11; Python 3.11; Ollama 0.40.11; Streamlit 1.37.1; requests 2.32.3. 真实推理在CPU上完成,num_gpu=0,未使用GPU;测试机器装有RTX A4000,但该模型运行未使用它。
Request settings: num_ctx=4096, num_predict=768, temperature=0, seed=42, think=false, num_gpu=0, keep_alive=10m,单并发。系统提示与结构化输出模式见开源代码 noticeclear.py。
无训练、微调、联网检索、外部推理API或公网服务部署。
Illustrated demo|真实图文演示
以下均为实际本地运行截图,不是概念效果图。请在HF编辑器对应位置上传/插入仓库中的真实图片;发布前确保图片真实嵌入并在预览中显示。
- 研究原型与安全提示
界面提醒用户:自动改写可能遗漏事实、误分例外或推断对象,不适合无人复核的真实公共服务。
- 粘贴通知,生成并对照
示例输入(自编,非真实公告):
【自编演示通知,非真实公告】社区便民服务中心将开展适老手机使用辅导。居民需携带本人手机,活动免费。具体日期、地点和报名方式另行通知。
真实CPU推理耗时 16.34秒,摘要为:
社区便民服务中心将开展免费适老手机使用辅导,具体安排另行通知。
该次草稿保留了免费、携带本人手机等条件,并将日期、地点和报名方式列为未公布。这个例子仅是局部成功演示,不能代表模型整体可靠。
- 人工核对后导出
用户可以在下载前查看和编辑原文及草稿副本、处理个人信息。人工勾选代表用户已执行检查,不意味着系统完成自动事实核验。
- 保留真实失败案例
另一条自编通知要求“志愿者自带水杯,垃圾袋由社区提供”。最终版本在 29.16秒 的真实调用中漏掉“垃圾袋由社区提供”,并未手工修补模型输出。这说明仅凭摘要流畅或栏目齐全,不能保证事实完整。
成功案例的真实JSON导出、失败摘录以及图文步骤详见仓库 DEMO.md。B2截图展示冻结的真实推理;B3仅调整提示文案和错误导出,不将旧结果伪装成新推理。
How to reproduce|复现方式
Source code: https://github.com/qweerdad/NoticeClear-Spark-X2.6
Windows PowerShell(在仓库根目录,使用Python 3.11):
py -3.11 -m venv .venv
..venv\Scripts\python.exe -m pip install pip==25.2
..venv\Scripts\python.exe -m pip install -r requirements-lock.txt
按仓库 README.md 获取 Ollama 0.40.11 portable 和指定的官方 GGUF 文件;验证模型SHA-256,分别放置于说明中的 preflight/runtime/ollama/ 和 preflight/runtime/,不要下载或使用未知替代文件。运行模型服务后创建本地模型并启动界面:
终端一
.\preflight\start-ollama.ps1
终端二(首次需要create;已有同名模型可跳过)
$env:OLLAMA_HOST = '127.0.0.1:11439'
$env:OLLAMA_MODELS = Join-Path (Get-Location) 'preflight\runtime\models'
& .\preflight\runtime\ollama\ollama.exe create spark-x26-preflight:q4km -f .\preflight\Modelfile
.\Start-NoticeClear.ps1
访问 http://127.0.0.1:8501/(仅本机地址,不是公开在线Demo)。源码仓库不包含模型权重、便携运行时或Python虚拟环境。可以运行 python -m unittest discover -s tests -v(在项目独立venv中)复核程序测试。精确版本及哈希见 MODEL_PROVENANCE.md。
Results, evaluation and limitations|结果与局限
使用 12条自编通知(4条预审样本+8条新增)构建了57项复合事实检查清单,进行了三轮Prompt版本、36次真实模型推理。自动化工具辅助整理和语义评阅,关键失败案例经过复核;这属于开发集内部评估,并非独立人工盲评或真实用户测试。
Version Facts retained (development checklist) Fully covered samples Correct exception-column coverage
b2-v1 54/57 9/12 5/9
b2-v2 55/57 10/12 2/9
b2-v3 (frozen) 53/57 8/12 8/9
53/57不是模型准确率;8/12不是部署成功率。 后续Prompt调整改善了部分例外栏目归类,却未稳定改善整体事实保留。最终12次CPU调用 17.61–41.79秒,中位 28.46秒;36次HTTP成功仅表示推理接口返回成功,不代表输出语义全部通过。
已观察到的失败包括:检修原因遗漏、还书日期在摘要中出现“当日”指代歧义、清洁物资遗漏、1500字符压力样本中遗漏免费及“不需要身份证”、已知条件错误归入缺失栏,以及未明示对象的推断。两条夹带指令样本没有使模型执行其中要求,但不能据此宣称抵御所有提示注入。
目前的使用边界: 这是需要人工与原文逐项核对的研究原型,不适合直接用于无人复核的公共服务发布、资格判断或重要决策。没有开展真实老年用户可读性研究、独立测试集验证、跨硬件实验或实际公益效果评估。
完整评测口径、失败案例及程序测试说明见 EVALUATION.md。
Contributors, AI disclosure and licensing|贡献者、AI协作与许可
Individual entry / 个人参赛者: qweerdad。
AI-assisted development disclosure: 本人负责选题、需求约束、结果审查与最终发布;OpenAI Codex辅助完成环境配置、代码实现、测试和交付材料整理。AI辅助工具不作为真人参赛队员;Demo截图与模型输出均来自真实运行,未用手工编造答案替代。
Data and licensing: 通知测试文本均为自编样本并注明不是实际公告,未收集真实受试者数据。自有源码以 MIT License 开源,Copyright (c) 2026 qweerdad。测试样本及截图允许在公开仓库展示,但并未自动随源码MIT授权他人再利用;第三方模型、运行时与依赖各遵循自身许可证,见 THIRD_PARTY_NOTICES.md。
Additional cost: 没有新增付费云资源,既有AI订阅及设备成本未另行核算;真人活跃工时未精确测量。
⋮⋮⋮⋮




