OPENFORMOSA · 公開研究版本
Barbet 1B
Structured SFT
用於結構化修正與證據判讀的文字骨幹。
完整一輪繁體中文任務資料 SFT。先看實際請求、模型生成、改善幅度與失敗案例,再評估是否適合你的下游系統。
v0.1.1 · 2026.09.22 · Experimental
1.12B模型參數
980,000訓練樣本
214/408整份答案相符
408/408格式可解析
01 / 模型概覽
輸入文字,產生結構化判定。
處理 ASR 逐字稿候選、TTS 書寫與口語形式、OCR 文字候選、翻譯修訂。請求包含明確任務契約與可見參照證據;模型沒有內建音訊、影像編碼器或語音波形產生器。
02 / 預測範例
直接看模型說了什麼。
八題輸入於 2026-09-19 生成前固定。前四題是含參照文字的結構化請求;後四題是自然語言指令。這是保留的實際輸出,並非線上推論或完整能力基準。
完整輸入
模型原始輸出
參考答案
03 / 評估結果
改善幅度與能力代價。
兩個模型使用相同的固定合成測試:1,020 筆答案損失、408 筆生成。整份答案相符要求包含 confidence 在內的所有欄位一致;格式可解析不等於內容正確。
| 類別 | Base NLL | SFT NLL | SFT 完全相符 | 可解析率 |
|---|---|---|---|---|
| ASR | 1.6994 | 0.0029 | 27/48 | 100% |
| TTS | 1.6405 | 0.0027 | 19/32 | 100% |
| OCR | 1.6231 | 0.0026 | 24/40 | 100% |
| MT | 1.5686 | 0.0024 | 13/32 | 100% |
一般文字能力保留
沿用 6,955 筆 development 語料。BPB 為每個 byte 的文字預測損失,越低越好;表中是損失的相對變化,不是準確率下降的百分點。
| 語料類別 | Base | SFT | BPB 變化 |
|---|---|---|---|
| zh_tw_zh | 1.1399 | 1.1756 | +3.13% |
| math | 0.6890 | 0.8007 | +16.21% |
| ja_ko | 0.9680 | 0.9833 | +1.58% |
| english_general | 0.8615 | 0.8727 | +1.30% |
| code | 0.7154 | 0.9111 | +27.36% |
| multilingual | 1.1374 | 1.1679 | +2.69% |
04 / 開始使用
執行一個完整的結構化請求。
載入器保留原始 BF16/FP32 精度配置。範例中的 assistant 參考答案不會送入模型提示。
git clone https://github.com/voidful/barbet-structured-sft.git cd barbet-structured-sft python -m venv .venv source .venv/bin/activate python -m pip install torch==2.11.0 packaging ninja setuptools wheel python -m pip install --no-build-isolation -r requirements-inference.txt python scripts/infer.py --example ocr_correction --device cuda:0
已測環境:Python 3.12 · PyTorch 2.11 · CUDA 13.0 · H200。原生 Mamba 套件需相容 CUDA 建置環境;短輸入亦支援 CPU。
05 / 技術文件
原始碼、證據與重現步驟。
980,000 筆訓練資料各使用一次,全文保留、不截斷。公開推論與合成資料評估已有操作文件;完全重訓另需存取原始 base checkpoint,舊的一般文字保留測試語料未在此散布。
授權狀態
本專案程式碼、發布的 SFT 權重、文件與隨附範例採用 Apache-2.0。第三方元件與另行發布的完整訓練資料集保留各自條款。 LICENSE ↗