JazerJu commited on
Commit
2c9f595
·
verified ·
1 Parent(s): 2fa3d32

新增 model card:目录说明、三个接线坑、识别率参考、来源与许可

Browse files
Files changed (1) hide show
  1. README.md +128 -0
README.md ADDED
@@ -0,0 +1,128 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ pipeline_tag: automatic-speech-recognition
4
+ library_name: onnx
5
+ tags:
6
+ - ctc
7
+ - onnx
8
+ - onnxruntime
9
+ - int4
10
+ - speech-recognition
11
+ - benchmark
12
+ language: [zh, en, yue, ja, ko, de, fr, es, it, nl, pl]
13
+ ---
14
+
15
+ # glm-asr-ctc-bench · 导出好的 ONNX 权重
16
+
17
+ 这个仓库**不是模型本身**,是三个 ASR 引擎导出好、量化好的 ONNX,供
18
+ [bench-asr-ctc](https://github.com/JazerJu/bench-asr-ctc) 一条命令拉下来做对比:
19
+
20
+ ```bash
21
+ git clone https://github.com/JazerJu/bench-asr-ctc && cd bench-asr-ctc
22
+ pip install -r requirements.txt
23
+ python scripts/download_models.py fetch # 三个引擎全下完
24
+ python bench.py --counts 20 --engines glm fun qwen
25
+ ```
26
+
27
+ `FETCH_FP16=1` additionally pulls the fp16 variants (DirectML);`FETCH_FP32=1`
28
+ 拉 GLM 的 fp32。下载脚本会把文件放到 `models/<engine>/` 下,不需要手动摆放。
29
+
30
+ ## 目录
31
+
32
+ 三个引擎各一个文件夹,共 3.05 GB。
33
+
34
+ ### `glm-ctc/` — GLM-ASR-Nano + 我们训练的 CTC 头
35
+
36
+ | 文件 | 大小 | |
37
+ |---|---|---|
38
+ | `GLM-ASR-Encoder.q4.onnx` (+`.data`) | 131.9 + 231.3 MB | 编码器 int4,635 M 参数,50 fps |
39
+ | `GLM-ASR-Encoder.fp16.onnx` (+`.data`) | 3.7 + 1270.4 MB | 编码器 fp16,DirectML 用 |
40
+ | `GLM-ASR-Projector.fp16.onnx` | 58.7 MB | 投影器,**吃 4 帧堆叠后的 5120 维** |
41
+ | `GLM-ASR-CTC-Final134k.q4.onnx` | 21.8 MB | CTC 头 int4,40.0 M 参数 |
42
+ | `GLM-ASR-CTC-Final134k.fp16.onnx` | 80.1 MB | CTC 头 fp16 |
43
+ | `GLM-ASR-CTC-Final134k.fp32.onnx` | 160.0 MB | CTC 头 fp32,做一致性对拍用 |
44
+ | `tokens-phase2.txt` | 0.9 MB | 59,264 条,CTC 与 LLM 共用 |
45
+
46
+ ### `qwen-ctc/` — Qwen3-ASR-1.7B + 我们训练的 CTC 头(v1)
47
+
48
+ | 文件 | 大小 | |
49
+ |---|---|---|
50
+ | `Qwen3-ASR-Encoder.q4.onnx` | 185.9 MB | 编码器 int4,317.5 M 参数,**13 fps** |
51
+ | `Qwen3-ASR-Encoder.fp16.onnx` | 635.6 MB | 编码器 fp16 |
52
+ | `Qwen3-ASR-CTC.q4.onnx` | 26.3 MB | CTC 头 int4,48.3 M 参数 |
53
+ | `Qwen3-ASR-CTC.fp16.onnx` | 96.8 MB | CTC 头 fp16 |
54
+ | `tokens.txt` | 1.2 MB | 72,468 条,**存的是原始字节的 base64** |
55
+ | `preprocessor_config.json` | — | WhisperFeatureExtractor 配置 |
56
+
57
+ ### `fun-asr/` — Fun-ASR-Nano(第三方,镜像)
58
+
59
+ | 文件 | 大小 |
60
+ |---|---|
61
+ | `Fun-ASR-Nano-Encoder-Adaptor.int4.onnx` | 127.6 MB |
62
+ | `Fun-ASR-Nano-CTC.int4.onnx` | 21.2 MB |
63
+ | `tokens.txt` | 1.0 MB |
64
+
65
+ FunAudioLLM 的模型,int4 转换沿用 CapsWriter-Offline 的打包,镜像在这里只为
66
+ 一站式复现。
67
+
68
+ ## 接线时容易踩的三个坑
69
+
70
+ 这些权重不是随便 `InferenceSession` 一下就能用的,**每条弄错都不报错、只是结果是错的**:
71
+
72
+ **① Qwen3 的帧率是 13 fps,不是 50。** 有效输出帧数是
73
+ `full*13 + ceil(leave/8)`(`full, leave = divmod(mel_frames, 100)`),不是 `T/8`。
74
+ 用 50 fps 的算法会把帧数高估 4 倍,logits 只有 1/4 长,转写被腰斩。
75
+ 另外特征提取要 `padding=False`,再自己零填到 3000 帧桶,把**真实帧数**作为
76
+ `feature_length` 传进去。
77
+
78
+ **② Qwen3 的反词表化必须走字节。** `qwen-ctc/tokens.txt` 每行是
79
+ `<原始字节的 base64>\t<紧凑 id>`,要拼 bytes 再统一 `decode("utf-8")`。
80
+ 紧凑词表里保留了 89 个字节原语,一个汉字可能跨多个 token,
81
+ 按字符串 `"".join()` 拼会得到乱码。GLM 那边的 `tokens-phase2.txt` 则可以直接拼。
82
+
83
+ **③ GLM 的投影器吃的是堆叠后的特征。** 编码器输出 1280 维,投影器的输入是
84
+ **5120 = 1280 × 4**,要把 4 个连续帧拼成一个再喂。直接送 1280 维会报
85
+ `Got: 1280 Expected: 5120`。
86
+
87
+ 完整说明见两个导出仓库的 `AGENTS.md`:
88
+ [GLM-ASR-CTC-GGUF](https://github.com/JazerJu/GLM-ASR-CTC-GGUF) /
89
+ [Qwen3-ASR-CTC-GGUF](https://github.com/JazerJu/Qwen3-ASR-CTC-GGUF)。
90
+
91
+ ## 识别率参考
92
+
93
+ FLEURS 官方 test 全量(7,876 句,11 语种,全部 int4 + CUDA EP),CTC 首遍:
94
+
95
+ | 语种 | 指标 | GLM | Fun | Qwen3 |
96
+ |---|---|---|---|---|
97
+ | en_us | WER | 18.3% | **18.1%** | 18.3% |
98
+ | cmn_hans_cn | CER | 10.7% | **9.3%** | 10.9% |
99
+ | ko_kr | CER | 39.5% | 46.0% | **20.3%** |
100
+ | ja_jp | CER | 31.0% | **17.0%** | 30.9% |
101
+ | yue_hant_hk | CER | 42.7% | 43.2% | **30.1%** |
102
+ | de / fr / es / it / nl / pl | WER | **29.7–69.3%** | 63.0–98.8% | 35.6–77.1% |
103
+
104
+ GLM 6 胜 / Fun 3 胜 / Qwen 2 胜。原始数据和更多切分(Buckeye 口语英文、
105
+ 中英夹杂、口语技术词召回)见 bench 仓库的 `results/`。
106
+
107
+ **注意 provider 会影响结果**:Fun 的 int4 ONNX 不是 provider 不变的 ——
108
+ ORT CPU 与 CUDA EP 的转写在约 5% 的样本上不同(最多差 1.9pp CER,CPU 更弱)。
109
+ 做对比时三个引擎必须用同一个 execution provider,并把它记进结果元数据。
110
+
111
+ ## 来源与许可
112
+
113
+ | | |
114
+ |---|---|
115
+ | GLM 编码器 / 投影器 | 从 [`zai-org/GLM-ASR-Nano-2512`](https://huggingface.co/zai-org/GLM-ASR-Nano-2512) 导出,int4 由我们做 |
116
+ | GLM CTC 头 | 我们训练的,134k 步,权重原件 [`JazerJu/glm-asr-ctc`](https://huggingface.co/JazerJu/glm-asr-ctc) |
117
+ | Qwen3 编码器 | 官方 [`Qwen/Qwen3-ASR-1.7B`](https://huggingface.co/Qwen/Qwen3-ASR-1.7B) 的 audio tower,冻结,int4 由我们做 |
118
+ | Qwen3 CTC 头 | 我们训练的,权重原件 [`JazerJu/qwen3-asr-ctc`](https://huggingface.co/JazerJu/qwen3-asr-ctc) |
119
+ | Fun-ASR-Nano | FunAudioLLM 的模型,int4 转换来自 [CapsWriter-Offline](https://github.com/HaujetZhao/CapsWriter-Offline) |
120
+
121
+ 我们训练的部分按基础模型的 Apache-2.0 发布。Fun-ASR-Nano 按其上游许可,
122
+ 这里只是镜像。训练语料各自的许可归各自所有者,本仓库不含任何语料数据。
123
+
124
+ ## 相关
125
+
126
+ - 评测代码:<https://github.com/JazerJu/bench-asr-ctc>
127
+ - 训练代码:<https://github.com/JazerJu/glm-asr-ctc-train>
128
+ - 导出管线:[GLM](https://github.com/JazerJu/GLM-ASR-CTC-GGUF) · [Qwen3](https://github.com/JazerJu/Qwen3-ASR-CTC-GGUF)