---
license: apache-2.0
---

# Qwen3.6-35B-A3B-w8a8

## 1. 基本信息
|         项目          |                             信息                             |
| :-------------------: | :----------------------------------------------------------: |
|      原始模型名       |                       Qwen3.6-35B-A3B                        |
|     原始模型链接      | [Qwen3.6-35B-A3B](https://www.modelscope.cn/models/Qwen/Qwen3.6-35B-A3B) |
| msmodelslim commit id |           99394e9404ed72d811205d7a30a6ae883653200a           |
|     精度测试机型      |                      Atlas 800T A3 1台                       |
|     精度测试平台      |                      docker vllm-ascend                      |
|         版本          |                    vllm-ascend:v0.18.0rc1                    |
|         链接          |      quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler      |


## 2 量化脚本：
该模型和Qwen3.5-35B-A3B结构一致，msmodelslim已支持一键量化：

```python3
msmodelslim quant \
 --model_path weights/Qwen3.6-35B-A3B \
 --save_path weights/Qwen3.6-35B-A3B-w8a8 \
 --model_type Qwen3.5-35B-A3B \
 --quant_type w8a8 \
 --trust_remote_code True
```


## 3 精度测试结果

|        模型名        | 量化格式 | 数据集 | 测试精度 % | 本地浮点精度 % |
| :------------------: | :------: | :----: | :--------: | :------------: |
| Qwen3.6-35B-A3B-w8a8 |   w8a8   |  GPQA  |   83.232   |     82.997     |

*`--max-model-len 256000`，精度存在波动，建议多次测试。