NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed

Hemmingway-1.5 Unlock 1.0 — MTPLX Optimized Speed (Q4)

这是基于 HemmingwayAI/Hemmingway-1.5 制作的本地 MTPLX 模型包。已合并 HemmingwayAI/Hemmingway-1-Unlocked 微调权重，再进行 4-bit MLX 量化，并保留原生 MTP 头，用于 Apple Silicon 上的多 token 预测加速。

模型包约 16.00 GB，无需另外加载 LoRA 或外挂草稿模型。

这是个人构建的第三方模型包，不是 HemmingwayAI、Qwen 或 MTPLX 官方发布。名称中的“Optimized Speed”表示速度取向，不表示完全复刻 MTPLX 官方 Speed 配方。

来源

组件	来源	固定版本
底座	HemmingwayAI/Hemmingway-1.5	e61c8cbd3fe81dac075f14a6e5199ae1054e436f
合并权重	HemmingwayAI/Hemmingway-1-Unlocked	6517e3c5d3c1e7839a1a30b7b2c5237ea0b390f3
转换与验证	MTPLX Forge	MTPLX 2.12.2

合并过程覆盖 496 个 LoRA 目标层。合并后已检查目标层数值、有限值和残留 LoRA 模块；原生 MTP 文件与底座来源保持一致。

模型包配置

项目	配置
架构	Qwen3_5ForCausalLM，27B 级别
主体量化	4-bit affine，group size 64
非量化结构参数	BF16
原生 MTP 头	BF16，未重新量化
MTP 最大深度	3
默认运行配置	Sustained
配置标称上下文上限	262,144 tokens；实际可用长度取决于设备内存
文件大小	16.00 GB（含 BF16 MTP 头）

本包采用 Q4 主体 + BF16 MTP，不要将它与官方的 4-bit 主体 + 4-bit MTP Speed 包混为一谈。

安装与使用

需要 Apple Silicon Mac、macOS 14 或更新版本，以及 MTPLX。建议使用 MTPLX 2.12.2 或更新版本，并建议设备具有至少 32 GB 统一内存；长上下文需要更多余量。

python3 -m pip install --upgrade mtplx
mtplx pull NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed

运行一次生成：

mtplx run \
  --model NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed \
  --prompt "写一个 Python 函数，读取 JSONL 文件并统计行数。" \
  --depth 3

启动本地 API：

mtplx serve \
  --model NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed \
  --port 8000

不同设备的最佳 MTP 深度可能不同，可以重新测速：

mtplx tune \
  --model NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed \
  --retune

推荐运行参数

以下参数分别对应本包的实际测速配置和已使用过的长文创作配置。MTPLX 运行记录中的默认目标采样参数为 temperature 0.6、top-p 0.95、top-k 20。

用途	temperature	top-p	top-k	MTP 深度	思考	最大输出
日常问答、编码（推荐默认）	0.6	0.95	20	3	off	2048
长文、创作	1.0	0.98	50	3	on	6144

日常问答或编码：

mtplx run \
  --model NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed \
  --prompt "写一个 Python 函数，读取 JSONL 文件并统计行数。" \
  --temperature 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --depth 3 \
  --reasoning off \
  --max-tokens 2048

长文创作：

mtplx run \
  --model NeosQ/Hemmingway-1.5-Unlock-1.0-MTPLX-Optimized-Speed \
  --prompt "写一篇科幻悬疑短篇小说，包含具体的场景、行动和对话。" \
  --temperature 1.0 \
  --top-p 0.98 \
  --top-k 50 \
  --depth 3 \
  --reasoning on \
  --max-tokens 6144

说明：

• 优先追求速度时关闭思考；复杂推理或希望看到思考过程时再开启。
• max-tokens 包含思考与正文，不等于最终正文的字数。开启思考的长文任务需要预留更多 token。
• 深度 3 是本次实测的最佳速度档，但不同设备、上下文长度和内容可能不同；换机器后建议运行 mtplx tune --retune。
• presence penalty 和 frequency penalty 保持默认 0；本包没有对其他惩罚参数做专门验证。

本地实测

测试环境：Apple M5 Max、128 GB 统一内存，MTPLX 2.12.2，Sustained 模式，关闭思考，目标采样参数为 temperature 0.6、top-p 0.95、top-k 20。

运行方式	实测速度
普通自回归解码	27.61 token/s
MTP 深度 1	35.77 token/s
MTP 深度 2	41.11 token/s
MTP 深度 3	57.13 token/s

深度 3 相对同轮普通解码约 2.07 倍。该次编码续写测试使用 183-token 提示词，生成 306 tokens 后自然停止。

这些是特定设备、提示词和散热条件下的单次实测，不是对所有任务的性能保证。长上下文、开启思考或不同采样参数可能得到不同结果。

验证范围与限制

• 已通过 MTPLX verified-native 兼容性检查、完整权重加载和实际生成检查。
• 已验证合并后的目标层与预期 LoRA 增量一致，且模型中不残留 LoRA 模块。
• 未发布与 BF16 模型之间的 top-1 一致率、KL 散度或系统基准质量评测，因此不宣称“无损量化”。
• 合并 Unlock 权重可能改变拒答倾向。模型仍可能生成错误、不当或有害内容，使用者应进行必要的人工审查并遵守适用法律与平台规则。
• 本包依赖原生 MTP 与 MTPLX 运行时；使用普通 MLX 加载方式不会获得相同的 MTP 加速行为。

许可证与署名

模型权重及随附文件遵循 Creative Commons Attribution-NonCommercial 4.0 International（CC BY-NC 4.0）。允许个人、研究及其他非商业用途的下载、运行、微调和分享，但必须保留对 Hemmingway-1 / Altworld 的署名。

商业使用需要另行取得原作者的书面许可。 完整条款见仓库中的 LICENSE。底座中来自 Qwen 的部分仍适用其 Apache License 2.0；各组件的原有许可证不会因本次合并或量化而失效。