Instructions to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF
# Run inference directly in the terminal:
llama cli -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF
# Run inference directly in the terminal:
llama cli -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Build from source code

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF
# Run inference directly in the terminal:
./build/bin/llama cli -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Use Docker

docker model run hf.co/zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Llama new
LM Studio
Jan

vLLM

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Ollama
How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with Ollama:
```
ollama run hf.co/zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF
```
Unsloth Desktop

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with Docker Model Runner:
```
docker model run hf.co/zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF
```

Lemonade

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Run and chat with the model

lemonade run user.Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF-{{QUANT_TAG}}

List all available models

lemonade list

Hermes Agent

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "zephel01/Qwen3.8-Flash-Next-IQ3_M-24G64G-GGUF" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Qwen3.8-Flash-Next IQ3_M GGUF (for a 24 GB GPU + 64 GB RAM PC) — BETA

24G64G = for a PC with a 24 GB GPU (VRAM) + 64 GB RAM - a target setup, not a guarantee of speed.
a mixed-type file - the experts are IQ3_S 57%, IQ4_NL 34%, Q8_0 7%, IQ4_XS 1% (by bytes), 3.94 bits a weight on average, about IQ3_M.

A GGUF of Qwen/Qwen3.8-Flash-Next made for one 24 GB GPU and 64 GB of RAM. Every expert is re-quantized with LDLQ from NVIDIA-format NVFP4 weights, in exactly unsloth UD-IQ4_XS's types and size (93.7 GB). All 512 experts are kept. Same size, same speed on the same emulated PC (69.9 vs 71.1 tok/s on coding tasks), and KL 0.068 vs 0.092 (-26%) against the NVFP4 model; KL on Japanese text 0.146 vs 0.195. Runs in Abyss and llama.cpp.

BETA: measured on one PC only (below). Reports from real 24 GB GPUs and other RAM sizes are very welcome (Community tab, or Abyss issues).

For a 16 GB GPU: Qwen3.8-Flash-Next-IQ3_M-16G64G-GGUF. For 12 GB + 32 GB: Qwen3.8-Flash-Next-E448-IQ2_M-12G32G-GGUF.

日本語の説明は下にあります。

Pick a size (this model's other repos)

repo	for a PC with	download	note
Qwen3.8-Flash-Next-E448-IQ2_M-12G32G-GGUF	12 GB GPU + 32 GB RAM	67.5 GB	448 of 512 experts kept
Qwen3.8-Flash-Next-IQ3_M-16G64G-GGUF	16 GB GPU + 64 GB RAM	86.9 GB	all 512 experts
this repo	24 GB GPU + 64 GB RAM	93.7 GB	all 512 experts, higher quality
Qwen3.8-Flash-Next-DGX-Spark-GGUF	DGX Spark (128 GB)	86.9 GB	same files as 16G64G

Earlier repo name: Qwen3.8-Flash-Next-24G64G-GGUF (old links redirect here).

Names: the quant in the repo name is the nearest llama.cpp type to the experts' average bits; most files mix several types (listed above), so they are not a stock quant of that name. E<n> = experts kept per layer (only when some were removed).

Compared with the same-size file

	download	resident (GPU + RAM)	KL (10 seqs)	same top token	KL, Japanese	KL, code	decode, 3 coding tasks
this file	93.7 GB	64.2 GB	0.068	90.3%	0.146	0.092	69.9 tok/s
unsloth UD-IQ4_XS	93.7 GB	64.9 GB	0.092	88.7%	0.195	0.116	71.1 tok/s

KL against the NVFP4 model (10 held-out sequences x 1,023 tokens: code, English, Chinese, Japanese and others), Abyss engine. "Resident" leaves out the 28.8 GB per-layer embedding table, which is read a few rows a token from the SSD. The two files have the same tensor types; only the rounding (LDLQ, calibrated with Japanese and chat turns) differs.

Real use

Abyss server, thinking on, two seeds, on the emulated PC (below):

	this file	unsloth UD-IQ4_XS
Japanese (5 prompts: business email, explainer, summary, literature fact, arithmetic)	10/10 answered, facts and sums right	10/10
5 coding tasks with hidden tests	5/5, 4/5	3/5, 5/5
8K-token prompt, find the needle	OK / OK	OK / OK
empty answers / prompt echoes	none	none
prompt processing (8K)	1,680-1,689 tok/s	1,670-1,683 tok/s

Speed

Abyss v1.3.108, a 24 GB GPU + 64 GB RAM PC emulated on an RTX 5090 (32 GB): VRAM capped at 24 GB (STRATA_GLM_VRAM_GB=24), RAM tier 46 GB inside a 58 GB cgroup, 8 CPU threads, iGPU off, NVMe SSD, MTP drafter on.

3 coding tasks: 69.9 tok/s (unsloth UD-IQ4_XS 71.1)
Japanese, 3 prompts: 61-77 tok/s
llama.cpp, this file, --n-cpu-moe 34 (24.2 GB of VRAM): 26-34 tok/s

Abyss v1.3.108 or later is needed for the prompt path: the Q8_0 down experts of this layout read past their slot in older versions (also in unsloth's UD-IQ4_XS).

Other GPUs are not measured with this file. Reports welcome.

Files

Qwen3.8-Flash-Next-24G64G-0000N-of-00003.gguf, 3 shards; point your engine at -00001-of-00003.gguf. SHA256SUMS in the repo. Experts: gate/up IQ3_S (layer 2 IQ4_XS), down IQ4_NL (layers 2, 4, 30, 46, 47 Q8_0). Non-expert tensors (attention, router, shared expert, embeddings, per-layer embedding table) are unsloth UD-IQ4_XS's bytes, unchanged.

Feedback (this is a BETA)

Speed on your PC: ./abyss.sh --bench --deep in Abyss, post abyss-bench.txt with this issue form (change the title to your GPU), with your RAM size and SSD.
Quality in real use: empty answers, wrong language, loops, places where it is weaker than unsloth's file. A prompt that reproduces it helps most.

How it was made

With trench-gguf (tools/hessian_dump.cpp, tools/requant_experts.py, tools/merge_experts.py):

Hessians: the NVFP4 model (magnitudedev/Qwen3.8-Flash-Next-NVFP4-GGUF) over 1.26M tokens: its own chat turns (181 prompts: Japanese 44, Chinese 20, English 20, code 37, math 35, tool calls 25) followed by mixed text in the same languages and domains.
LDLQ: every expert re-quantized from the NVFP4 weights (per-expert scales folded in) in UD-IQ4_XS's types, then merged into unsloth UD-IQ4_XS.

Running it

Abyss v1.3.108 or later. Pack it once:
```
cd Abyss
.venv/bin/python tools/iq_pack.py --fast --gguf /path/to/Qwen3.8-Flash-Next-24G64G-00001-of-00003.gguf --out /path/to/pack-fast
```
and start it with --glm-pack /path/to/pack-fast (STRATA_GLM_RAM_GB=46 on a 64 GB PC; STRATA_GLM_VRAM_GB=24 on a larger card to test the 24 GB case).
llama.cpp (arch qwen4exp, upstream ac8e1694d of 2026-10-29): runs as is. Checked with llama-server -m Qwen3.8-Flash-Next-24G64G-00001-of-00003.gguf -ngl 99 --n-cpu-moe 34 -c 32768 --jinja -t 8 (24.2 GB of VRAM; use 35 or more on a real 24 GB card), the same real-use prompts: Japanese 5/5 answered (none empty), coding 3/5, the 8K needle found; decode 26-34 tok/s.

License

The original model's license (qwen-community-1.0). All credit for the model goes to the Qwen team; the NVFP4 weights the experts were made from are magnitudedev's, the non-expert tensors unsloth's.

日本語

24G64G = GPU（VRAM）24 GB + RAM 64 GB の PC 向け（想定している構成で、速さを保証するものではありません）。
形式を混ぜたファイルです。エキスパートは IQ3_S 57%, IQ4_NL 34%, Q8_0 7%, IQ4_XS 1%（容量の割合）、平均 3.94 ビットで、IQ3_M くらいです。

サイズの選び方（同じモデルのほかの版）

リポジトリ	向けの PC	ダウンロード	メモ
Qwen3.8-Flash-Next-E448-IQ2_M-12G32G-GGUF	GPU 12 GB + RAM 32 GB	67.5 GB	エキスパート 512 個中 448 個
Qwen3.8-Flash-Next-IQ3_M-16G64G-GGUF	GPU 16 GB + RAM 64 GB	86.9 GB	512 個すべて
この版	GPU 24 GB + RAM 64 GB	93.7 GB	512 個すべて、品質重視
Qwen3.8-Flash-Next-DGX-Spark-GGUF	DGX Spark（128 GB）	86.9 GB	16G64G と同じファイル

以前のリポジトリ名は Qwen3.8-Flash-Next-24G64G-GGUF です（古い URL はここへ転送されます）。

名前の量子化の型は、エキスパートの平均ビット数にいちばん近い llama.cpp の型です。多くのファイルは複数の型を混ぜているので（上に内訳）、その名前の普通の量子化と同じものではありません。E<数> は層ごとに残したエキスパートの数です（減らしたときだけ付けます）。

Qwen/Qwen3.8-Flash-Next の GGUF を、GPU 24 GB + RAM 64 GB の PC 向けに作りました。エキスパートは、NVIDIA 形式の NVFP4 の重みから LDLQ で量子化し直しています。型も大きさ（93.7 GB）も unsloth の UD-IQ4_XS とまったく同じで、エキスパートは 512 個すべて残しています。同じ設定で比べると、速さは同じ（コーディングの生成 69.9 と 71.1 tok/s）で、元の NVFP4 のモデルとの差（KL）は 0.092 → 0.068（-26%）、日本語の文章では 0.195 → 0.146 です。Abyss と llama.cpp で動きます。

BETA 版です。 測ったのは下の 1 台だけです。本物の 24 GB の GPU や、ほかの RAM 容量での結果を、Community タブか Abyss の issue で教えてもらえると助かります。

GPU 16 GB 向けは Qwen3.8-Flash-Next-IQ3_M-16G64G-GGUF、 GPU 12 GB + RAM 32 GB 向けは Qwen3.8-Flash-Next-E448-IQ2_M-12G32G-GGUF です。

同じ大きさの版との比較

	ダウンロード	常駐（GPU + RAM）	KL（10 本）	1 位の一致	日本語の KL	コードの KL	生成（コーディング 3 問）
この版	93.7 GB	64.2 GB	0.068	90.3%	0.146	0.092	69.9 tok/s
unsloth UD-IQ4_XS	93.7 GB	64.9 GB	0.092	88.7%	0.195	0.116	71.1 tok/s

KL は NVFP4 のモデルとの差です（評価用の 10 本 × 1,023 トークン）。「常駐」には、層ごとの埋め込み表（28.8 GB、1 トークンにつき数行だけ SSD から読む）を入れていません。2 つの版はテンソルの型が同じで、違うのは丸め方（LDLQ、日本語とチャットのやりとりを入れた調整）だけです。

実際に使ったときの結果

Abyss のサーバー、思考あり、seed を変えて 2 回、下の設定です。

	この版	unsloth UD-IQ4_XS
日本語 5 問（ビジネスメール、解説、要約、文学の知識、計算）	10/10 回答、事実と計算は正しい	10/10
コーディング 5 問（隠しテスト）	5/5、4/5	3/5、5/5
8K トークンの文章から情報を探す	成功 / 成功	成功 / 成功
空の回答 / プロンプトの繰り返し	なし	なし
入力の処理（8K）	1,680〜1,689 tok/s	1,670〜1,683 tok/s

速度

RTX 5090（32 GB）で、GPU 24 GB + RAM 64 GB の PC を真似た設定です。VRAM を 24 GB に制限（STRATA_GLM_VRAM_GB=24）、RAM の枠 46 GB（全体 58 GB に制限）、CPU 8 スレッド、iGPU なし、NVMe SSD、MTP ドラフターあり。
コーディング 3 問：69.9 tok/s（unsloth UD-IQ4_XS は 71.1）
日本語 3 問：61〜77 tok/s
llama.cpp でこの版を --n-cpu-moe 34（VRAM 24.2 GB）：26〜34 tok/s
Abyss は v1.3.108 以降が必要です。この並びの Q8_0 の down エキスパートは、それより前の版では入力の処理で読み過ぎが起きていました（unsloth の UD-IQ4_XS も同じです）。

中身・作り方・動かし方

3 ファイルで 1 セットです。-00001-of-00003.gguf を指定してください。SHA256SUMS があります。
エキスパートは gate/up が IQ3_S（層 2 だけ IQ4_XS）、down が IQ4_NL（層 2、4、30、46、47 は Q8_0）です。それ以外（アテンション、ルーター、共有エキスパート、埋め込み、層ごとの埋め込み表）は unsloth UD-IQ4_XS のものをそのまま使っています。
作り方は上の英語の節のとおりです（trench-gguf、NVFP4 のモデルにチャットのやりとり 181 問（日本語 44 問）と文章を流して測った 126 万トークン分の情報で LDLQ）。
Abyss v1.3.108 以降で動作を確認しています（64 GB の PC なら STRATA_GLM_RAM_GB=46）。llama.cpp（2026-10-29 の ac8e1694d）でもそのまま動きます。--n-cpu-moe 34 で VRAM 24.2 GB だったので、本物の 24 GB の GPU では 35 以上にしてください。同じ実用テストで、日本語 5 問すべてに回答（空の回答なし）、コーディング 3/5、8K の情報探しも成功しました。

フィードバックのお願い（BETA 版）

お使いの PC での速さ：Abyss で ./abyss.sh --bench --deep を実行し、abyss-bench.txt をこちらの issue フォームに貼ってください（タイトルの GPU 名を書き換えてください）。RAM の容量と SSD の機種も書いてもらえると助かります。
実際に使ったときの品質：空の回答、言語の切り替わり、繰り返し、unsloth の版より弱いと感じたところ。再現できるプロンプトがあると一番助かります。
ライセンスは元のモデルと同じです（qwen-community-1.0）。