upload PATCH_NOTES_2026-08-17.md (commit 9ef903f)

src/PATCH_NOTES_2026-08-17.md

@@ -0,0 +1,119 @@
+# Patch Notes — 2026-08-17 — 探针修复 + 消融开关 + 推理偏置降级
+
+## 背景
+
+监控发现每个 worker 日志都打印 `[CATTN] fwd=0  ⚠ 概念注意力未参与前向`，
+但实际训练 forward 走的是 `attention_forward_concept_ctx`（长上下文记忆版），
+不是 `attention_forward_concept`（简单版）。旧探针只统计后者，所以报假警报。
+
+代码审查同时发现：
+1. C3 loss / 概念图 / 概念注意力三套机制从未做过消融对比，无法量化真实贡献
+2. 推理时 `graph_concept_bias` 强度硬编码 1.0，训练早期 wte 余弦基本是噪声，
+   过强偏置可能加剧生成漂移（README 自己承认 step 1400+ 仍乱码）
+
+本次补丁解决这三个问题，**不改默认行为**（除推理偏置强度从 1.0 → 0.2）。
+
+## 改动
+
+### 1. 修探针（`runtime/lal_runtime.c`）
+
+- `ConceptAttnStats` 增加字段：`forwards_ctx`、`ctx_memory_slots_used`、`ctx_total_attend`
+- `attention_forward_concept_ctx` 函数开头增加计数器累加（含等效全注意力对数）
+- `concept_attn_probe_print` 新格式：
+  - `[CATTN] fwd_simple=X fwd_ctx=Y ...`（同时显示两个版本）
+  - `[CATTN-CTX] 平均候选/前向=... (含概念槽=..., sink+window=...) 槽命中率=...`（ctx 专属）
+  - `fwd=0` 警报只在两个计数都为 0 时触发，并多打 `cctx_enable` 和 `cg` 状态便于诊断
+
+### 2. 加消融开关（`models/ste_train.c`）
+
+三个环境变量，启动时读取一次：
+
+| 变量 | 作用 |
+|---|---|
+| `LAL_NO_C3=1` | 禁用 C3 训练辅助 loss（保留概念图与概念注意力） |
+| `LAL_NO_CGRAPH=1` | 禁用概念图构建 + 长上下文记忆（训练时不构建图，推理时也不构建） |
+| `LAL_CONCEPT_ATTN=0` | 禁用概念注意力（已有开关，回退标准 sliding attention） |
+
+启动时会打印 `[ABLATION]` 块列出所有生效的消融开关。
+
+### 3. 降推理偏置强度（`models/ste_train.c`）
+
+`graph_concept_bias` 强度从硬编码 `1.0` 改为环境变量 `LAL_GRAPH_BIAS` 控制，默认 `0.2`。
+
+| 取值 | 含义 |
+|---|---|
+| `LAL_GRAPH_BIAS=0.0` | 完全关闭偏置（纯自回归 baseline） |
+| `LAL_GRAPH_BIAS=0.2` | 默认（温和偏置，自回归主信号为主） |
+| `LAL_GRAPH_BIAS=1.0` | 旧行为（激进，用于复现历史实验） |
+
+启动时打印 `[*] graph_concept_bias strength = 0.200 (env LAL_GRAPH_BIAS, default 0.2)`
+
+## 默认行为变化
+
+- **训练**：默认行为不变（C3 + 概念图 + 概念注意力 全开）
+- **推理**：`graph_concept_bias` 强度 1.0 → 0.2（更温和，预期改善生成多样性）
+
+## 推荐实验
+
+### A. 概念图机制总贡献（消融实验）
+跑两个 worker，其他配置完全相同，对比同 step 的 CE/boundary/core_diff：
+
+```bash
+# 实验组 (关 C3 + 关概念图 + 关概念注意力): 纯 sliding attention baseline
+LAL_NO_C3=1 LAL_NO_CGRAPH=1 LAL_CONCEPT_ATTN=0 \
+  OMP_NUM_THREADS=4 LAL_WORKER_ID=0 ./ste_train > worker_ablate.log 2>&1 &
+
+# 对照组 (默认全开)
+OMP_NUM_THREADS=4 LAL_WORKER_ID=1 ./ste_train > worker_full.log 2>&1 &
+```
+
+同 step 100/200/500 对比 `loss=`, `avg=`, `boundary=`, `core_diff=`，量化概念图机制净贡献。
+
+### B. 推理偏置强度扫描
+固定一个 ckpt，扫描不同强度看生成质量：
+
+```bash
+for s in 0.0 0.1 0.2 0.5 1.0; do
+  echo "=== strength=$s ==="
+  LAL_GRAPH_BIAS=$s ./ste_train --diagnose-only --resume model_mp_0.ste \
+    --prompt "什么是火？" --max-gen 40
+done
+```
+
+人眼对比不同 strength 下的生成连贯度，找最佳点。
+
+### C. 探针验证
+默认全开模式下跑 10 步训练，应看到：
+- `fwd_simple=0` (训练时不用简单版)
+- `fwd_ctx > 0` (训练时实际走的是 ctx 版)
+- 不再有 `fwd=0 ⚠` 假警报
+
+如果 `fwd_simple=0 && fwd_ctx=0` 才是真没在跑概念注意力，那才是 bug。
+
+## 已知不变
+
+- `C3_LOSS_WEIGHT = 0.02`（未改）
+- `logic_lr = 0.001`（未改）
+- 概念图 K=5、cache 文件名 `concept_graph_cache_w{id}.bin`（未改）
+- 滑动窗口 attn_window=1024 / attn_sink=64（未改）
+- 三值量化 {-1,0,+1}（未改）
+
+## 部署步骤
+
+```bash
+# 1. 拉取
+cd /work/home/scntp6qxqe/lalmodel && git pull
+
+# 2. 重新编译
+make
+
+# 3. 不重启训练的情况下验证编译产物
+./ste_train --help | head -5
+
+# 4. (可选) 重启 1 个 worker 验证新探针输出
+#    kill 当前 worker 0, 启动新版, 跑 20 步, 看 [CATTN] 行不再报 fwd=0
+```
+
+## 回滚
+
+`git revert <commit-hash>` 即可。三个改动都是独立的，逻辑上不互相依赖。