src/PATCH_NOTES_2026-08-17.md

Patch Notes — 2026-08-17 — 探针修复 + 消融开关 + 推理偏置降级

背景

监控发现每个 worker 日志都打印 [CATTN] fwd=0 ⚠ 概念注意力未参与前向， 但实际训练 forward 走的是 attention_forward_concept_ctx（长上下文记忆版）， 不是 attention_forward_concept（简单版）。旧探针只统计后者，所以报假警报。

代码审查同时发现：

1. C3 loss / 概念图 / 概念注意力三套机制从未做过消融对比，无法量化真实贡献
2. 推理时 graph_concept_bias 强度硬编码 1.0，训练早期 wte 余弦基本是噪声， 过强偏置可能加剧生成漂移（README 自己承认 step 1400+ 仍乱码）

本次补丁解决这三个问题，不改默认行为（除推理偏置强度从 1.0 → 0.2）。

改动

1. 修探针（runtime/lal_runtime.c）

• ConceptAttnStats 增加字段：forwards_ctx、ctx_memory_slots_used、ctx_total_attend
• attention_forward_concept_ctx 函数开头增加计数器累加（含等效全注意力对数）
• concept_attn_probe_print 新格式：
  • [CATTN] fwd_simple=X fwd_ctx=Y ...（同时显示两个版本）
  • [CATTN-CTX] 平均候选/前向=... (含概念槽=..., sink+window=...) 槽命中率=...（ctx 专属）
  • fwd=0 警报只在两个计数都为 0 时触发，并多打 cctx_enable 和 cg 状态便于诊断

2. 加消融开关（models/ste_train.c）

三个环境变量，启动时读取一次：

变量	作用
LAL_NO_C3=1	禁用 C3 训练辅助 loss（保留概念图与概念注意力）
LAL_NO_CGRAPH=1	禁用概念图构建 + 长上下文记忆（训练时不构建图，推理时也不构建）
LAL_CONCEPT_ATTN=0	禁用概念注意力（已有开关，回退标准 sliding attention）

启动时会打印 [ABLATION] 块列出所有生效的消融开关。

3. 降推理偏置强度（models/ste_train.c）

graph_concept_bias 强度从硬编码 1.0 改为环境变量 LAL_GRAPH_BIAS 控制，默认 0.2。

取值	含义
LAL_GRAPH_BIAS=0.0	完全关闭偏置（纯自回归 baseline）
LAL_GRAPH_BIAS=0.2	默认（温和偏置，自回归主信号为主）
LAL_GRAPH_BIAS=1.0	旧行为（激进，用于复现历史实验）

启动时打印 [*] graph_concept_bias strength = 0.200 (env LAL_GRAPH_BIAS, default 0.2)

默认行为变化

• 训练：默认行为不变（C3 + 概念图 + 概念注意力 全开）
• 推理：graph_concept_bias 强度 1.0 → 0.2（更温和，预期改善生成多样性）

推荐实验

A. 概念图机制总贡献（消融实验）

跑两个 worker，其他配置完全相同，对比同 step 的 CE/boundary/core_diff：

# 实验组 (关 C3 + 关概念图 + 关概念注意力): 纯 sliding attention baseline
LAL_NO_C3=1 LAL_NO_CGRAPH=1 LAL_CONCEPT_ATTN=0 \
  OMP_NUM_THREADS=4 LAL_WORKER_ID=0 ./ste_train > worker_ablate.log 2>&1 &

# 对照组 (默认全开)
OMP_NUM_THREADS=4 LAL_WORKER_ID=1 ./ste_train > worker_full.log 2>&1 &

同 step 100/200/500 对比 loss=, avg=, boundary=, core_diff=，量化概念图机制净贡献。

B. 推理偏置强度扫描

固定一个 ckpt，扫描不同强度看生成质量：

for s in 0.0 0.1 0.2 0.5 1.0; do
  echo "=== strength=$s ==="
  LAL_GRAPH_BIAS=$s ./ste_train --diagnose-only --resume model_mp_0.ste \
    --prompt "什么是火？" --max-gen 40
done

人眼对比不同 strength 下的生成连贯度，找最佳点。

C. 探针验证

默认全开模式下跑 10 步训练，应看到：

• fwd_simple=0 (训练时不用简单版)
• fwd_ctx > 0 (训练时实际走的是 ctx 版)
• 不再有 fwd=0 ⚠ 假警报

如果 fwd_simple=0 && fwd_ctx=0 才是真没在跑概念注意力，那才是 bug。

已知不变

• C3_LOSS_WEIGHT = 0.02（未改）
• logic_lr = 0.001（未改）
• 概念图 K=5、cache 文件名 concept_graph_cache_w{id}.bin（未改）
• 滑动窗口 attn_window=1024 / attn_sink=64（未改）
• 三值量化 {-1,0,+1}（未改）

部署步骤

# 1. 拉取
cd /work/home/scntp6qxqe/lalmodel && git pull

# 2. 重新编译
make

# 3. 不重启训练的情况下验证编译产物
./ste_train --help | head -5

# 4. (可选) 重启 1 个 worker 验证新探针输出
#    kill 当前 worker 0, 启动新版, 跑 20 步, 看 [CATTN] 行不再报 fwd=0

回滚

git revert <commit-hash> 即可。三个改动都是独立的，逻辑上不互相依赖。