src/PATCH_NOTES_2026-08-17.md

# Patch Notes — 2026-08-17 — 探针修复 + 消融开关 + 推理偏置降级

## 背景

监控发现每个 worker 日志都打印 `[CATTN] fwd=0  ⚠ 概念注意力未参与前向`，
但实际训练 forward 走的是 `attention_forward_concept_ctx`（长上下文记忆版），
不是 `attention_forward_concept`（简单版）。旧探针只统计后者，所以报假警报。

代码审查同时发现：
1. C3 loss / 概念图 / 概念注意力三套机制从未做过消融对比，无法量化真实贡献
2. 推理时 `graph_concept_bias` 强度硬编码 1.0，训练早期 wte 余弦基本是噪声，
   过强偏置可能加剧生成漂移（README 自己承认 step 1400+ 仍乱码）

本次补丁解决这三个问题，**不改默认行为**（除推理偏置强度从 1.0 → 0.2）。

## 改动

### 1. 修探针（`runtime/lal_runtime.c`）

- `ConceptAttnStats` 增加字段：`forwards_ctx`、`ctx_memory_slots_used`、`ctx_total_attend`
- `attention_forward_concept_ctx` 函数开头增加计数器累加（含等效全注意力对数）
- `concept_attn_probe_print` 新格式：
  - `[CATTN] fwd_simple=X fwd_ctx=Y ...`（同时显示两个版本）
  - `[CATTN-CTX] 平均候选/前向=... (含概念槽=..., sink+window=...) 槽命中率=...`（ctx 专属）
  - `fwd=0` 警报只在两个计数都为 0 时触发，并多打 `cctx_enable` 和 `cg` 状态便于诊断

### 2. 加消融开关（`models/ste_train.c`）

三个环境变量，启动时读取一次：

| 变量 | 作用 |
|---|---|
| `LAL_NO_C3=1` | 禁用 C3 训练辅助 loss（保留概念图与概念注意力） |
| `LAL_NO_CGRAPH=1` | 禁用概念图构建 + 长上下文记忆（训练时不构建图，推理时也不构建） |
| `LAL_CONCEPT_ATTN=0` | 禁用概念注意力（已有开关，回退标准 sliding attention） |

启动时会打印 `[ABLATION]` 块列出所有生效的消融开关。

### 3. 降推理偏置强度（`models/ste_train.c`）

`graph_concept_bias` 强度从硬编码 `1.0` 改为环境变量 `LAL_GRAPH_BIAS` 控制，默认 `0.2`。

| 取值 | 含义 |
|---|---|
| `LAL_GRAPH_BIAS=0.0` | 完全关闭偏置（纯自回归 baseline） |
| `LAL_GRAPH_BIAS=0.2` | 默认（温和偏置，自回归主信号为主） |
| `LAL_GRAPH_BIAS=1.0` | 旧行为（激进，用于复现历史实验） |

启动时打印 `[*] graph_concept_bias strength = 0.200 (env LAL_GRAPH_BIAS, default 0.2)`

## 默认行为变化

- **训练**：默认行为不变（C3 + 概念图 + 概念注意力 全开）
- **推理**：`graph_concept_bias` 强度 1.0 → 0.2（更温和，预期改善生成多样性）

## 推荐实验

### A. 概念图机制总贡献（消融实验）
跑两个 worker，其他配置完全相同，对比同 step 的 CE/boundary/core_diff：

```bash
# 实验组 (关 C3 + 关概念图 + 关概念注意力): 纯 sliding attention baseline
LAL_NO_C3=1 LAL_NO_CGRAPH=1 LAL_CONCEPT_ATTN=0 \
  OMP_NUM_THREADS=4 LAL_WORKER_ID=0 ./ste_train > worker_ablate.log 2>&1 &

# 对照组 (默认全开)
OMP_NUM_THREADS=4 LAL_WORKER_ID=1 ./ste_train > worker_full.log 2>&1 &
```

同 step 100/200/500 对比 `loss=`, `avg=`, `boundary=`, `core_diff=`，量化概念图机制净贡献。

### B. 推理偏置强度扫描
固定一个 ckpt，扫描不同强度看生成质量：

```bash
for s in 0.0 0.1 0.2 0.5 1.0; do
  echo "=== strength=$s ==="
  LAL_GRAPH_BIAS=$s ./ste_train --diagnose-only --resume model_mp_0.ste \
    --prompt "什么是火？" --max-gen 40
done
```

人眼对比不同 strength 下的生成连贯度，找最佳点。

### C. 探针验证
默认全开模式下跑 10 步训练，应看到：
- `fwd_simple=0` (训练时不用简单版)
- `fwd_ctx > 0` (训练时实际走的是 ctx 版)
- 不再有 `fwd=0 ⚠` 假警报

如果 `fwd_simple=0 && fwd_ctx=0` 才是真没在跑概念注意力，那才是 bug。

## 已知不变

- `C3_LOSS_WEIGHT = 0.02`（未改）
- `logic_lr = 0.001`（未改）
- 概念图 K=5、cache 文件名 `concept_graph_cache_w{id}.bin`（未改）
- 滑动窗口 attn_window=1024 / attn_sink=64（未改）
- 三值量化 {-1,0,+1}（未改）

## 部署步骤

```bash
# 1. 拉取
cd /work/home/scntp6qxqe/lalmodel && git pull

# 2. 重新编译
make

# 3. 不重启训练的情况下验证编译产物
./ste_train --help | head -5

# 4. (可选) 重启 1 个 worker 验证新探针输出
#    kill 当前 worker 0, 启动新版, 跑 20 步, 看 [CATTN] 行不再报 fwd=0
```

## 回滚

`git revert <commit-hash>` 即可。三个改动都是独立的，逻辑上不互相依赖。