NuoNuo: Hippocampal memory module prototype

Hopfield + Hebbian hybrid memory system for LLMs.
Two nights of experiments (16 iterations), validated on LongMemEval (ICLR 2025).

Architecture:
- Single-hop: Two-Stage Hopfield (NN top-20 → softmax settle)
- Multi-hop: Hebbian W matrix with WTA pattern separation
- 64% on LongMemEval (500 questions), retrieval-only, no LLM dependency
- 4ms latency @ 20K memories, ~1GB VRAM

Key findings:
- Hopfield attention solved noise tolerance (20% → 100% vs flat Hebbian)
- WTA pattern separation enables 20K+ capacity
- Multi-hop associative chains (6 hops, CosSim=1.0) — RAG can't do this
- MiniLM-L6 is optimal (discrimination gap > absolute similarity)
- Paraphrase cue augmentation: 55% → 100% on synthetic, 36% → 64% on benchmark
- SNN encoder viable (CosSim 0.99) but not needed for current architecture

doc/exp03_consolidation.md

@@ -0,0 +1,74 @@
+# 实验3：Sleep Consolidation
+
+## 实验 3a：标准配置下的 Consolidation（code_dim=16384, k=20）
+
+**结论：Consolidation 基本没有效果。**
+
+因为 pattern separation 太强了：
+- 20,000 memories 全部完美召回，consolidation 没有优化空间
+- 10 晚纯 homeostasis（无 replay）后仍然 CosSim=1.0
+- Replay 只是让 W_norm 膨胀（200 → 1644）
+
+Noisy replay 对噪声容忍的改善极其微小（noise=0.05 时 54%→60%），不值得。
+
+## 实验 3b：小网络下的 Consolidation（code_dim=2048, k=50）
+
+### 容量边界
+| N | CosSim (无 consol) | CosSim (有 consol) |
+|---|---|---|
+| 500 | 1.0000 | 0.9999 |
+| 1000 | 0.9752 | 0.9754 |
+| 2000 | 0.8019 | 0.8021 |
+
+**Consolidation 对容量没有帮助。** 干扰来自 pattern 重叠，replay 不能解决这个问题。
+
+### 7 天场景（核心发现）⚠️
+
+每天学 200 条新记忆，每晚 consolidate：
+
+| 天数 | 总记忆 | Day1 记忆 | 今日记忆 | 全局精度 |
+|------|--------|-----------|----------|----------|
+| Day 1 | 200 | 1.000 | 1.000 | 100% |
+| Night 2 后 | 400 | 0.989 | - | 100% |
+| Night 3 后 | 600 | 0.770 | - | 100% |
+| Night 5 后 | 1000 | 0.252 | - | 71% |
+| Night 7 后 | 1400 | 0.072 | 0.535 | 50% |
+
+**Consolidation 反而加速了旧记忆的遗忘！** 原因：
+1. Replay 添加新的 outer product → 增加干扰
+2. Selective clear (保留 30%) 意味着旧记忆得不到 replay
+3. W_norm 持续增长（749 → 4000），信噪比恶化
+
+### Homeostasis 对稳定系统无影响
+
+500 pairs + 10 晚 consolidation，无论 hf=0.70 还是 1.0，CosSim 都 ≥ 0.9998。
+WTA 纠错码太强，只要容量够，权重缩放不影响结果。
+
+## 关键结论
+
+### Consolidation 的真正价值（不是我们预期的）
+
+1. ❌ **不是防止遗忘**——pattern separation 已经解决了
+2. ❌ **不是提升容量**——容量由 code_dim/k 决定，不由 W 训练策略决定
+3. ✅ **是 W_norm 管理**——防止权重无限增长
+4. ✅ **是选择性遗忘**——当接近容量极限时，主动丢弃不重要的记忆
+
+### 正确的 Consolidation 策略
+
+当前的"replay + homeostasis"策略是错误的。更好的方案：
+
+1. **W 重建法**：保存所有 (cue_code, target_code) 对，每晚从零重建 W = Σ target ⊗ cue
+   - 保证一致性，不累积误差
+   - 可以选择性丢弃不重要的 pair（实现遗忘曲线）
+   - O(N × code_dim²) 但只需每晚一次
+
+2. **容量监控 + 动态扩展**：监控召回精度，接近极限时扩大 code_dim
+
+3. **实际推荐**：直接用大 code_dim（16384+），容量 20K+ 够用几年的对话历史。
+   Consolidation 简化为：每晚检查 W_norm，如果过大就重建。
+
+### 对整体架构的启示
+
+生物海马体需要 consolidation 是因为它容量有限（~数天），需要把记忆转移到皮层。
+但在我们的数字系统中，可以直接用更大的 code_dim 来规避容量问题。
+Consolidation 退化为一个简单的**存储管理**问题，不需要复杂的 replay 机制。