Fam Zheng
d923aa1e31
Hopfield + Hebbian hybrid memory system for LLMs. Two nights of experiments (16 iterations), validated on LongMemEval (ICLR 2025). Architecture: - Single-hop: Two-Stage Hopfield (NN top-20 → softmax settle) - Multi-hop: Hebbian W matrix with WTA pattern separation - 64% on LongMemEval (500 questions), retrieval-only, no LLM dependency - 4ms latency @ 20K memories, ~1GB VRAM Key findings: - Hopfield attention solved noise tolerance (20% → 100% vs flat Hebbian) - WTA pattern separation enables 20K+ capacity - Multi-hop associative chains (6 hops, CosSim=1.0) — RAG can't do this - MiniLM-L6 is optimal (discrimination gap > absolute similarity) - Paraphrase cue augmentation: 55% → 100% on synthetic, 36% → 64% on benchmark - SNN encoder viable (CosSim 0.99) but not needed for current architecture
3.0 KiB
3.0 KiB
实验3：Sleep Consolidation
实验 3a：标准配置下的 Consolidation（code_dim=16384, k=20）
结论：Consolidation 基本没有效果。
因为 pattern separation 太强了：
- 20,000 memories 全部完美召回，consolidation 没有优化空间
- 10 晚纯 homeostasis（无 replay）后仍然 CosSim=1.0
- Replay 只是让 W_norm 膨胀（200 → 1644）
Noisy replay 对噪声容忍的改善极其微小（noise=0.05 时 54%→60%），不值得。
实验 3b：小网络下的 Consolidation（code_dim=2048, k=50）
容量边界
| N | CosSim (无 consol) | CosSim (有 consol) |
|---|---|---|
| 500 | 1.0000 | 0.9999 |
| 1000 | 0.9752 | 0.9754 |
| 2000 | 0.8019 | 0.8021 |
Consolidation 对容量没有帮助。 干扰来自 pattern 重叠，replay 不能解决这个问题。
7 天场景（核心发现）⚠️
每天学 200 条新记忆，每晚 consolidate：
| 天数 | 总记忆 | Day1 记忆 | 今日记忆 | 全局精度 |
|---|---|---|---|---|
| Day 1 | 200 | 1.000 | 1.000 | 100% |
| Night 2 后 | 400 | 0.989 | - | 100% |
| Night 3 后 | 600 | 0.770 | - | 100% |
| Night 5 后 | 1000 | 0.252 | - | 71% |
| Night 7 后 | 1400 | 0.072 | 0.535 | 50% |
Consolidation 反而加速了旧记忆的遗忘！ 原因：
- Replay 添加新的 outer product → 增加干扰
- Selective clear (保留 30%) 意味着旧记忆得不到 replay
- W_norm 持续增长（749 → 4000），信噪比恶化
Homeostasis 对稳定系统无影响
500 pairs + 10 晚 consolidation，无论 hf=0.70 还是 1.0，CosSim 都 ≥ 0.9998。 WTA 纠错码太强，只要容量够，权重缩放不影响结果。
关键结论
Consolidation 的真正价值（不是我们预期的）
- ❌ 不是防止遗忘——pattern separation 已经解决了
- ❌ 不是提升容量——容量由 code_dim/k 决定，不由 W 训练策略决定
- ✅ 是 W_norm 管理——防止权重无限增长
- ✅ 是选择性遗忘——当接近容量极限时，主动丢弃不重要的记忆
正确的 Consolidation 策略
当前的"replay + homeostasis"策略是错误的。更好的方案：
-
W 重建法：保存所有 (cue_code, target_code) 对，每晚从零重建 W = Σ target ⊗ cue
- 保证一致性，不累积误差
- 可以选择性丢弃不重要的 pair（实现遗忘曲线）
- O(N × code_dim²) 但只需每晚一次
-
容量监控 + 动态扩展：监控召回精度，接近极限时扩大 code_dim
-
实际推荐：直接用大 code_dim（16384+），容量 20K+ 够用几年的对话历史。 Consolidation 简化为：每晚检查 W_norm，如果过大就重建。
对整体架构的启示
生物海马体需要 consolidation 是因为它容量有限（~数天），需要把记忆转移到皮层。 但在我们的数字系统中，可以直接用更大的 code_dim 来规避容量问题。 Consolidation 退化为一个简单的存储管理问题，不需要复杂的 replay 机制。