nuonuo/doc/architecture.md

NuoNuo: Hippocampal Memory Module — Architecture v2

项目目标

为 LLM（如 Gemma 4）添加一个类海马体的长期记忆模块：

• 不使用传统 RAG（向量数据库 + 检索）
• 记忆存储在网络权重（Hebbian）和显式模式（Hopfield）中
• 支持 paraphrase 容忍的模糊检索
• 支持多跳联想推理（A→B→C，RAG 做不到）
• 每晚可整合/遗忘

核心架构

┌─────────────────────────────────────────────────────────┐
│  Query Embedding (from Sentence Transformer)             │
│                    ↓                                     │
│  ┌──── Stage 1: NN Pre-filter ────────────────────────┐ │
│  │  cosine(query, stored_cues) → top-20 candidates     │ │
│  │  O(N) brute force, O(log N) with FAISS              │ │
│  └─────────────────────┬──────────────────────────────┘ │
│                        ↓                                 │
│  ┌──── Stage 2: Hopfield Settle ──────────────────────┐ │
│  │  softmax(β · query @ candidates^T) → attention       │ │
│  │  Iterate 3 steps → converge to nearest attractor     │ │
│  │  Aggregate attention by memory_id (cue variants)     │ │
│  └─────────────────────┬──────────────────────────────┘ │
│                        ↓                                 │
│  ┌──── Optional: Multi-hop Hebbian Chain ─────────────┐ │
│  │  Settled cue → WTA code → W @ code → next target     │ │
│  │  Repeat for N hops (A → B → C → ...)                 │ │
│  └─────────────────────┬──────────────────────────────┘ │
│                        ↓                                 │
│               Retrieved memories                          │
└─────────────────────────────────────────────────────────┘

生物学类比

大脑区域	系统组件	功能
嗅内皮层 (EC)	Sentence Transformer	感知编码
齿状回 (DG)	WTA Pattern Separation	稀疏化/正交化
CA3	Hebbian W matrix	联想存储 + 多跳
CA1	Hopfield attention	检索输出
睡眠重播	W rebuild	整合/遗忘

实验验证总结

能力	验证结果	实验
Paraphrase recall (+ augmentation)	95%	exp07e
Multi-hop (3 hops, 500 bg)	100% (sim=1.0)	exp07b, 07c
Scale (20K memories)	80%	exp07d
Exact cue recall	100%	exp02c
Memory capacity	20K+	exp02d
Recall latency	4ms @ 20K	exp05, 07d
SNN encoder roundtrip	CosSim 0.99	exp01b

参数推荐

参数	值	备注
embed_dim	384-768	取决于 Sentence Transformer
code_dim	16384	Hebbian 容量 20K+
k (WTA)	50	平衡噪声容忍和容量
β (Hopfield)	16.0	中等锐度
hopfield_top_k	20	候选集大小，越小越稳
hopfield_steps	3	收敛迭代次数
cue_variants	3-5 per memory	LLM 生成 paraphrase

VRAM 预算 (RTX 4090, 24GB)

组件	大小
Hebbian W (16384²)	1024 MB
WTA projection (384×16384)	24 MB
Hopfield store (20K × 384 × 2)	~60 MB
Sentence Transformer	~90 MB
Gemma 4B (fp16)	~8 GB
Total	~9.2 GB
Headroom	~14.8 GB

与 Gemma 集成

推荐方案：Context Injection

# 1. User input → embed
query_emb = encoder.encode(user_input)

# 2. Recall memories
results = memory.recall(query_emb, top_k=3)
chain = memory.recall_chain(query_emb, hops=2)

# 3. Format and inject
context = format_memories(results + chain)
prompt = f"[Recalled memories]\n{context}\n\n[User]\n{user_input}"

# 4. Generate response
response = gemma.generate(prompt)

# 5. Store new memory (with LLM-generated paraphrases)
paraphrases = gemma.generate(f"Generate 3 paraphrases of: {user_input}")
memory.store(query_emb, response_emb,
             cue_variants=[encoder.encode(p) for p in paraphrases])

文件结构

src/nuonuo/
├── hippocampus.py    # 最终模块 v2 (Hopfield + Hebbian hybrid)
├── encoder.py        # SNN spike encoder/decoder
├── memory.py         # STDP + Hebbian memory (historical)
├── consolidation.py  # Sleep consolidation (historical)
└── __init__.py

doc/
├── architecture.md   # 本文件
├── findings.md       # 核心发现与反直觉结论
├── exp01_*.md        # SNN Encoder
├── exp02_*.md        # Associative Recall
├── exp03_*.md        # Consolidation
├── exp04_*.md        # Real Embeddings
├── exp05_*.md        # Benchmarks
├── exp06_*.md        # BioHash
└── exp07_*.md        # Hopfield (突破)