# 实验1：Encoder Roundtrip Test

## 目标
验证 embedding → spike train → embedding 往返编码的信息保留度。

## 关键发现

### 结论：roundtrip 编码完全可行，CosSim 可达 0.99

最佳配置：**768-dim, 2048 neurons, 64 steps → CosSim 0.9898, MSE 0.000111**

### 详细结果 (200 epochs, AdamW + CosineAnnealing)

| Dim | Neurons | Steps | MSE | CosSim | 备注 |
|-----|---------|-------|-----|--------|------|
| 768 | 2048 | 64 | 0.000111 | **0.9898** | ⭐ 最佳 |
| 768 | 4096 | 64 | 0.000057 | 0.9873 | MSE最低但CosSim略低 |
| 768 | 8192 | 64 | 0.000094 | 0.9773 | 过宽反而差 |
| 768 | 4096 | 128 | 0.000711 | 0.9640 | 步数太多反而差！|

### 重要观察

1. **"死神经元"相变**：训练前60个epoch，firing rate = 0，网络完全不放电。然后突然开始放电，CosSim飙升。这是因为膜电位初始化需要学习到正确的尺度才能突破阈值。类似生物神经网络中的突触成熟过程。

2. **更宽不等于更好**：2048 neurons 比 4096、8192 都好。更窄的瓶颈迫使编码更高效。这和 autoencoder 的经典结论一致。

3. **更多 steps 反而有害**：128 steps 比 64 差很多（0.964 vs 0.990）。LIF 膜电位指数衰减，长序列末端的脉冲和初始 embedding 的关联太弱了。

4. **firing rate 自然收敛到 ~6%**：目标是 10%，实际收敛到 5-7%。说明稀疏编码是最优的。

5. **收敛速度**：50 epochs 时 768-dim 只有 ~0.89，但 200 epochs 可以到 0.99。CosineAnnealing scheduler 帮助很大。

### 对后续实验的指导

- 使用 **768-dim, 2048 neurons, 64 steps** 作为默认配置
- 训练至少 200 epochs
- 实际记忆模块不需要完美重建——0.95 的 CosSim 已经足够做 associative recall
- 关键瓶颈不在 encoder，而在后续的 STDP 记忆层是否能保持 spike pattern 的完整性