What is a β₁ hole? In the 4096-dimensional latent space of an LLM (Llama 8B), persistent homology detects β₁ holes — topological loops formed by data points. These loops act as walls that bound the ...
LLM은 햄스터 볼 안에 갇혀 있다 — 학습 분포의 경계에서 위상적 벽(β₁ hole)이 형성된다. 이 프로젝트는 persistent homology로 벽을 감지하고, wall neuron만 선택적으로 수축시켜 벽을 제거한다.