On different aspects of neural networks

One Nural in Transformer

如何觀察

• step 1: observe active nural
• step 2: remove active nural -> you can set value to 0 or average

One layer of Nural

• 我們觀察到一個動作可能是由一組vector 去控制的

如何找到所有 function vector

• solution: Space Auto Encoder (SAE)

Nural Network

Puring (Network Compression) (知識抽取)

• 將LLM縮小，且Input Output(我們所關注的)值不變。
• 產生出來新的LLM called Circuit ,重點在可解釋性！

Logit Lens

• 可以分析每一層的 unembedding 後的的結果