打開神經網絡的黑盒：分解神經元特徵，讓複雜模型變得簡潔、可解釋
近年來，隨着人工智能技術的飛速發展，神經網絡已經成爲了研究的熱門對象。然而，神經網絡內部的運作機制一直充滿了神秘和複雜性，人們始終難以直觀理解它是如何進行決策的。
回顾 江苏一对母女惨遭奸杀，体内发现男性DNA，凶手竟是个高中生
爲了解釋看似異常複雜的神經網絡，首要任務是將其分解爲易於理解的組件。通過理解每個組件的功能以及它們之間的相互作用，我們可以推斷神經網絡的運作原理。
然而，分解神經網絡並非一項簡單的工作。神經網絡中最自然的計算單元——神經元，並非人類可以輕鬆理解的具有單一功能的自然單位，而是呈現多義性，即對看似無關的輸入混合作出響應。比如，在視覺模型Inception v1中，一個單獨的神經元會同時對貓的臉和汽車的正面作出響應。
小三通线上购票12／1试营运 2航线每天各释出20张预购票
這種多義性的一個潛在原因是神經元的疊加現象。這是一種假設現象，即神經網絡通過線性地組合神經元來表徵遠大於神經元數量的數據特徵。這種疊加使得小型神經網絡利用特徵稀疏性和高維空間的特性來近似模擬規模更大、更稀疏的神經網絡。
請輸入圖說▷圖 1：神經元疊加假設。圖源：論文原文
爲了深入理解神經網絡的工作方式，來自Anthropic研究者們藉助稀疏自編碼器，試圖從神經網絡內部複雜的神經元疊加中分解出具有單一語義的特徵，來揭示神經網絡內部的奧秘。這項研究成功將複雜Transformer模型的激活模式分解爲簡潔、可解釋的特徵，這些特徵響應特定輸入，並且能通過調整特徵值影響網絡行爲。
菲律宾政府：民团基于「安全考量」 不赴仁爱暗沙运补
▷圖 2：論文。圖源：Anthropic官網
aespa才推新歌又有爭議！Winter手機不離身遭爆「和男友熱線」
特徵分解
儘管有時單個神經元具有基本可解釋性，但很多情況下並非如此。
大量研究表明，神經網絡在激活（神經元的激活值）空間中具有可解釋的線性方向[4]。研究者認爲，既然線性方向是可解釋的，那必然存在一些可解釋的高維方向。這些方向被稱爲特徵，也是研究者希望將模型分解爲的組件，這些特徵往往具有單一的可解釋的語義。
票房5天破2亿！张末这一次，终于摆脱父亲张艺谋带来的“阴影”
什麼樣的分解可以被稱作是好的分解呢？研究者認爲一個良好的分解要具備以下特點：
1. 能夠解釋每個特徵激活的條件，即能描述哪些數據點會導致特徵激活，並且這種解釋是有意義的。
2. 能夠解釋每個特徵對下游效果的影響，即特徵值的變化如何影響後續的神經網絡層。
叫娃起床，输出全靠吼？教你8招，让娃告别起床气，乖乖起来上学
3. 這些特徵能夠解釋被分解的神經網絡層的大部分功能。
這樣的特徵分解能夠使研究人員進行可解釋的神經網絡分析與調控。比如，能夠確定特定示例中特徵對層輸出和下一層激活的貢獻，能夠監視網絡以檢測特定特徵的激活與否，通過改變特徵的值可預測地改變網絡行爲，展示網絡學到的數據屬性，展示網絡在生成特定示例的輸出時使用了哪些數據屬性，能夠設計輸入以激活特定特徵並引出特定輸出等。
向神求明牌杠龟 男怒砸土地公
根據這些分解原則，研究者針對Transformer模型中具有ReLU激活函數的單層MLP（多層感知機）展開了研究，試圖提取其激活並將其分解爲“特徵”。在某種意義上說，MLP模型是語言模型中最簡單但也最難以解釋的部分。
研究者也表示，選擇單個MLP層進行分解的原因之一是特徵分解的維度詛咒。隨着模型規模的不斷擴大，那些需要解釋的代表模型內部狀態的潛空間的體積會呈指數增長。
這民調逆風高捧柯文哲 將成賴蕭配爭取年輕族群契機？
研究者試圖利用詞典學習的線性矩陣因子分解方法，將激活向量xj分解爲更一般的特徵的組合，這些特徵可以是任何高維方向：
其中xj是神經網絡對於數據點j的激活向量，fi(xj)是特徵i的激活，每個di是特徵方向，代表激活空間中的單位向量，b是偏置。
從表面上看，從神經元激活（即特徵的疊加）中恢復原本的特徵似乎是不可能的，這要求從低維投影確定一個高維向量。換句話說，這就像試圖反轉一個長寬比極大的矩形矩陣。唯一使其可能的因素是我們正在尋找的高維向量是稀疏的。
這就是著名的壓縮感知問題，需要採用複雜的詞典學習方法[5]。研究者嘗試了大量傳統的詞典學習方法後，選擇使用稀疏自編碼器對詞典學習進行近似，以實現特徵分解。
研究者選擇稀疏自編碼器主要基於兩個原因：首先，稀疏自編碼器作爲一種神經網絡能夠輕鬆應用到非常大的數據集上；其次，使用稀疏自編碼器能夠避免從模型本身無法訪問的激活中恢復特徵。
在稀疏自動編碼器設置中，特徵的激活是編碼器的輸出：
其中We是編碼器的權重矩陣，bd和be是預編碼器和編碼器的偏置，特徵方向是解碼器權重矩陣的列（具體設置可參考論文原文）。
研究者強調，如果存在這樣的稀疏分解，這就提出了一個重要問題：從根本上說，模型是否由特徵組成，還是特徵只是一種方便的事後描述？在這項工作中，研究者持中立立場。但研究者對特徵普遍性的研究結果表明，特徵在單個模型之外具有某種普遍性的存在。
將模型分解爲這些特徵組件是神經網絡可解釋性工作的開始，這爲解釋工作提供了突破口，讓研究者能夠深入瞭解模型內部工作，並建立更廣泛的模型理解。
特徵分析
本項工作中最重要的觀點之一是，字典學習可以提取比神經元更具單一含義的特徵。因此，研究者對一些特定特徵進行了詳細的演示，這些特徵僅在高度特定的上下文中被激活。
對於每個學到的特徵，研究者試圖證明以下幾項聲明：
1. 學到的特徵在假設的上下文中具有高度特異性激活（當特徵激活時，通常存在該上下文）。
2. 學到的特徵對於假設的上下文具有高度敏感性激活（當上下文存在時，特徵通常會激活）。
能吃的只有你
3. 學到的特徵會導致適當的下游行爲。
4. 學到的特徵不對應任何單一神經元。
【特稿】马斯克访问以色列 谈妥“星链”应用
5. 學到的特徵是普適的——在應用於不同模型時，通過字典學習會得到類似的特徵。
陆央行：预计可实现5％经济成长目标 将取消金融领域外资持股比例限制
此外，研究者着力展示每個特徵的特異性，即一個特徵只在某些相對罕見和具體的上下文中激活，這對於排除多義性十分重要。
在本項工作中，研究者以編號爲A/1/3450（A爲模型編號；1爲實驗設置編號，越大表示特徵數量越多；3450爲特徵編號）的一個阿拉伯文字特徵爲例進行了具體分析，並對以上聲明進行了證明。這個特徵非常具體，對阿拉伯文字的敏感性相對較強。更重要的是，如果以單個神經元的視角查看模型，這類行爲幾乎無法發現。
（一）特徵特異性
在整體數據分佈中，阿拉伯文本非常罕見，僅佔0.13%的訓練token。但在所有能夠激活特徵A/1/3450的token中，這些阿拉伯token佔到了81%。這證明該特徵幾乎只對阿拉伯文字的文本產生激活。
此外，研究者發現儘管該特徵只會對阿拉伯文字作出高度特異性的響應，但也會對一些阿拉伯文字做出低活躍度的響應。研究者猜測這可能是因爲模型本身不夠精準、或者是自編碼器不夠完善導致的，因爲自編碼器的寬度可能小於模型正在使用的“真實特徵”的數量。
台師大副校長鄭志富的人生故事：回澎湖 盡七年的義務
（二）特徵敏感性
美濃邊緣戶難獲社福補助 在地社團號召募款幫度難關
實驗證明，A/1/3450並不對阿拉伯文字中的所有token都敏感。在隨機數據集示例中，它在前綴“ال”（相當於英語中的定冠詞“the”）的五個示例中未能觸發。然而，在這些示例中，另一個特定於阿拉伯文字的特徵A/1/3134會被激活。此外，當一個阿拉伯字符被拆分爲多個token時，A/1/3450只會在構成字符的最後一個token上觸發，而A/1/3399會在構成字符的第一個token上觸發。這展示了這些特徵之間的協作關係。
此外，研究者還度量了特徵的活躍度與阿拉伯文字的活躍度之間的皮爾遜相關係數。這種度量綜合考慮了敏感度和特異性，相關係數達到了0.74，表明存在相當顯著的相關性。
（三）特徵的下游行爲
研究者表示，字典學習所得到的特徵能夠對模型的輸出產生可解釋的因果效應，並且與特徵的激活水平相一致。換句話說，可以通過控制特徵的激活水平來引導模型的輸出。
2020马路好行 竹市5工程获奖
爲了驗證這一觀點，研究者進行了一個有趣的實驗。實驗中讓模型預測以前綴1、2、3、4、5、6、7、8、9、10開頭的後續序列，並固定特徵A/1/3450爲最大值。實驗結果顯示，模型會生成由阿拉伯文字組成的後續序列，而不加干涉時則會生成數字序列。因此，研究者確信這些特徵與網絡中MLP的功能真正相關，而不僅僅是基礎數據的一個特性。
▷圖 3:特徵可以影響模型輸出。圖源：論文原文
（四）特徵不對應單一神經元
爲了證明這一點，研究者分別統計了每一個神經元以及能夠最激活它們的20個文本數據示例（TOP 20）。研究結果顯示，僅有一個神經元的TOP 20中包含阿拉伯文本，且僅有一個阿拉伯示例，其餘的十八個示例是英文，一個是西里爾文。因此，單一的神經元無法充分表達A/1/3450所表達的語義。
旷野疾驰《王牌竞速》新赛道“65号公路”开放
更直觀的是，研究者找到了與特徵A/1/3450最相關的神經元A/neurons/489，發現A/neurons/489會對多種不同的非英語語言產生響應，而阿拉伯文字符只佔很小一部分。這進一步佐證了這些特徵不是單個神經元的簡單對應，如果僅根據神經元進行分析，那麼阿拉伯文的特徵將幾乎無法發現。
（五）特徵的普適性
研究者認爲A/1/3450可能是一種通用特徵，並且可能在其他模型中出現。研究者對另一個Transformer模型（同樣訓練數據但不同訓練種子）使用稀疏自動編碼器進行特徵分解，找到了和A/1/3450具有極高相關性的特徵B/1/1334，其相關性爲0.91。
爲了進一步驗證，研究者在B/1/1334上進行與A/1/3450相同的實驗，而實驗結果都十分相似，這進一步證明了特徵可能在模型之間普遍存在。
在本項工作中，研究者還對DNA、Base64和Hebrew特徵進行了類似的分析。此外，他們製作了一個可視化的網站，用來展示所有特徵以及相應的語義、相關神經元和示例。
▷圖 4:可視化網站（https://transformer-circuits.pub/2023/monosemantic-features/vis/index.html）。圖源：論文原文
除了對特徵逐個進行分析，研究者還進行了對特徵的總體分析。
首先，研究者對所有特徵的可解釋性進行了實驗，實驗中採用了三種解釋方法，包括人工解釋和兩種利用AI的自動解釋。實驗結果表明，儘管並非所有的特徵都具有很高的可解釋性，但所有三種方法都一致地顯示，特徵的可解釋性明顯高於神經元。
教你如何使用小米电视2追美剧看电影
值得一提的是，在A/1自編碼器中學到的4096個特徵中，有168個是“死”的（在1億數據集中沒有激活），有292個是“超低密度”的（在百萬分之一以下的數據集示例中激活），並且具有一些其他非典型特性。
其次，研究者試圖衡量這種基於特徵分析的解釋方法對模型的解釋程度。換句話說，他們想了解，“這些特徵覆蓋了模型功能的多少？是否完全覆蓋了？”
《热门族群》作帐行情有戏 汽车股马力夯
研究者通過將MLP的激活值替換爲稀疏自動編碼器的輸出值（即特徵激活值），來嘗試衡量這一點。結果顯示，僅在MLP的對數似然損失上，信息僅僅損失了21%。
奔腾思潮》「两手对两手」 习近平在拜习会中的本质思维（亓乐义）
然而，這並不代表這些特徵解釋了模型功能的79%。一方面，要解釋剩下的21%，可能需要提取多得多的特徵；另一方面，研究者認爲這些特徵不是完全單一含義的，也不是所有特徵都是清晰可解釋的。
山东公布一批典型案例：严查“神医”“神药”违法广告
最後，研究者認爲，這些特徵的特性來源於模型和數據的共同作用。爲了評估數據集的相關性對特徵可解釋性的影響，研究者對具有隨機權重的單層模型進行了字典學習。
專訪《他還年輕》作家兼詩人吳晟：要把力氣花在對自己生命有意義、有價值的事情上
結果顯示，提取出的特徵中，只有那些對應於單個token的特徵是可解釋的，而其他特徵都無法解釋。因此研究者得出結論——隨着學習的進行，模型在其激活中創造了比數據集中的token分佈更豐富的結構。
北京卖电动封闭货的电话多少地址
我們能從特徵中學到什麼
2024「超强运3生肖」职场走大运！事业一路飙 升官加薪平步青云
可解釋AI的最終目的是理解神經網絡，而將模型分解爲特徵只是實現這一目標的手段。研究者對特徵的“現象學（Phenomenology）”進行了深入討論，即特徵能教給我們什麼有關神經網絡的經驗教訓。
專訪《台灣男子葉石濤》導演許卉林、監製林靖傑：看見葉石濤既勇敢又害怕的生命故事
（一）特徵主題
在所有的特徵中，上下文特徵和上下文token特徵最爲普遍。其中上下文（context）特徵會被特定上下文的輸入激活（比如DNA序列），而上下文token（token-in-context）會被特定上下文中的特定token激活（比如數學公式裡的<和HTML裡的<分別可以激活特徵A/0/341和A/0/20）。
這類上下文token特徵數量巨大，例如在A/4（一種實驗設置）中，有一百多個主要響應不同上下文中的“the”這一token的特徵。並且隨着學習的特徵數的增加，上下文特徵和純token特徵會逐漸分裂爲上下文token特徵。
研究者強調，在一個單層模型中找到的所有特徵都可以解釋爲“動作特徵”。也就是說，這些特徵不僅可以被特定的輸入激活，也可以作爲一個“動作”刺激模型產生特定的輸出或預測。此外，特徵的激活和動作所對應的token並不一定一致，比如一個特徵可以由大寫字母激活並輸出下劃線。
（二）特徵拆分
台南人注意！违停大执法来了 警公布10大重点路段
特徵的一個主要特點是其呈簇狀分佈，比如會有多個base64特徵、多個阿拉伯文特徵。隨着特徵分解數量的增加，會有更多的base64特徵出現。這種現象被稱作特徵分裂。研究者通過二維UMAP（Uniform Manifold Approximation and Projection）分析發現，這些簇內的特徵對應的字典向量之間的角度很小。
▷圖 5:特徵簇。圖源：論文原文
舉例而言，當我們僅學習512個特徵時（實驗A/0），發現特徵A/0/341會被所有數學公式語境下的“the”激活。而當學習的特徵數增多時（實驗A/2），這一特徵會分解爲更多精確的特徵，包括針對機器學習語境下的“the”的A/2/15021，針對抽象代數語境下的A/2/4878，和針對場論語境下的A/2/2609。也就是說，特徵分裂會更精確地反映模型功能的差異。
此外，特徵分裂的現象可以引導特徵分析的學習模式。研究者可以首先學習較粗糙的特徵集以瞭解模型行爲的類別，然後學習更精細的特徵集以研究該行爲的微妙之處。這種學習模式可能非常適用於特徵集較大的大型模型。
（三）特徵普適性
怕变胖去好市多能买啥？网狂推这减肥神品「零脂又好吃」
關於特徵的一個最重要的“元問題”是它們是否具有普適性，也就是說，不同模型是否會產生相同的特徵。這個問題涉及到是否能將在研究一個模型時得到的寶貴經驗推廣到其他模型。更重要的是，普適性可能證明了提取到的特徵是“真實的”，或者至少是可複製的。
正如前文分析的阿拉伯文特徵一樣，可以在兩個Transformer模型中都能學習到。研究者用激活相似度來衡量兩個模型之間特徵的相似度，結果顯示許多特徵在兩個模型之間能找到對應的相似特徵。
你见过未？新一代自动驾驶出租车在南沙上路了
研究者進一步將發現的特徵與其他文獻中報道的特徵進行比較，以尋找更強的普遍性形式。例如，研究者在文獻[6]中找到了代表Base64（A/0/45）、十六進制（A/0/119）和大寫字母（A/0/317）的特徵；在文獻[7]中找到了代表澳大利亞（A/3/16085）、加拿大（A/3/13683）和非洲（A/3/14490）的特徵。
（四）特徵狀態機
研究者在實驗中觀察到了一些類似於“有限狀態自動機”的特徵組合。一個特徵增加某種token的輸出概率，接着另一個特徵在下一步被這一token觸發，依此類推。
溫妮圈外男友真實溫柔面曝光！五月天阿信一句話好貼心
舉例而言，當模型生成遵守“全大寫蛇形命名法”的名稱（比如ARRAY_MAX_VALUE）時，一個特徵（A/0/207）在下劃線上激活並生成大寫字母，另一個特徵（A/0/358）被大寫字母激活使模型生成下劃線。
马来西亚对印度也免签，免了近30亿人！九寨沟的高铁来了，门票买一送一！全国机票跌至谷底
這種雙節點的狀態機系統在Unicode字符中也很常見，而在中文語境下這種狀態機系統會更加複雜。而這種狀態機也使得模型似乎會記憶特定的短語。
總結
在本項工作中，研究者運用稀疏自編碼器將Transformer模型中複雜的激活模式分解爲語義相對單一且可解釋的特徵。這些特徵對輸入具有特定響應模式，甚至能夠操縱網絡的行爲。這爲解釋神經網絡內部的工作方式提供了新的視角。
對於分解得到的特徵，研究者進一步分析了這些特徵的特異性和敏感性，並嘗試通過設置這些特徵的取值來控制網絡的輸出。此外，他們還證實了相似的特徵普遍存在於模型之間，甚至是不同模型解釋方法之間。
彰化5连霸议员当选无效确定 问政冠军落选头吴韦达将递补
更具價值的是，通過對特徵現象學的分析，研究者總結了特徵聚類、分裂、普遍性以及特徵狀態機等現象和理論，爲逐步拆解複雜的大模型、揭示其隱藏的特徵和工作原理提供了可能性。
没定期尿检以为遭通缉！前科男遇临检冲撞警车 逃30公里遭逮
這些研究對於進一步深入研究和改進神經網絡的性能具有重要意義，也爲我們解鎖人工智能的更多奧秘提供了新的線索。
參考文獻：
[1] Feature Visualization. C. Olah, A. Mordvintsev, L. Schubert.Distill. 2017.
[2] Linear algebraic structure of word senses, with applications to polysemy. S. Arora, Y. Li, Y. Liang, T. Ma, A. Risteski.Transactions of the Association for Computational Linguistics, Vol 6, pp. 483–495. MIT Press. 2018.
UBA》大胜文化45分 国体本阶段预赛带走4胜
[3] Toy Models of Superposition. N. Elhage, T. Hume, C. Olsson, N. Schiefer, T. Henighan, S. Kravec, Z. Hatfield-Dodds, R. Lasenby, D. Drain, C. Chen, R. Grosse, S. McCandlish, J. Kaplan, D. Amodei, M. Wattenberg, C. Olah. Transformer Circuits Thread. 2022.
你可能不知道的贵州冷知识！
[4] Linguistic regularities in continuous space word representations. T. Mikolov, W. Yih, G. Zweig. Proceedings of the 2013 conference of the north american chapter of the association for computational linguistics: Human language technologies, pp. 746–751. 2013.
[5] Method of optimal directions for frame design. K. Engan, S.O. Aase, J.H. Husoy.1999 IEEE International Conference on Acoustics, Speech, and Signal Processing. Proceedings. ICASSP99 (Cat. No. 99CH36258), Vol 5, pp. 2443–2446. 1999.
[6] Softmax Linear Units. N. Elhage, T. Hume, C. Olsson, N. Nanda, T. Henighan, S. Johnston, S. ElShowk, N. Joseph, N. DasSarma, B. Mann, D. Hernandez, A. Askell, K. Ndousse, A. Jones, D. Drain, A. Chen, Y. Bai, D. Ganguli, L. Lovitt, Z. Hatfield-Dodds, J. Kernion, T. Conerly, S. Kravec, S. Fort, S. Kadavath, J. Jacobson, E. Tran-Johnson, J. Kaplan, J. Clark, T. Brown, S. McCandlish, D. Amodei, C. Olah.Transformer Circuits Thread. 2022.
[7] Multimodal Neurons in Artificial Neural Networks. G. Goh, N. Cammarata, C. Voss, S. Carter, M. Petrov, L. Schubert, A. Radford, C. Olah. Distill. 2021. DOI: 10.23915/distill.00030
