4.1 設計理念#

Mixtral 的設計哲學是「站在巨人的肩膀上，然後輕盈地跳得更高」。它沒有重新發明輪子，而是聰明地組合了現有的最佳實踐。

• 強大的基礎架構： Mixtral 的基石是其前作 Mistral 7B。這意味著它天然繼承了 Mistral 7B 的所有優點，例如分組查詢注意力 (Grouped-Query Attention, GQA) 和滑動窗口注意力 (Sliding Window Attention, SWA)。這些技術本身就是為了在保證性能的同時，極大地降低推理時的顯存佔用和計算量。

• 核心的SMoE機制： 這是 Mixtral 的靈魂。它將 Mistral 7B 中每一層的前饋神經網路 (FFN) 都替換為了一個稀疏混合專家層。

  

  • 專家配置： 每個 MoE 層包含 8 個獨立的專家。
  • 路由策略： 採用了被 GLaM 驗證為行之有效的 Top-2 路由。即對於序列中的每一個 token，一個輕量級的路由器（Gating Network）會動態地選擇兩個最匹配的專家來參與計算。

4.2 數學公式解析#

Mixtral 的 MoE 層輸出 y，對於一個輸入 x，其計算過程可以分解如下：

1. 通用 MoE 公式：

   $$y = \sum_{i=0}^{n-1}G(x)_{i}\cdot E_{i}(x)$$

   這個公式是 MoE 的核心思想。n 是專家總數（在 Mixtral 中為 8）。$E_i(x)$ 是第 i 個專家的輸出，$G(x)_i$ 是路由器分配給第 i 個專家的權重。因為是稀疏模型，對於給定的 x，向量 $G(x)$ 中只有少數幾個（Mixtral 中為 2 個）分量為非零值，從而避免了對所有專家進行計算。

2. 門控網路（路由器）的實現：

   $$G(x) := \text{Softmax}(\text{TopK}(x \cdot W_g))$$

   這個公式詳細說明了路由權重的計算方法。

   • 首先，輸入 x 與一個可訓練的線性層權重 $W_g$ 做矩陣乘法，得到一個 n 維的向量，稱為 logits，代表每個專家的「得分」。
   • 接著，TopK 函數會找到這個 logits 向量中值最大的 K 個（在 Mixtral 中為 2 個）元素，保留它們的值，同時將其他所有元素的值設為負無窮（$-\infty$）。
   • 最後，Softmax 函數作用在這個經過 TopK 處理的向量上。由於其他值都為負無窮，Softmax 的結果是只在這 K 個被選中的專家上產生非零的概率權重，且總和為 1。

3. Mixtral 的最終公式： Mixtral 將 n 設為 8，K 設為 2，並且每個專家 $E_i$ 都是一個帶有門控機制的線性單元網路 (SwiGLU)。因此，對於每個 token x，其計算公式的完整形式為：

   $$y = \sum_{i=0}^{7} \text{Softmax}(\text{Top2}(x \cdot W_g))_i \cdot \text{SwiGLU}_i(x)$$

   這個公式清晰地表明，每個 token 的最終輸出，是其被分配到的兩個專家的 SwiGLU 網絡輸出的加權和。

6.1 性能與效率的雙重勝利#

• 性能全面超越 Llama 2 70B：

  圖表解讀 (Figure 2): 這張核心對比圖顯示，Mixtral 8x7B（橙色條）在 MMLU（綜合能力）、知識、推理、理解等多個維度上，其性能都顯著高於或持平於體量遠大於它的 Llama 2 70B（深綠色條）。尤其在數學 (Math) 和代碼 (Code) 這類需要複雜邏輯推理的任務上，Mixtral 的優勢呈現碾壓級別。

• 更優越的效率-性能曲線：

  圖表解讀 (Figure 3): 該圖繪製了「性能-成本」曲線。橫軸是模型的激活參數（與推理成本正相關），縱軸是任務得分。可以清晰看到，Mistral/Mixtral 家族的橙色線始終位於 Llama 2 家族的紫色線之上。這意味著在相同的推理成本下，Mixtral 能提供更高的性能，是性價比更高的選擇。

6.2 指令遵循與長上下文能力#

• 頂級的指令遵循能力：

  圖表解讀 (Figure 6): 這是來自權威第三方評測平台 LMSys Chatbot Arena 的排行榜。經過SFT和DPO微調的 Mixtral-Instruct 模型，其 Elo 評分（1121）超越了當時的 GPT-3.5 Turbo、Claude-2.1 和 Gemini Pro，成為了最強的開源指令模型。這證明了其作為聊天機器人基座的巨大潛力。

• 完美的長上下文處理能力：

  圖表解讀 (Figure 4): 左圖的「大海撈針（密鑰檢索）」任務顯示，在長達 32k tokens 的上下文中，無論密鑰放在哪個位置，Mixtral 都能 100% 準確地找回，證明其長上下文能力是真實有效的。 右圖顯示，隨著上下文長度的增加，模型的困惑度（Perplexity）單調下降，說明模型能有效利用更長的上下文來做出更準確的預測。

6.3 專家路由行為分析 (Router Behavior Analysis)#

論文還進行了有趣的探索，試圖理解專家們是如何分工的。

• 沒有明顯的學科領域分工 (Figure 7): 一個令人意外的發現是，專家們似乎並沒有按照我們直覺想像的「數學專家」、「生物專家」或「哲學專家」這樣的高階主題來進行分工。在處理來自 ArXiv（充滿LaTeX）、PubMed（生物）和 PhilPapers（哲學）的文本時，專家們的被選擇概率分佈驚人地相似。

  

• 存在語法結構上的分工 (Figure 8): 與領域分工不同，專家們似乎在語法或結構層面上找到了自己的專長。例如，在 Python 代碼中，self 關鍵字或行首的縮進，往往會被固定地路由到同一個專家。在英文文本中，Question: 這樣的開頭也表現出類似的模式。

  

• 路由選擇的時序局部性 (Table 5): 研究發現，在模型的較深層，一個 token 和它的下一個 token 有很高的概率會被分配給同一個專家。這種「路由慣性」或「時序局部性」遠高於隨機選擇，這表明路由器的決策存在結構性，也為未來的推理優化（例如緩存機制）提供了思路。