一、MoE 的核心概念：多個專家共同思考#

想像一下，有一個非常複雜的問題需要解決，比如要識別圖像中的各種物體、翻譯不同語言的文本、或是回答各種領域的問題。如果只有一個「專家」來處理所有這些問題，它可能需要學習非常多的知識，這會讓它變得非常龐大和低效，而且它可能無法在所有領域都表現出色。

MoE 的核心思想就像是組建一個「專家團隊」。當一個新問題來臨時，我們不會讓一個專家去解決所有問題，而是先有一個「協調者」或「門控網路 (Gate Network)」來判斷這個問題最適合哪個或哪幾個專家來處理。然後，只讓被選中的專家去處理這個問題，而其他專家則可以「休息」。最後，這些被選中的專家的輸出會被巧妙地結合起來，形成最終的答案。

TIP

MoE 概念其實和 ensemble learning（集成學習） 有點類似

MoE vs. Ensemble Learning

他們都擁有多個 expert 能集思廣益，但不同的是，ensemble learning 會把 input 餵給所有experts 再綜合輸出，MoE 則由 router 根據 input 餵給適合的 experts，當然相比於 ensemble models，MoE 輸出時的權重也得看 router 的臉色。

二、為什麼需要 MoE？#

在傳統的深度學習模型中，例如一個大型的 Transformer 模型，每個參數都會在每個輸入上被激活和計算。這導致了兩個主要問題：

1. 計算成本高昂： 當模型變得非常大時，每次前向傳播都需要大量的計算資源，這限制了模型進一步擴大的可能性。
2. 專業化不足： 一個通用的模型很難在所有任務上都達到頂尖水準。某些任務可能需要特定的知識或處理方式。

MoE 的出現正是為了解決這些問題。通過選擇性地激活專家，MoE 可以在保持模型總參數量龐大的同時，顯著降低每次推斷的實際計算量。這就像是雖然團隊有 100 個人，但每次只派 2 個人去完成任務，效率自然高很多。

三、MoE 的運作原理：三個主要組成部分#

MoE 模型的運作主要由以下三個核心部分構成：

1. 門控網路（Gate Network / Router）

   想像它是一個聰明的「主管」或「路由器」。當一個輸入（例如一段文字、一張圖片）進入模型時，門控網路會負責決定將這個輸入分配給哪一個或哪幾個「專家」。

   它是如何做決定的？ 門控網路通常是一個小的神經網路，它會根據輸入計算出每個專家的「權重」或「分數」。這些分數代表了這個輸入與哪個專家最匹配。例如，如果門控網路判斷某段英文文本更適合「翻譯專家 A」處理，它就會給「翻譯專家 A」更高的分數。

   Top-K 選擇： 在許多 MoE 實作中，門控網路不會選擇所有的專家，而是只選擇分數最高的 $K$ 個專家（例如 $K=1$ 或 $K=2$）。這樣做是為了進一步節省計算資源。

2. 專家網路（Expert Network）

   這就是我們「專家團隊」中的每個成員。每個專家本身也是一個獨立的神經網路（例如一個前饋網路、一個 Transformer 區塊等）。每個專家都會專注於處理某一類型的數據或任務。

   它們如何學習？ 儘管每個專家被分配的任務不同，但在訓練過程中，它們會協同學習。門控網路會根據它判斷的結果將輸入分配給相應的專家，而這些專家則會針對它們分配到的輸入進行學習和優化。

3. 輸出結合（Output Combination）

   當門控網路選擇了 K 個專家並將輸入傳遞給它們後，這些專家會各自產生一個輸出。最後一步就是將這些專家的輸出結合起來，形成模型的最終輸出。

   如何結合？ 通常，結合的方式是將每個專家的輸出乘以其對應的門控網路給出的權重，然後將這些加權後的輸出求和。這就像是門控網路不僅決定了哪個專家去處理，還決定了每個專家說的話有多大的「權重」。 $\text{Output} = \sum_{i=1}^{N} G(x)_i \cdot E_i(x)$

   其中，$G(x)_i$ 是門控網路為第 $i$ 個專家計算的權重，$E_i(x)$ 是第 $i$ 個專家對輸入 $x$ 處理後的輸出，$N$ 是專家的總數量。

四、MoE 的優勢與挑戰#

五、MoE 的實際應用：以大型語言模型為例#

MoE 在大型語言模型 (LLMs) 領域取得了巨大的成功，例如 Google 的 Switch Transformer 和 GShard，以及最近備受關注的 Mixtral 8x7B 模型。

以 Mixtral 8x7B 為例，它有 8 個「專家」，每個專家約 70 億參數。但在每次推斷時，它只選擇其中的 2 個專家進行計算。這意味著它的總參數量高達 470 億 (約 8 * 7B 加上共享參數)，但每次計算只激活約 130 億的參數 (2 * 7B 加上共享參數)，極大地提升了計算效率，同時保持了與更大模型相媲美的性能。

六、MoE 簡單總結#

MoE 是一種強大的模型架構，它通過引入「專家團隊」和「門控網路」的機制，實現了模型參數量的巨大擴展，同時有效控制了計算成本。它讓大型模型能夠更好地學習和處理多樣化的任務，是當前深度學習，特別是大型語言模型發展的重要方向。

Reference#

• Mixture of Experts學習筆記 - medium
• MoE（Mixtures-of-Experts）经典回顾 - 知乎
• MoE：專家混合模型的技術全解
• 「8x7B」到底是什麼意思？淺談混合專家模型(MoE)的運作模式
• 一文读懂：混合专家模型 (MoE)-deepseek