3.1 思想#

該方法的核心思想是，隨著擴散先驗分佈 $p_t(x_t)$ 在逆向時間 $t$ 中從一個簡單的高斯分佈 $\hat{p}_0$ 演化到目標先驗分佈 $\hat{p}_T$ 的過程中，同步追蹤相應的後驗分佈 $q_t(x_t|y)$ 的演化。

3.2 時變後驗分佈#

作者定義了一個時變的後驗分佈 $q_t(x_t|y)$，它在任意時刻 $t$ 都與該時刻的先驗分佈 $\hat{p}_t(x_t)$ 和一個時間無關的概似因子 $e^{-\mu(x)}$ 成正比，其中 $\mu(x) = -\log p(y|x)$ 是負對數概似函數。其數學表達式為：

這個定義是整個推導的關鍵橋梁，它將先驗的演化與後驗的演化聯繫起來。

3.3 本文演化的核心步驟#

本文演化的核心推導過程，它揭示了後驗分佈所遵循的精確動力學：

1. 第一步：從先驗的演化出發。先驗密度 $p_t$ 的演化由一個已知的Fokker-Planck方程所描述，該方程是擴散模型逆向SDE的確定性 (密度層面) 對應：

   $$\frac{\partial p_t}{\partial t} = \mathcal{L} p_t$$

   其中 $H(x, t)$ 是用神經網路擬合的飄移項，而 $V(t)$ 是擴散係數。

2. 第二步：代入後驗定義。將關係式 $p_t(x_t) \propto q_t(x_t, t) Z_t(t) e^{\mu(x)}$ 代入上述Fokker-Planck方程中，其中 $Z_t(t)$ 是歸一化常數。

3. 第三步：代數操縱。透過應用散度、梯度和拉普拉斯運算元的鏈式法則，對方程進行一系列繁複的代數變換，目的時分離出後驗分佈的顯式時間導數 $\frac{\partial q_t}{\partial t}$，這個過程會自然地引入與概似函數 $\mu(x)$ 及梯度和拉普拉斯運算元相關的新項。

4. 第四步：最終的PDE。經過整理，最終得到控制後驗分佈 $q_t$ 演化的PDE：

   $$\frac{\partial q_t}{\partial t} = \nabla \cdot (-U_{eff}(x,t)q_t) + \frac{1}{2} \Delta q_t + (U_{eff}(x,t) - E_{q_t}[U_{eff}(x,t)])q_t$$

   其中 $U_{eff}(x,t) = H(x,t) - V(t)\nabla\mu_t$ 是一個有效的位能項。

這個PDE傑出地揭示了後驗採樣的內在結構，它包含三個關鍵部分：

• 修正的飄移項 (Modified Drift): 在 $H(x,t) - V(t)\nabla\mu_t$ 此項表明，粒子不僅僅是處於先驗的飄移 $H(x,t)$，還受到一個額外的「引導項」$-V(t)\nabla\mu_t$ 的作用，該項將粒子推向概似函數值更高的區域。
• 擴散項 (Diffusion): 擴散項 $\frac{1}{2}\Delta q_t$ 維持標準的擴散項，負責在狀態空間中進行探索，防止採樣陷入局部最優。
• 重加權/生滅項 (Reweighting/Killing Term): $(U_{eff}(x,t) - E_{q_t}[U_{eff}(x,t)])$ 此項與概似函數 $\mu$ 密切相關，它控制著每個粒子隨時間演化的重要性 (即權重) 的變化。

此構想的精妙之處在於，它將「引導」和「重加權」這兩個看似相互獨立的概念，統一在一個個數學的對象 (PDE) 之下。它表明，引導和重加權並非可以隨意添加的技巧，而是後驗動力學中兩個密不可分、相互關聯的方面。該PDE精確地闡明了它們應有的形式和相互作用。

4.1 帶權重粒子動力學#

從後驗演化PDE可以推導出每個粒子所遵循的隨機微分方程 (SDE) 系統：

• $dx_t^{(i)}$ 的演化由PDE中的修正飄移項和擴散項決定。
• $d\log w_t^{(i)}$ 的演化由PDE中的重加權項決定，它描述了粒子權重的相對變化。

4.2 兩種實踐演算法路線#

基於對擴散模型EDM框架中擴散係數 $V(t)$ 的不同處理，作者提出了兩種具體的演算法：

1. AFDPS-SDE (演算法 2):

   

   • 設定：讓 $V(t) > 0$，這對應於一個最完整、作者完全隨機的擴散過程。
   • 實現：直接使用Euler-Maruyama格式對上述粒子SDE系統進行數值演化。
   • 特點：該演算法的探索能力完全依賴於SDE內在的隨機性 (即維納過程 $dW_t$ )。

2. AFDPS-ODE-Corrector (演算法 4):

   

   • 設定：讓 $V(t) = 0$，這使得先驗演化退化為一個確定性的機率流ODE (Probability Flow ODE)。

   • 實現：粒子位置的演化遵循一個常微分方程 (ODE)，這構成了一個「預測步」(Predictor)。然而，純粹的ODE演化缺乏隨機性，可能導致探索不足。為了解決這個問題，作者在每個時間步之後引入了一個「校正步」(Corrector)。

   • 校正步 (演算法 3):

     

     校正步的靈感來自於拉氏擴散的前向到後向的中間採樣分佈 $q_t(x_t|x_0)$ 上。這是透過運行一個「未經調整的朗之萬算法」(ULA) 來實現的，ULA的更新同時利用了預訓練的分數函數 $s_\theta$ 和概似的梯度 $\nabla_x \mu_t$，從而有效地注入隨機性並改善採樣質量。

在SMC方法中，一個常見的關鍵問題是粒子權重退化，即隨著時間的推移，少數粒子的權重會趨近於1，而其他粒子的權重趨近於0。這會導致有效樣本量 (Effective Sample Size, ESS) 急劇下降。為了解決這個問題，標準作法中包含了一個重採樣步驟，當ESS低於某個閾值時觸發。該步驟會根據權重，從當前帶權重粒子組進行重採樣，即淘汰低權重的粒子，並複製高權重的粒子。這對於維持粒子系統的健康和多樣性至關重要。

4.3 與FK-Corrector的路線比較#

為了突顯AFDPS的獨特創新，與其最接近的同期工作FK-Corrector 進行直接比較是至關重要的。下表 (改編自該論文附錄) 清晰地展示了兩者在動力學上的核心差異。

從上表可以一目了然地看到，AFDPS的飄移項中明確包含了 $V(t)\nabla^2\mu_t$ 這一項。這個「引導項」直接作用於粒子的運動軌跡，將其拉向高概似區域。相較之下，FK-Corrector的飄移項僅包含先驗動力學，它將所有的概似資訊都放入了重加權項中。這種結構上的差異是AFDPS性能優越的關鍵原因之一，因為它更主動、直接地利用了觀測數據來指導採樣路徑。

5.1 關鍵假設#

理論分析建立在幾個合理的假設之上：

1. 假設4.1 (對數概似函數的有界性): $\mu_{t}$ 是二次可微且有下界的，這是貝氏逆問題中的標准假設。
2. 假設4.2 (跨界-龐加萊): 先驗分佈是「可擴散的」，即它被「龐加萊不等式」所約束。
3. 假設4.3 (分數匹配誤差): 學習到的神經網路分數函數 $s_\theta$ 與真實分數函數之間存在一個有界的誤差 $\epsilon_s$。這個假設至關重要，它將理論與實踐中模型訓練不完美的問題聯繫起來。
4. 假設4.4 (函數的有界性和Lipschitz連續性): 一些關於 $\mu_t$ 和 $q_t$ 的複合函數的技術性假設，用以確保粒子權重不會隨時間發散。在實踐中，這條可以透過權重裁剪來保證。

5.2 定理 4.1：後驗估計誤差#

該定理量化了演算法在單粒子極限下，後驗分佈 $q_T$ 與真實後驗分佈 $p(y|x)$ 之間的差距。

• 陳述: 兩者之間的總變差 (Total Variation, TV) 距離是有界的：

  $$TV(\hat{q}_T, q_T) \le C \sqrt{\frac{M^2}{T_p^2} + \epsilon_s^2}$$

  其中 $C$ 和 $M$ 是常數，而 $T$ 是擴散總時長。

• 解讀: 這是一個深刻的結果。它揭示了一個由擴散時長 $T$ 控制的權衡關係：較長的 $T$ 可以減少由初始高斯分佈近似所帶來的誤差 (第一項)，但同時也可能放大由不完美的分數函數在長時間積分下累積的誤差 (第二項)。最重要的是，這個誤差界明確指出，演算法的最終精度直接受限於預訓練擴散模型的質量 (即分數匹配誤差 $\epsilon_s$)。

5.3 定理 4.2：多粒子系統下的收斂性#

該定理闡明了粒子近似方法的有效性。

• 陳述: 當粒子數量 $N$ 趨於無窮大時，由粒子系統構成的經驗測度，在2-Wasserstein距離的意義下，收斂到所推導的後驗PDE的真實解。

• 解讀: 這是一個平均場 (mean-field) 一致性結果。它從理論上證明了使用有限數量的粒子來採樣求解後驗PDE的合理性。這保證了我們所實現的演算法確實是在求解我們設定的那個目標PDE。

  這兩個定理相輔相成，提供了一個完整的理論保證。定理4.1處理的是模型誤差 (即由於 $s_\theta$ 不完美，導致PDE的解與真實後驗存在差距)，而定理4.2處理的是離散誤差 (由於粒子數量 $N$ 有限，導致數值解與PDE的真實解存在差距)。它們共同保證了演算法能夠收斂到一個被觀測數據與真實後驗分佈所約束的分佈，且誤差來源被清晰地刻畫。

6.1 實驗設置#

• 任務：四個具有挑戰性的圖像逆問題：高斯去模糊 (GD)、運動去模糊 (MD)、超解析度 (SR) 和方框修復 (BI)。實驗中使用的觀測雜訊水平較高，增加了問題的難度。
• 數據集：兩個大規模、高解析度的標準數據集：FFHQ-256和ImageNet-256。
• 基線方法：與一系列當前最先進的方法進行了比較，包括DPS, DCDP, SGS-EDM, FK-Corrector, 和 PF-SMC-DM。
• 評估指標：同時使用像素級的準確性指標PSNR (峰值信噪比，越高越好) 和感知質量的指標LPIPS (學習感知圖像塊相似度，越低越好)，以進行全面的評估。

6.2 定量結果分析#

論文中的表格清晰地展示了AFDPS方法的優越性。

表1：FFHQ-256數據集上的定量結果

表2：ImageNet-256數據集上的定量結果

從數據中可以看出，AFDPS的兩種變體在所有任務上都表現出強大或領先的性能，經常在PSNR和LPIPS指標上都超越所有基線方法。這有力地證明了其理論框架在實踐中的有效性。

6.3 定性結果分析#

論文附帶的視覺化結果，進一步揭示了兩種變體的互補優勢。

• AFDPS-SDE：通常能生成更銳利、細節更豐富的紋理，這與其在LPIPS指標上的優異表現相符。其內在的隨機性有助於恢復高頻細節。
• AFDPS-ODE：則傾向於產生更平滑、更忠實的重建結果，這通常對應著更高的PSNR。其確定性的ODE演化加上校正步，能在確保整體結構一致性的同時保持有效去噪。

這兩種算法特性與其理論框架的洞察是相符的，再次證實了框架設計的合理性。

7.1 核心貢獻與創新：從「解耦疊代」到「統一演化」#

此論文在基於擴散模型的逆問題求解領域中取得了重要進展。其核心貢獻可總結為三點：

• 新穎的原理性方法：提出了 AFDPS，其核心是基於一個嚴格推導的偏微分方程 (PDE) 來描述後驗分佈的精確演化，徹底擺脫了對啟發式近似的依賴。
• 完備的理論保證：建立了後驗採樣精度與模型訓練誤差之間的直接聯繫，並證明了算法在多粒子極限下的收斂性，提供了堅實的理論基礎。
• 頂尖的實驗性能：在多個大規模數據集和具有挑戰性的逆問題上，其性能始終優於或媲美現有的最先進方法。

其真正的創新之處在於為「如何在擴散過程中融合觀測數據」這一核心問題，提供了一個數學上更為根本的視角，實現了從**「解耦與疊代」到「統一與演化」**的範式轉移。

過去的先進方法（如 PnP-DM / SGS-EDM）其哲學是解耦的：將問題分解為「數據保真」和「先驗投影」兩個獨立步驟交替執行。這種方法雖直觀，但其本質是基於最佳化算法的“運算元分裂”，並未直接回答該過程是否在從真實的後驗分佈 $p(x|y)$ 中採樣。

AFDPS 則採用統一的思路：它不去解耦問題，而是直接求解「當先驗 $p_t(x)$ 隨時間演化時，對應的後驗 $p_t(x|y)$ 應遵循何種動力學？」通過從福克-普朗克方程出發的嚴謹推導，本文得到一個描述後驗分佈演化的全新PDE。在這個統一的動力學系統中，先驗和似然資訊被內生地耦合在一起，共同、平滑地指導採樣過程。

為了更清晰地理解其差異，以下是 AFDPS 與代表性 PnP 方法 (SGS-EDM) 的對比：

一言以蔽之：PnP 方法是在每個離散的時間步上「修正」解，使其交替滿足數據和先驗約束。而 AFDPS 則是模擬了一個「平滑演化」的過程，這個過程的每一步都天然地、同時地考慮了這兩種約束。

7.2 理論價值與優點#

1. 理論框架嚴謹：論文最大的亮點在於其嚴謹的推導，為領域提供了一個有清晰數學基礎的框架，擺脫了以往方法的啟發式本質。
2. 堅實的理論保障：論文提供了兩個核心定理，清晰地將算法的最終精度與模型的訓練誤差和粒子數量直接掛鉤，為算法的正確性和性能提升方向提供了理論依據。
3. 出色的實驗表現：在多個基準測試中取得了SOTA或更優的結果，特別是在LPIPS等感知指標上表現突出，驗證了理論的有效性。
4. 實現上的靈活性：同時提出了基於SDE和ODE+Corrector的兩種實現方式（AFDPS-SDE 和 AFDPS-ODE），兩者在實驗中展現了互補優勢，增加了方法的適用場景。

7.3 潛在挑戰與討論#

1. 計算成本與可擴展性：作為一種系綜方法，其計算成本與粒子數 $N$ 成正比。為保證公平比較，實驗中的 $N$ 值較小 (5或10)，這對於複雜的後驗分佈可能不足。若需增加 $N$，其計算成本將如何與單軌跡方法競爭，是一個待解問題。
2. 理論假設的完備性：理論分析依賴於一個關鍵函數有界性和連續性的假設(假設4.4)，論文提到這在實踐中可透過重採樣來保證，但分析本身未包含對重採樣的嚴格證明，這在SMC相關文獻中是常見的理論與實踐的「缺口」。
3. 超參數 $\eta$ 的引入：附錄中引入了一個可插值於AFDPS和FK-Corrector之間的超參數 $\eta$，雖然這增加了靈活性，但也略微削弱了論文「無近似、無須手調」的核心賣點，使其在某種程度上回歸了啟發式調整。

7.4 未來展望與影響#

這項工作為該領域的發展開闢了多條充滿希望的研究路徑：

• 方法論擴展：框架具有很強的通用性，未來可擴展到其他生成模型（如LDMs、Flow Matching）或與更快的求解器結合以提高效率。
• 應用領域拓展：除了圖像處理，該方法有望應用於流體動力學、聲學成像、地球科學等更廣泛的科學計算領域。
• 理論體系完善：未來可對數值離散化誤差進行更精細的分析，或為重採樣步驟建立更嚴格的理論。