2.1 什麼是成像中的逆問題？#

在計算成像應用中，逆問題的核心挑戰是從一組稀疏且帶有雜訊的測量數據 $y \in \mathbb{R}^M$ 中恢復未知圖像 $x \in \mathbb{R}^N$。圖像與測量數據之間的關係通常由以下前向運算子描述：

$y = \mathcal{A}(x) + n$

其中 $\mathcal{A}(\cdot): \mathbb{R}^N \rightarrow \mathbb{R}^M$ 是前向運算子（可以是線性的或非線性的），而 $n$ 則代表測量雜訊。由於測量數據的稀疏性和雜訊性，恢復圖像 $x$ 的過程往往是不穩定的，導致解決方案存在顯著的不確定性。在這種情況下，與尋找單一確定性解決方案相比，基於某種先驗分佈 $p(x)$ 對所有可能解決方案的後驗分佈 $p(x|y)$ 進行取樣，更能全面地捕捉這種不確定性，因此更為可取。

2.2 擴散模型 (DMs) 作為圖像先驗的簡要概述#

擴散模型 (Diffusion Models, DMs) 近年來已成為強大的生成模型，展現出對複雜圖像分佈進行建模的卓越能力。它們在計算成像中扮演著「富有表現力的圖像先驗」的角色，能夠捕捉真實世界圖像分佈的複雜性。

DMs 的核心思想是透過逆轉一個擴散過程來生成樣本。該過程將目標分佈（即乾淨圖像 $x_0$）逐步轉換為一個簡單的（通常是高斯）分佈（即雜訊圖像 $x_T$）。在生成過程中，DMs 透過連續去雜訊的方式，從雜訊圖像 $x_T$ 估計出乾淨圖像 $x_0$，其中 $x_t \sim p_t$ 是時間 $t$ 上的中間雜訊圖像。逆轉擴散過程需要估計沿著擴散過程的時間變異度對數密度（即分數函數）$\nabla \log p_t(x_t)$，或在後驗分佈 $p(x|y)$ 的情況下估計 $\nabla \log p_t(x|y)$。

儘管 DMs 在建模複雜圖像分佈方面表現出色，但將這些強大的非條件生成模型轉化為可靠的成像逆問題求解器仍然是一個挑戰。這種困難源於在直接應用貝葉斯規則於擴散過程時，條件似然項 $\nabla \log p(y|x_t)$ 通常難以計算。現有的基於 DM 的方法通常過簡化假設來近似此項，或用經驗設計的更新來替代它，$y$ 視為引導訊號。這些方法雖然在經驗上可能表現良好，但它們偏離了貝葉斯公式，不再旨在目標後驗分佈，而更應被視為引導方法。這種在強大非條件生成能力與精確任務之間存在的張力，促使研究人員開發出 PnP-DM 等更嚴謹的框架，以在生成能力和數據保真之間取得嚴格的平衡。

3.1 PnP-DM 所做的工作貢獻#

PnP-DM 透過運用分離式吉布斯取樣器 (Split Gibbs Sampler, SGS) 和擴散模型設計空間闡明 (Elucidating the Design Space of Diffusion-Based Generative Models, EDM) 框架，實現了原則性的後驗取樣，從而克服了現有基於擴散模型 (DM) 的方法在生成過程中依賴近似所導致的限制。而 PnP-DM 具有在後驗估計方面的卓越準確性、處理具挑戰性非線性逆問題（包括真實世界的黑洞成像）的能力，以及其有效捕捉多模態後驗分佈的特性。這些優勢使其成為 DiffPir 和 DPS 等方法的穩健且具備堅實理論基礎的替代方案。

PnP-DM 的核心貢獻在於其對貝葉斯推斷的嚴謹承諾。許多現有的基於 DM 的方法，為了適應不同的逆問題，在生成過程中採用了近似，導致樣本分佈偏離貝葉斯框架內定義的目標後驗分佈。這種對後驗分佈的不準確表徵，即使在視覺上產生了可信的結果，也可能從根本上損害貝葉斯推斷的目標，尤其是在科學和醫學等需要精確不確定性量化的領域。PnP-DM 的設計宗旨是避免此類近似，確保其採樣過程嚴格遵循貝葉斯原理，這標誌著該領域正從單純的經驗性能轉向優先考慮理論一致性和高風險應用可靠性的方向發展。

3.2 分離式吉布斯取樣器 (SGS) 框架：直觀理解與作用#

PnP-DM 的核心是分離式吉布斯取樣器 (SGS)——這是一種用於貝葉斯推斷的馬爾可夫蒙特卡羅 (MCMC) 方法。SGS 的目標是從後驗分佈

$p(x|y) \propto p(y|x)p(x) = \exp(-f(x; y) - g(x))$ 中取樣。由於此後驗分佈的複合結構，通常難以直接從中取樣。

SGS 透過採用變數分割策略來解決這個問題，引入一個增廣變數 $z \in \mathbb{R}^N$，並考慮從一個替代分佈中取樣：

$\pi(x, z) \propto \exp(-f(x; y) - g(x) - \frac{1}{2\rho} ||x-z||_2^2) \quad \quad \quad \quad \quad (4)$

其中 $\rho > 0$ 是一個控制 $x$ 和 $z$ 之間耦合強度的超參數。關鍵在於，當 $\rho \rightarrow 0$ 時，$\pi(x, z)$ 的邊緣分佈 $\pi^X(x)$ 會收斂到目標後驗分佈 $p(x|y)$。

SGS 透過吉布斯取樣從 $\pi(x, z)$ 中取樣。其過程是迭代地在兩個步驟之間交替進行：

1. 似然步驟 (Likelihood step)：從 $\pi(z|x=x^{(k)}) \propto \exp(-f(x; y) - \frac{1}{2\rho} ||x-z||^2)$ 中取樣 $z^{(k)}$。
2. 先驗步驟 (Prior step)：從 $\pi(x|z=z^{(k)}) \propto \exp(-g(x) - \frac{1}{2\rho} ||x-z^{(k)}||^2)$ 中取樣 $x^{(k+1)}$。

值得注意的是，這兩個條件分佈分別只涉及 $f(\cdot; y)$ 和 $g(\cdot)$，這使得似然和先驗被解耦，從而可以模組化地設計這兩個步驟。這種解耦策略是 PnP-DM 實現其原則性貝葉斯推斷的關鍵，透過將複雜的條件取樣問題分解為兩個更簡單、非條件的取樣問題，PnP-DM 避免了其他方法在直接處理條件似然項時所需的近似，從而確保了更嚴格的後驗取樣。

3.3 似然步驟：強制數據一致性#

似然步驟的目的是取樣 $z^{(k)} \sim \pi^{Z|X=x^{(k)}}(z) \propto \exp(-f(z; y) - \frac{1}{2\rho} ||x^{(k)}-z||_2^2)$。此步驟確保增廣變數 $z$ 與測量數據 $y$ 保持一致（透過 $f(z; y)$），並與當前圖像估計 $x^{(k)}$ 耦合。

對於線性前向模型和高斯雜訊的簡單情況，即 $\mathcal{A}: \mathcal{A} \in \mathbb{R}^M \rightarrow \mathbb{R}^N$ 且 $n \sim \mathcal{N}(0, \Sigma)$，似然項的勢函數為 $f(x; y) = \frac{1}{2} ||y-\mathcal{A}x||^2_\Sigma$。在這種情況下，$\pi^{Z|X=x}$ 是一個高斯分佈 $\mathcal{N}(m(x), \Lambda^{-1})$。其中 $\Lambda := \mathcal{A}^T \Sigma^{-1}\mathcal{A} + \frac{1}{\rho}I$ 和 $m(x) := \Lambda^{-1}(\mathcal{A}^T \Sigma^{-1}y + \frac{1}{\rho}x)$，雖然直接計算矩陣 $\Lambda^{-1}$ 可能計算量巨大，但當雜訊為獨立同分佈高斯雜訊（即 $\Sigma = \sigma^2I$）且 $\mathcal{A}$ 可高效分解（例如透過奇異值分解 (SVD) 或作為循環卷積矩陣），計算成本可顯著降低。

對於一般的非線性逆問題，似然步驟不再是簡單的高斯分佈取樣。然而，由於 $\pi^{Z|X=x}$ 的閉合形式（除了乘法因子），只要似然勢函數可微分，就可以使用基於朗之萬動力學 (Langevin Monte Carlo, LMC) 的蒙地卡羅方法來提取樣本。具體而言，LMC 透過以下朗之萬隨機微分方程 (SDE) 進行取樣：

$dz_t = \nabla \log \pi^{Z|X=x}(z_t)dt + \sqrt{2}dw_t = [-\nabla f(z_t; y) - \frac{1}{\rho^2}(z_t-x)]dt + \sqrt{2}dw_t$

然後，$SDE$ 從 $z_0=x$ 初始化，並使用歐拉離散化運行。

3.4 先驗步驟：透過 EDM 框架進行去雜訊#

先驗步驟的目的是取樣：

$x^{(k+1)} \sim \pi^{X|Z=z^{(k)}}(x) \propto \exp(-g(x) - \frac{1}{2\rho^2} ||x-z^{(k)}||_2^2) \quad\quad\quad\quad (6)$

仔細檢視此表達式可以發現，這個先驗步驟本質上是為高斯去雜訊問題提取樣本；其中 $z^{(k)}$ 作為「測量」，$\rho$ 作為「雜訊水平」，而 $p(x) \propto \exp(-g(x))$ 則是圖像先驗分佈。

PnP-DM 透過利用 EDM (Elucidating the Design Space of Diffusion-Based Generative Models) 框架來解決這個去雜訊後驗取樣問題。EDM 框架最初是為統一各種 DMs 的非條件圖像生成公式而提出的。EDM 框架的核心思想是，各種層先進的 DMs 可以統一為以下逆向 SDE：

$dx_t = [s^{(t)}x_t - s(t)^2\dot{\sigma}(t)\nabla \log p(x_t; \sigma(t))]dt + \sqrt{2}\dot{\sigma}(t)dw_t \quad\quad\quad\quad (7)$

其中 $w_t$ 是一個維納過程，反向運行；$\sigma(t) > 0$ 是一個預定義的雜訊水平排程，且 $\sigma(0)=0$；$s(t)$ 是一個預定義的縮放排程；而 $\dot{\sigma}(t), \dot{s}(t)$ 則是它們的時間導數。EDM 的特徵是

$x_t/s(t) \sim p(x; \sigma(t))$ 對於任何時間 $t$ 都成立。這意味著透過反向求解 SDE，可以從任何雜訊水平 $\sigma(t)$ 到達 $t=0$ 的乾淨圖像分佈。

PnP-DM 利用了這一特性。EDM 前向擴散過程導出的條件分佈 $p(x_0|x_t) \propto \exp(-g(x_0) - \frac{1}{2\sigma^2(t)} ||x_0-x_t/s(t)||^2)$ 與先驗步驟的數學形式（等式 6）完全匹配，只要設定

$x_t = s(t)z^{(k)}$ 且 $\sigma(t) = \rho$。這種連結是 PnP-DM 能夠嚴謹地使用 DMs 解決去雜訊問題而無需近似的關鍵。

實踐中，先驗步驟的實現包括三個步驟：(1) 找到 $t^*$ 使得 $\sigma(t^*) = \rho$。(2) 在 $x_{t^*} = s(t^*)z^{(k)}$ 處初始化。以及 (3) 從 $t^*$ 到 0 反向求解等式 (7)。這種統一的介面使得任何轉換為 EDM 形式的 DM 都可以直接用於嚴謹地解決先驗步驟，從而能夠整合廣泛的預訓練 DM 模型（如 DDPM/VP-SDE、VE-SDE、iDDPM 和 EDM）而無需額外客製化。

3.5 PnP-DM 演算法總覽#

PnP-DM 的完整演算法如演算法 1 所示。該方法透過耦合參數 $\rho_k$ 的退火排程，在兩個取樣步驟之間交替進行。

中文翻譯版本：

輸入: 初始化 $x_0 \in \mathbb{R}^N$，總迭代次數 $K>0$，耦合強度排程 $\{\rho_k > 0\}_{k=0}^{K-1}$，似然勢函數 $f(\cdot;\cdot;y)$ 及測量 $y \in \mathbb{R}^M$，預訓練模型 $D_g(\cdot;\cdot)$ 近似 $\nabla \log p(x; \sigma)$ 為 $(D_g(x;\sigma)-x)/\sigma^2$。

1: for $k=0,...,K-1$ do 2: $\quad z^{(k)} \leftarrow \text{LikelihoodStep}(x^{(k)}, \rho_k, f(\cdot;\cdot;y))$ ▷ 詳見 3.1 節 3: $\quad x^{(k+1)} \leftarrow \text{PriorStep}(z^{(k)}, \rho_k, D_g(\cdot;\cdot))$ ▷ 詳見 3.2 節 4: end for 5: return $x^{(K)}$

這裡的第二與第三行代碼就是前面對應的似然步驟與先驗步驟。

退火排程對於加速馬爾可夫鏈的混合時間至關重要，這有助於防止演算法在解決高度不適定逆問題時陷入不良局部最小值。這在基於朗之萬和 SGS 的 MCMC 演算法中是一種常見的做法，用以提高經驗性能。該排程通常採用指數衰減形式。從起始水平 $\rho_0$ 逐步衰減至最小閾值 $\rho_{min}$。

對退火排程的敏感性分析顯示，不同的衰減率會影響收斂速度，而較小的 $\rho_{min}$ 則能帶來更高的最終 PSNR。這與理論預期一致，即當 $\rho \rightarrow 0$ 時，$\pi^X$ 會收斂到目標後驗分佈。這表明，退火排程作為一種實用的啟發式方法，能夠有效地引導理論上穩健的演算法在有限時間內達到最佳性能。尤其是在處理複雜的非凸問題時。它允許取樣器最初探索更廣泛的解決方案空間（較大的 $\rho$），然後逐步將搜索範圍縮小到真實的、可能多模態的後驗分佈。

3.6 理論洞察：PnP-DM 為何具備原則性#

PnP-DM 的非漸近行為已透過連續時間插值技術進行了理論分析。該分析利用 Kullback-Leibler (KL) 散度和 Fisher 信息 (FI) 來量化分佈之間的差異。

核心理論結果是定理 3.1。該定理指出：在 PnP-DM 的 $K$ 次迭代中，非平穩過程與平穩過程之間的平均距離（由 Fisher 信息衡量）以 $O(1/K)$ 的速率趨近於零。這是在分數近似誤差的限制下成立的。這項理論僅要求在 $\pi_t$ 測度下具有 $L^2$ 準確的去雜訊估計，這相對於其他涉及分數估計的取樣方法中常見的 $L^\infty$ 準確分佈估計假說來說，是一個相對較弱的條件。

定理 3.1 中的 $\delta$ 參數，即逆向擴散過程中擴散係數的下界，在保證收斂方面扮演著重要角色。對於 VP-SDE 和 VE-SDE 等具有嚴格正 $\delta$ 值的模型，無權重平均 Fisher 信息必然收斂到 0。即使對於 iDDPM 和 EDM 等在 $t=0$ 附近 $v(0)=0$ 的情況，透過引入一個微小的 $\epsilon$ 來調整擴散係數，也可以保證無權重平均 Fisher 信息的收斂。這項理論證明了 PnP-DM 的兩個取樣步驟的精確實施，使得取樣器能夠證明收斂到在兩個目標平穩分佈之間交替的平穩過程。

這種對貝葉斯推斷的嚴謹處理，透過避免近似並提供理論收斂保證，使 PnP-DM 在需要精確定量性化的應用中具有顯著優勢。這不僅是技術上的進步，更代表著計算成像領域在追求更可靠、更具解釋性的解決方案方面邁出了重要一步。

4.1 線性逆問題的性能#

PnP-DM 在高斯去模糊、運動去模糊和超解析度等線性逆問題上，通常優於現有的基準方法（PnP-ADMM、DPIR、DDRM、DPS、PnP-SGS、DPnP）。視覺範例證明 PnP-DM 提供了高質量的重建結果，既清晰又與真實值一致。

不確定性量化 (UQ) 分析（圖 6）進一步展示了 PnP-DM 的卓越性。它實現了最低的異常值百分比（97.46% 的真實像素落在 3-sigma 可信區間內），並且避免了像 DPS 和 PnP-SGS 那樣過度估計每像素標準差的情況。這表明 PnP-DM 不僅能夠提供高質量的圖像重建，還能更準確地捕捉解決方案空間中的不確定性，這對於需要可靠置信區間的應用至關重要。

4.2 非線性逆問題的性能#

對於編碼繞射圖案 (CDP) 重建問題，PnP-DM 的性能與 DPS 相當，但優於其他基於 SGS 的方法。它能夠恢復基準方法中缺失的精細特徵，例如髮絲。

對於具挑戰性的傅立葉相位恢復 (FPR) 問題，PnP-DM 顯著優於基準方法。它成功地為兩種方向（正向和 180° 旋轉）提供了高質量重建，展示了其捕捉多模態後驗分佈的能力，而基準方法通常無法捕捉其中至少一種模式。

4.3 黑洞成像應用的啟示#

黑洞成像 (Black Hole Imaging, BHI) 是一個真實世界中非線性且嚴重不適定的逆問題。PnP-DM 在此應用中的表現，特別是在捕捉多模態後驗分佈方面的能力，提供了重要的啟示。

在模擬黑洞數據上，PnP-DM 成功捕捉到後驗分佈中的兩種截然不同的模式，生成了具有清晰細節和一致環狀結構的高保真樣本，這些樣本與測量數據高度吻合。與此形成鮮明對比的是，DPS 則表現出掙扎，其採樣的三種模式中有兩種未能呈現有意義的黑洞結構，並顯示出顯著更大的數據不匹配值。

這種捕捉多模態後驗分佈的能力對於不適定逆問題至關重要。在這些問題中，通常存在多個不同的圖像可以同樣合理地解釋觀測到的雜訊數據。捕捉所有這些合理的解決方案，而不僅僅是單一的「最佳」估計，對於全面的不確定性量化和得出準確的科學結論至關重要。如果一種方法遺漏了某些模式，它將呈現一個不完整甚至具有誤導性的底層現實圖景。因此，PnP-DM 的這一能力使其在天文學、醫學成像和材料科學等科學成像領域中極具價值，在這些領域中，理解所有可能的物理狀態及其相關不確定性通常與找到單一「最佳」估計同等重要，甚至更為重要。這將重點從單純的點估計轉移到真正的機率推斷，從而實現更穩健和可靠的科學解釋。

此外，將 PnP-DM 應用於真實的 M87 黑洞數據（圖 1） 進一步驗證了其穩健性。該方法生成的樣本不僅在視覺上合理且多樣，而且與官方 EHT 重建中觀測到的環直徑和亮點位置保持一致。這些結果凸顯了 PnP-DM 在處理高度不適定真實世界逆問題方面的強大能力和有效性。

5.1 DiffPir：核心機制與方法#

• DiffPIR (Diffusion Posterior Sampling for Inverse Problems via Divide-and-Conquer) 透過貝葉斯框架解決逆問題，明確指定了信號的先驗分佈和觀測的似然分佈。其核心機制利用了數據生成逆向擴散的馬可夫性質，並將後驗分佈表達為 Feynman-Kac (FK) 路徑測度的邊緣分佈。

• DiffPIR 採用「分而治之」的方法，不透過單一模擬運行來針對給定的後驗分佈，而是沿著路徑針對一系列分佈 ($\pi_{kt}$) 遞歸地從 $\pi_{kt-1}$ 獲得近似樣本 $X_{k,t}$，從而逐步逼近目標分佈。該方法依賴於去雜訊擴散模型 (DDM) 和參數近似 $s_{x,\theta|k}$。

• DiffPIR 的一個關鍵目標是「減輕由此產生的近似誤差」。它透過構建一個估計 $p_{L}(\cdot|x_k)$ 來實現這一點，該估計比 $\delta_{x_0}(x_k)$ 具有更小的近似誤差。這表明 DiffPIR 承認近似的存在，但積極尋求減少其影響，這是一種務實的嚴謹性方法，旨在管理而非消除誤差。

值得一提的是，DPIR (Dual Prompting Image Restoration) 是一個較新的變體。它利用擴散變壓器 (Diffusion Transformers, DiTs) 和雙重提示機制（視覺和文本提示）來提高圖像恢復質量。

5.2 DPS：核心機制與方法#

DPS (Diffusion Posterior Sampling) 是一種在逆問題中應用擴散模型的方法。其核心機制在於在非條件生成與測量引導的梯度下降步驟之間交替進行。這種梯度下降步驟是從「對中間圖像估計的難以處理的測量似然的近似」中導出的。它通常透過 Tweedie 公式從中間圖像預測乾淨圖像。

DPS 被描述為「擴散取樣與流形約束採樣」的一種混合版本。沒有嚴格的測量一致性投影步驟。一項關於 DPS 和蒙地卡羅方法的調查指出，它採用了「中間分佈的扭曲機制」來引導採樣趨向後驗分佈。

儘管 DPS 在經驗上表現出色，但其主要缺點之一是「透過網路進行反向傳播以計算梯度所產生的計算開銷」。儘管一些變體旨在減輕這一問題，但這種計算成本仍然是一個考量因素。PnP-DM 論文將 DPS 等方法歸類為「引導方法」而非真正的後驗取樣方法，這暗示了它們可能偏離了目標貝葉斯後驗分佈，這對於需要精確不確定性量化的應用來說是一個重要的區別。此外，有研究表明，DPS 在早期階段可能過早引入高頻信息，導致在恢復取樣過程中產生更大的估計誤差。

5.3 PnP-DM 方法論與貝葉斯嚴謹性的主要異同#

此比較揭示了這些方法在處理貝葉斯嚴謹性方面的不同策略。PnP-DM 透過其分離式吉布斯取樣器框架，刻意將似然和先驗步驟解耦，將複雜的條件取樣問題轉化為兩個更簡單、非條件的取樣問題。這種策略性選擇使其能夠嚴格地利用非條件擴散模型進行先驗步驟，從而避免了其他方法在直接處理難以處理的條件似然項時所做的近似。這使得 PnP-DM 能夠實現「原則性」和「嚴謹」的後驗取樣，這對於需要精確定量性化的應用至關重要。

相較之下，DPS 明確依賴於「難以處理的測量似然的近似」，因此被視為一種「引導方法」而非真正的後驗取樣器。這意味著其樣本分佈可能偏離目標後驗分佈，從而影響不確定性估計的準確性。DiffPir 則介於兩者之間。它承認近似的存在，但致力於「減輕由此產生的近似誤差」。這種方法論上的差異反映了設計者在貝葉斯嚴謹性、實用性能和計算效率之間所做的權衡。對於醫學成像或科學發現等高風險領域，準確的不確定性量化往往比單一的高質量重建更為重要，PnP-DM 對嚴謹性的承諾使其在這些領域中具有獨特優勢。

5.4 PnP-DM、DiffPir 和 DPS 的優缺點#

透過對 PnP-DM、DiffPir 和 DPS 的優缺點進行檢視，可以清楚地觀察到在貝葉斯嚴謹性、性能和效率之間存在著固有的權衡。PnP-DM 優先考慮貝葉斯嚴謹性和準確的後驗取樣，這使其在不確定性量化和多模態捕捉方面表現出色，尤其適用於複雜的非線性問題。然而，這種嚴謹性可能伴隨著計算方面的考量，例如需要對整個圖像進行評估，以及相較於某些基準方法（如 DDRM）每迭代需要更多的函數評估 (NFE)，儘管對於從單一馬可夫鏈中採集多個樣本而言，其效率仍然很高。

相較之下，DPS 雖然在經驗上通常表現強勁且在單個樣本的計算效率上具有競爭力，但這是以犧牲嚴格的貝葉斯嚴謹性為代價，其依賴於近似，這會影響不確定性估計和多模態捕捉。DiffPir 則試圖在兩者之間取得平衡，透過減少近似來提升性能，但仍在此近似範式下運作。這表明沒有單一方法能夠完美地同時優化這三個方面。

這種「權衡三角」對於實際應用者來說至關重要。方法的最佳選擇嚴重依賴於特定應用的優先順序。對於科學發現或醫學診斷等領域，精確的不確定性量化和真實解決方案空間的準確表示至關重要，PnP-DM 的嚴謹性優勢將超越輕微的計算開銷。而對於僅需要視覺上高質量點估計且速度至關重要的應用，則可能考慮其他方法，但需理解其在貝葉斯一致性方面的局限性。這凸顯了當前研究的一個關鍵挑戰：開發能夠同時實現高嚴謹性、高性能和高效率的方法。

6.1 PnP-DM 的潛在改進方向#