2.1 影像復原#

2.2 即插即用（Plug-and-Play, PnP）方法#

即插即用方法是一種靈活且可解釋的框架，用於解決影像復原中的逆問題。其核心思想是將影像復原的優化問題（如公式 $(1) \hat{\mathbf{x}} = \underset{\mathbf{x}}{\arg \min} \frac{1}{2\sigma_n^2} \| \mathbf{y} - \mathcal{H}(\mathbf{x}) \|^2 + \lambda \mathcal{P}(\mathbf{x})$）分解為兩個獨立的子問題：一個「資料項」和一個「先驗項」。

1. 資料項：這部分確保復原的影像與觀測到的降級影像保持一致。它關乎對輸入資料的「保真度」，即復原影像在降級後應盡可能接近觀測影像。
2. 先驗項：這部分則強制復原的影像具有理想的屬性，例如視覺上的自然性、清晰度或平滑度。這通常被稱為「影像先驗」或「正則化」，它引導解決方案走向符合人類視覺感知的影像。

這種解耦通常透過變數分裂演算法實現，例如交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）或半二次分裂法（Half-Quadratic Splitting, HQS） 。這種「即插即用」的特性極具價值，因為它允許整合任何現成的去噪器。這種模組化意味著去噪技術的進步可以直接惠及影像復原，而無需重新訓練整個系統。這顯著加速了研究和應用，使得專家可以獨立地專注於降級模型（影像如何被破壞）或影像先驗（清晰影像的樣子），從而促進創新。

2.3 傳統 PnP 方法的局限性#

歷史上，PnP 方法主要依賴於「判別式高斯去噪器」。這些去噪器經過訓練以去除特定類型的雜訊（例如高斯雜訊），但它們並非設計用於「生成」新的影像內容，也無法處理資訊大量缺失的複雜不適定問題 。雖然基於深度學習的去噪器（例如基於卷積神經網路的去噪器）改進了性能，但即使是生成對抗網路（GANs）、變分自編碼器（VAEs）和正規化流（Normalizing Flows）等生成模型，當它們被用作 PnP 先驗時，其生成能力也常受到「阻礙」 。

傳統生成模型在 PnP 框架中生成能力受限，這表明它們的訓練目標（例如生成多樣樣本）與 PnP 先驗的特定要求（例如在保持結構的同時有效去除雜訊）之間存在根本性的不匹配。例如，GANs 或 VAEs 通常從隨機潛在空間生成新影像，或從壓縮表示中重建影像。當這些模型被迫在 PnP 框架中扮演去噪角色時，它們內部用於生成多樣性的機制可能會與精確去噪和重建保真度的需求產生衝突。這可能導致妥協，使它們既未能充分利用其生成優勢，也未能作為最佳去噪器發揮作用，從而導致其能力受到限制。這也為擴散模型作為一種本質上是「去噪器」的模型，如何更自然地適應 PnP 框架奠定了基礎。

Unlike those traditional or convolutional neural network based discriminative Gaussian denoisers, denoisers parameterized by deep generative models are expected to better handle those ill-posed inverse problems due to their ability to model complex distributions. Deep generative models such as Generative Adversarial Networks (GANs) [23,31], Normalizing Flows (NFs) [15] and Variational Autoencoders (VAEs) [33, 44] have been used as denoisers of plug-and-play IR framework [18, 35, 55]. However, these generative models are not designed for denoising tasks and their generative capabilities are hindered when employed as plug-and-play prior.

2.4 擴散模型#

3.1 DiffPir 核心思想#

DiffPIR 的核心創新在於將傳統的即插即用（PnP）框架與擴散模型強大的生成能力相結合。它認識到擴散模型本質上是「生成式去噪器」，它們不僅能夠去除雜訊，還能理解並生成逼真的影像內容 。

透過在 PnP 的疊代優化過程中，使用預訓練的擴散模型作為「隱式影像先驗」，DiffPIR 旨在克服先前 PnP 方法的局限性（這些方法通常產生模糊的結果，或難以處理嚴重的降級），同時保留 PnP 的靈活性 。

3.2 問題解耦：HQS 演算法#

DiffPIR 採用半二次分裂法（HQS）來解耦公式 (1) 中的資料項和先驗項。這種解耦使得子問題可以疊代求解，從而促進了擴散採樣框架的利用 。透過引入一個輔助變數 $z$，公式 (1) 可以分解為以下疊代求解的子問題：

這兩個子問題分別處理：

• 子問題 (10a) / (12a)：與先驗項相關，本質上是一個高斯去噪問題。這個子問題的目標是找到一個 z 值，它既接近當前疊代的 $x_k$，又符合影像的先驗分佈 $\mathcal{P}(\mathbf{z})$。此處，擴散模型被用作去噪器來解決這個先驗子問題。
• 子問題 (10b) / (12b)：與資料項相關，實際上是一個近端算子（proximal operator）問題，通常具有閉合形式解。這個子問題確保復原的影像 $x$ 與觀測到的降級影像 $y$ 以及當前疊代的 $z$ 保持一致。

Since the VP and VE Diffusion Models are actually equivalent to each other [32], from now on we limit our discussion within DDPM without loss of generality. To make the discussion more clear, we rewrite (10) as

where $\rho_t = \lambda(\sigma_n / \bar{\sigma}_t)^2$. Here (12b) is the data subproblem to solve and (12c) is a necessary step to finish our sampling method which will be introduced in 3.3. Additionally, we show in Appendix A.1 that we can also derive one-step reverse diffusion from HQS.

這種解耦的優勢在於，它允許 DiffPIR 獨立處理資料項，從而使其能夠應對各種具有不同降級操作符 $\mathcal{H}$ 的降級模型 。由於擴散模型本身就是生成式去噪器，它們可以作為即插即用去噪先驗來解決先驗項子問題 。

將子問題 (10a) 與擴散過程建立聯繫，可以觀察到其與擴散模型預測清晰影像的步驟相似。具體來說，當我們嘗試從帶有雜訊的 $x_k$ 中恢復無雜訊的 $z_k$ 時，這個過程可以近似表示為

$\mathbf{z}_k \approx \mathbf{x}_k + \frac{1 - \bar{\alpha}_t}{\bar{\alpha}_t} \mathbf{s}_\theta(\mathbf{x}_k), \quad (11)$

這正是擴散模型中估計原始清晰影像 $\mathbf{x}_0^{(t)}$ 的形式。這表明擴散模型的訓練目標與 PnP 框架中的去噪先驗子問題具有內在的一致性，使得擴散模型成為 PnP 框架中理想的生成式去噪器。

3.3 DiffPIR 採樣過程（算法 1）#

DiffPIR 的採樣方法結合了對清晰影像的估計與對雜訊的校正，並將測量值 $y$ 納入每個逆向擴散步驟中。以下是其詳細的演算法步驟：

1. 初始化: 從標準高斯雜訊中初始化 $\rho_t$，並預先計算 $\rho_t \lambda \sigma^2_n/\sigma^2_s$。
2. 疊代時間步: 從 $t=T$ 到 1 進行疊代。
3. 預測清晰影像: 使用擴散模型作為去噪器，預測當前時間步 $t$ 的估計清晰影像 $\hat{x}_0^{(t)}$。這一步透過公式 $\hat{x}_0^{(t)} = \frac{1}{\sqrt{\alpha_t}}(x_t + (1-\bar{\alpha}_t)s_\theta(x_t, t))$ 實現，其中 $s_\theta(x_t, t)$ 是分數模型（或雜訊預測器）。
4. 解決資料近端問題: 將測量值 $y$ 納入考量。解決資料近端問題以獲得修正後的清晰影像估計 $\hat{x}_0^{(t)}$。這一步的目標是確保預測的影像與觀測到的降級影像 $y$ 一致，同時也與擴散模型預測的 $\hat{x}_0^{(t)}$ 接近。該子問題表示為 $\hat{x}_{0}=\operatorname{argmin}_{\hat{x}}||y-\mathcal{H}(\hat{x})||^2+||\hat{x}-x_{0}||^2$。

   1. 資料子問題的解析: 對於超解析度、去模糊和修補等影像復原任務。子問題 (12b) 通常有快速的解析。

      1. 影像修補: 在無雜訊修補中，降級模型為 $y=M \odot x$ ($M$ 為遮罩)，解析解為 $x_0 = \frac{M \odot y + \rho_t \hat{x}_0}{M+\rho_t}$。
      2. 影像去模糊: 對於高斯雜訊下的影像去模糊，降級模型為 $y=x \otimes k+n$ ($k$ 為模糊核)，解析解為 $x_{0}=\mathcal{F}^{-1}\left(\frac{1}{\rho_{t}}\left(d-\overline{\mathcal{F}(k)}\odot_{s}\frac{(\mathcal{F}(k)d)\Psi_{s}}{(|\mathcal{F}(k)|^2\Psi_{s}+\rho_{t})}\right)\right)_{s_{1}}$，其中 $\mathcal{F}$ 和 $\mathcal{F}^{-1}$ 分別是快速傅立葉變換及其逆變換。
      3. 單影像超解析度 (SISR): 對於雙三次插值 (bicubic) 超解析度、降級模型為 $y=x \downarrow_{sf}^{\text{bicubic}}+n$。雖然有疊代反向投影 (IBP) 解決方案 $x_0=z_0-\gamma (y-z_0 \downarrow_{sf}^{\text{bicubic}})+\text{bicubic}$，但也可以使用近似雙三次核的閉合形式解。$x_{0}=\mathcal{F}^{-1}\left(\frac{1}{\rho_{t}}\left(d-\overline{\mathcal{F}(k)}\odot_{s}\frac{(\mathcal{F}(k)d)\Psi_{s}}{(|\mathcal{F}(k)|^2\Psi_{s}+\rho_{t})}\right)\right)_{s_{1}}$

   2. 近似解: 如果無法獲得解析解，也可以使用一階近端算子方法近似求解：$\hat{x}^{(t)}_{0}\approx\hat{x}^{(t)}_{0}-\frac{1}{\sigma}\nabla L(y,\hat{x}^{(t)}_{0})+\frac{2}{\lambda}\nabla_{\alpha}L(\text{human}(\mathcal{H})(\hat{x}^{(t)}_{0})-\mathcal{H}(\hat{x}^{(t)}_{0})||^2)$

5. 計算有效雜訊: 根據修正後的清晰影像估計 $\hat{x}_0^{(t)}$，計算有效的預測雜訊 $\hat{\epsilon} = \frac{1}{\sqrt{1-\bar{\alpha}_t}}(x_t - \sqrt{\bar{\alpha}_t}\hat{x}_0^{(t)})$。
6. 引入隨機雜訊: 生成標準高斯雜訊 $\epsilon_t \sim \mathcal{N}(0, I)$。
7. 完成一步逆向擴散採樣: 透過以下公式計算下一個時間步的影像 $x_{t-1}: x_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\hat{x}_0^{(t)} + \sqrt{1-\bar{\alpha}_{t-1}}( \sqrt{1-\zeta}\hat{\epsilon} + \sqrt{\zeta}\epsilon_t )$。這裡，超參數 $\zeta$ 控制了每一步注入的雜訊方差，當 $\zeta=0$ 時，採樣策略變為確定性。
8. 返回結果: 疊代完成後，返回最終的復原影像 $x_0$。

這個疊代精煉的過程，在每個步驟中結合了擴散模型對影像先驗的理解和對觀測資料的保真度。資料項和先驗項的解耦，使得 DiffPIR 在處理各種降級模型時具有高度的靈活性。無論降級操作符 v 是什麼，資料子問題都可以獨立解決，這使得 DiffPIR 能夠適應廣泛的影像復原任務。

OS：這段好痛苦阿，(′゜ω。‵)，誰來救救我，原文的這麼難讀懂，給我看矇了。

• $\odot$ 表示哈達瑪積 (Hadamard product)，也稱為逐元素乘積 (element-wise product)。這意味著矩陣 M 和矩陣 x 中對應位置的元素相乘，得到矩陣 y 中對應位置的元素。
• $\otimes$ (卷積)
  • 在數學中，$\otimes$ 通常表示張量積 (Tensor Product)。
  • 然而，在信號處理和影像處理領域，當它用於表示影像與核（kernel）之間的運算時，幾乎總是代表卷積 (Convolution)。
  • 公式 $y=x \otimes k+n$ (其中 k 是模糊核) 中，$x \otimes k$ 表示原始影像 x 與模糊核 k 進行卷積，產生模糊的影像。這是影像模糊的標準數學模型。
• $\Psi_{s}$ (頻域加權函數 或 功率譜密度)
  • 這個符號出現在去模糊的傅立葉逆變換公式的分母中：$(|\mathcal{F}(k)|^2\Psi_{s}+\rho_{t})$。
  • 在頻域的影像復原（特別是維納濾波器或相關的正規化方法）中，$\Psi_{s}$ 通常表示以下幾種可能：
    • 信號的功率譜密度 (Power Spectral Density, PSD)：在維納濾波器中，分母通常會包含模糊核的頻率響應的平方與信噪比相關的項。$\Psi_{s}$ 可能代表原始信號（影像）在頻域的功率譜密度，用於加權不同頻率分量的恢復。
    • 頻率域的正規化項或加權函數：它可以用作一個頻率相關的加權因子，用於平衡數據保真項和先驗正規化項之間的關係。
    • 與信號性質相關的先驗資訊：例如，如果我們假設原始信號具有某種頻譜特性，Ψs​ 可以體現這種先驗知識。
  總的來說，$\Psi_s$ 在這個去模糊公式中是一個在頻域中起作用的加權因子或信號屬性參數，它幫助在恢復模糊影像時，根據頻率特性來平衡對不同頻率分量的處理，尤其是在噪聲和模糊的存在下。具體的精確含義通常需要參考原始論文的定義。

3.4 DiffPIR 的主要優勢#

4.1 DDRM#

去噪擴散復原模型（DDRM）在結構上與 DiffPIR 相似，兩者都首先預測 $x_0$，然後添加雜訊以進行前向採樣 $x_{t−1}$。然而，DDRM 僅適用於線性操作符 $\mathcal{H}$，並且當快速奇異值分解（SVD）不可行時，其效率無法得到保證 。相比之下，DiffPIR 能夠處理任意降級操作符 $\mathcal{H}$，這得益於其資料項的解耦和對近端算子的靈活處理 。

4.2 DPS#

擴散後驗採樣（DPS）方法利用拉普拉斯近似來解決後驗採樣的難題，並且可以解決一般的嘈雜逆問題。然而，DPS 在採樣速度上存在問題，並且在採樣步驟較少時，其重建的保真度不夠高 。儘管 DPS 和 DiffPIR 在解決一般逆問題方面有相似的解決方案，但 DPS 在每個逆向擴散步驟之後處理測量值，而 DiffPIR 則基於 DDIM 在逆向擴散步驟中加入測量值，這支持了更快的採樣 。這種處理測量值方式的核心差異，使得 DiffPIR 在保持高品質的同時，顯著提升了採樣效率。

5.1 採樣步數/NFEs 的影響（Effect of sampling steps）#

為了研究採樣步數（或等效地，NFEs 數量）的影響，研究在 ImageNet 驗證集上的 100 張影像上進行了 4 倍雜訊超解析度（$\sigma_n=0.05$）實驗，採樣步數 $T$ 範圍為 。結果如圖 6 所示，PSNR 與 NFEs 數量呈對數線性關係，而 LPIPS 分數在 $T \in [100, 500]$ 時最低 。這表明 DiffPIR 可以在少於 100 次 NFEs 的情況下生成詳細影像。

5.2 $t_{start}$ 的影響（Effect of $t_{start}$）#

DiffPIR 能夠從部分帶雜訊的影像開始逆向擴散過程，而不是從純高斯雜訊開始，這有助於減少 NFEs 數量，特別是對於去模糊和超解析度等任務 。圖 7 顯示了 $t_{start}$ 對嘈雜高斯去模糊任務中 PSNR 和 LPIPS 的影響。研究發現，即使 $t_{start}=400$，該方法也能表現良好，這在不損失品質的情況下大幅減少了 NFEs 。

5.3 $\lambda$ 和 $\zeta$ 的影響#

DiffPIR 有兩個超參數：$\lambda$ 和 $\zeta$。$\lambda$ 控制條件引導的強度，而 $\zeta$ 控制每個採樣時間步注入的雜訊水平。圖 8 顯示了這些超參數對運動模糊樣本重建影像的影響。觀察結果表明：

• 當引導過強（例如 $\lambda<1.0$）時，雜訊會被放大；而當引導過弱（例如 $\lambda>1000$）時，生成的影像會變得更不具條件性 。
• 當 $\zeta$ 接近 1 時，生成的影像傾向於模糊 。

這些發現為調整超參數以在重建保真度和感知品質之間取得平衡提供了指導。

7.1 進一步深入 DiffPir 與 DFS 之間的區別#

DiffPIR 與 DPS：影像復原的兩種不同策略

影像復原就像是從一張模糊或破損的照片中，還原出原始清晰的影像。DiffPIR 和 DPS 都是利用「擴散模型」這種強大的工具來完成這項任務，但它們的方法略有不同。

擴散模型就像是一位藝術家，它學會了如何從一堆隨機的雜訊中，一步一步地「畫」出逼真的影像。這個過程本質上就是「去噪」，因為它在學習如何去除雜訊的同時，也學會了真實影像的樣貌。

現在，我們來看看 DiffPIR 和 DPS 如何利用這位「藝術家」：

• DPS (Diffusion Posterior Sampling)： 想像 DPS 是一位「事後諸葛」的偵探。它會先讓擴散模型自己去生成一個影像（就像藝術家自由創作），然後再回過頭來，根據你提供的「線索」（也就是降級的模糊或破損影像），對這個生成的影像進行修正。它在擴散模型每完成一步「去噪」後，都會停下來，檢查一下結果是否符合原始的「線索」，然後再進行調整 。這種方式雖然能解決很多問題，但就像偵探需要反覆核對一樣，會比較耗時。
• DiffPIR (Denoising Diffusion Models for Plug-and-Play Image Restoration)： DiffPIR 更像是一位「即時指導」的藝術總監。它將影像復原的複雜問題拆解成兩個簡單的部分：一個是「資料一致性」（確保復原的影像與你提供的降級影像相符），另一個是「影像先驗」（確保復原的影像是自然、逼真的）。DiffPIR 在擴散模型「去噪」的每一步中，就直接將「線索」（降級影像的資訊）融入進去，引導擴散模型在生成過程中就朝著正確的方向修正 。這種「邊去噪邊修正」的方式，讓它能更快、更有效率地完成任務。

DiffPIR 與 DPS 的優劣勢比較

7.2 DiffPIR 未來可以修正或改進的方向#

1. 提升超解析度 (SR) 任務的精確度與核函數處理：

   論文中明確指出，DiffPIR 在超解析度任務上的 LPIPS 分數（衡量感知品質的指標）表現有例外，這可能歸因於「採樣過程中因近似雙三次核函數 $k$ 的不準確性而引入的累積誤差」。這表示未來研究可以專注於改進超解析度任務中資料子問題的處理方式。例如，可以探索更精確的雙三次核函數近似方法，或者開發新的、更穩健的下採樣模型，甚至考慮讓模型學習這些核函數，以減少誤差累積，進一步提升超解析度影像的感知品質。

2. 進一步加速採樣過程：

   儘管 DiffPIR 相較於其他基於擴散模型的方法（如 DPS）已經在效率上取得了顯著進展，能夠在少於 100 次「神經函數評估」（NFEs）的情況下達到最先進的性能，但擴散模型普遍仍以推理速度較慢著稱。為了讓 DiffPIR 更適用於即時應用，未來的研究可以探索更先進的加速採樣技術（超越目前已採用的 DDIM 類方法），或開發自適應的採樣策略，以在不犧牲影像品質的前提下，進一步減少所需的 NFEs 數量。

3. 實現超參數的自適應優化：

   DiffPIR 依賴於兩個關鍵的超參數：$\lambda$（控制條件引導的強度）和 $\zeta$（控制每一步注入的雜訊水平）。論文中的消融研究也顯示了這些超參數對重建影像的影響，需要針對不同任務和雜訊水平進行手動調整。未來可以研究開發自適應的方法，讓模型能夠根據輸入影像的特性或特定的降級任務，自動設定這些超參數，而非依賴人工調校。這將大大提高 DiffPIR 的易用性和在多樣化場景下的穩健性。

嗚嗚嗚，別罵了別罵了，這就去讀 PnP-DM論文。(✘﹏✘ა)