3.3.1 梯度引導 (Gradient Guidance) - 代表：DPS, 部分 PnPDM 變體#

這種方法基於貝葉斯定理在「得分函數」（Score Function，即概率分佈的對數梯度）空間的應用。

貝葉斯公式: 後驗分佈可以根據貝葉斯定理表示為：

$p(x|y) \propto p(y|x)p(x)$

其中：

• $p(x∣y)$ 是後驗分佈：給定觀測 $y$ 後 $x$ 的分佈。
• $p(y∣x)$ 是似然函數 (Likelihood Function)：表示在 $x$ 為真的情況下，觀察到 $y$ 的可能性。它描述了測量過程或數據退化過程。
• $p(x)$ 是先驗分佈：如上所述，由預訓練的擴散模型提供，代表了對真實數據 $x$ 的先驗知識。

• 擴散模型提供什麼？(先驗部分)

  • 預訓練的擴散模型學習的是如何預測噪聲，這本質上等同於學習無條件數據分佈的得分函數 ${\nabla}_{X} log P(X)$。這個得分函數指明瞭如何從當前帶噪的 $X_t$ 中去噪，以朝著更高概率的真實數據 $X_0$ 移動。

• 似然提供什麼？(觀測約束部分)

  • 對於逆向問題，我們有一個似然函數 $P(Y∣X)$，它衡量了在給定真實數據 $X$ 的情況下，觀察到 $Y$ 的概率。我們可以計算這個似然函數對 $X$ 的梯度 ${\nabla}_{X} log P(Y|X)$。這個梯度指明瞭如何改變 $X$ 才能讓它更符合觀測 $Y$。

• PnP 如何結合？(後驗採樣)

  • 根據貝葉斯定理，後驗分佈的得分可以寫成： ${\nabla}_{X} log P(X|Y) = {\nabla}_{X} log P(X) + {\nabla}_{X} log P(Y|X)$

  • DPS 等 PnP 算法就是在擴散模型的每一步去噪中，將模型預測的噪聲（對應 ${\nabla}_{X} log P(X)$）與從似然函數計算出的梯度（對應 ${\nabla}_{X} log P(Y|X)$）疊加起來。

  • 這使得每一步的去噪方向不僅考慮到模型學到的「普遍的真實數據形態」，也同時考慮到「如何讓當前生成結果符合給定的觀測 $Y$」。

  • 通俗理解：擴散模型告訴你「這樣畫更像一幅畫」，而似然梯度告訴你「這樣畫才能符合你已有的鉛筆線」。PnP 就是把這兩種建議加起來，讓畫既自然又符合要求。

3.3.2 數據一致性投影 (Data Consistency Projection) - 代表：DiffPIR#

這種方法相對更直觀，它在去噪的每一步中強制執行觀測的一致性。

• 擴散模型提供什麼？(先驗部分)
  • 模型仍然按照其學習到的先驗知識進行去噪，生成一個初步的、更清晰的圖像估計。
• 似然提供什麼？(觀測約束部分)
  • 似然函數在這裡體現為一個硬性約束：圖像的某些區域（例如，圖像修復中未被遮擋的部分）是已知且不可改變的。
• PnP 如何結合？(後驗採樣)
  • DiffPIR 在擴散模型完成每一步去噪後，會執行一個**「投影」操作**。這個操作會將當前生成結果中對應於觀測 Y 的已知區域的像素值，直接替換為觀測 Y 的原始值。而缺失或未知區域則保留擴散模型生成的內容。
  • 通俗理解：你先按照你的風格畫了一部分畫。PnP（DiffPIR）則是在你畫完後，拿著原始的、未被破壞的圖片，把你畫的已知區域直接「貼」上原始圖片的樣子，確保萬無一失。這樣，畫的已知部分與原始圖片完全吻合，而其他缺失部分則由你的繪畫風格（先驗）補齊。

3.3.3 廣義引導 (General Guidance) - 代表：PnPDM (更廣義的框架)#

PnPDM 是一個框架，它可以包含上述兩種機制，但更強調其靈活性和可擴展性。它可能引入獨立的「控制器」或「引導網絡」，這些網絡可以學習如何將擴散模型與各種非傳統約束（例如，文本、語義標籤、甚至是其他圖像的風格）結合。其結合方式可能還是基於梯度的，但似然的定義可以更抽象或更複雜。

總結來說： PnP 算法之所以能夠結合先驗和後驗，是因為它們在擴散模型多步疊代的逆向採樣過程中：

1. 不斷地查詢先驗模型：讓模型基於其學到的知識去預測噪聲，推進去噪過程。
2. 不斷地引入似然信息：
   • 可以是通過計算似然的梯度，將其添加到去噪方向中（如 DPS）。
   • 可以是通過強制性的像素替換或投影，確保生成結果與已知觀測一致（如 DiffPIR）。
   • 也可以是更通用的條件引導（如 PnPDM）。

這個**「查詢先驗 + 引入似然」的循環**，使得最終的生成結果既符合擴散模型學到的真實數據特性（先驗），又嚴格遵循了我們給定的觀測條件（似然），從而有效地從後驗分佈中採樣出解決方案。

4.2.1 DPS (Diffusion Posterior Sampling) 的改動步驟#

DPS 的核心是在每一步去噪時，除了模型預測的噪音外，還加入一個來自似然函數的「梯度引導」。

對於每一個時間步 $t$ (從 $T$ 遞減到 1)：

1. 輸入當前帶噪圖像 $X_t$ 和有缺失的觀測圖像 $Y$ (帶掩碼)。

2. 模型預測噪聲: 將 $X_t$ 和 $t$ 輸入預訓練的擴散模型，得到預測的噪聲 $\epsilon_{pred}$。

3. (新步驟) 預測噪聲計算估計的「潛在清晰圖像」$X_{0}^{est}$: 根據擴散模型的數學關係，從 $X_t$ 和 $\epsilon_{pred}$ 推導出模型在當前時間步估計的最終清晰圖像 $X_{0}^{est}$。

4. (新步驟) 定義似然損失 $L$: 定義一個損失函數 $L(X_{0}^{est}, Y)$，它衡量 $X_{0}^{est}$ 的已知區域與實際觀測 $Y$ 在已知區域的匹配程度。

   • 例如，對於圖像修復，如果 $M$ 是掩碼（已知區域為1，缺失區域為0），則 $L = ||M \odot (X_{0}^{est} - Y)||^2$。

5. (新步驟) 計算似然梯度 $\nabla_{X_t}L$: 計算這個似然損失 $L$ 對當前帶噪圖像 $X_t$ 的梯度。這個梯度指明如何微調 $X_t$ 才能讓 $X_{0}^{est}$ 更好地匹配觀測 $Y$。

6. (新步驟) 調整預測噪聲或去噪方向:

   • 將這個似然梯度 (可能乘以一個引導強度參數 $s$) 融入到原始的 $\epsilon_{pred}$ 中。形成一個引導後的噪聲預測 $\epsilon_{guided}$。
   • 例如，$\epsilon_{guided} = \epsilon_{pred} - s \cdot (\text{從 } \nabla_{X_t}L \text{ 反推回的噪音貢獻})$。

7. 計算去噪後的 $X_{t-1}$: 使用 $X_t$ 和這個引導後的 $\epsilon_{guided}$ 來計算出下一步的圖像 $X_{t-1}$。

8. 重複: 將 $X_{t-1}$ 作為下一個時間步的 $X_t$，重複步驟 2-7，直到到達 $X_0$ (最終清晰修復圖像)。

4.2.2 DiffPIR (Diffusion Models for Plug-and-Play Image Restoration) 的改動步驟#

DiffPIR 的核心是在每一步去噪後，強制將已知區域的像素替換回原始值。

對於每一個時間步 $t$ (從 $T$ 遞減到 1)：

1. 輸入當前帶噪圖像 $X_t$ 和有缺失的觀測圖像 $Y$ (帶掩碼)。

2. 模型預測噪聲 $\epsilon_{pred}$: 將 $X_t$ 和 $t$ 輸入預訓練的擴散模型，得到預測的噪聲 $\epsilon_{pred}$。

3. 計算去噪後的「標準」$X_{t-1}^{std}$: 使用 $X_t$ 和 $\epsilon_{pred}$ 來計算出下一步的圖像 $X_{t-1}^{std}$。

4. (新步驟) 應用數據一致性投影:

   • 定義掩碼 $M$: $M$ 為1的區域是已知區域 (未被遮擋)，$M$ 為0的區域是缺失區域。
   • 創建修改後的 $X_{t-1}^{mod}$:
     • 對於已知區域 ($M=1$): $X_{t-1}^{mod} = Y$ (直接使用原始觀測圖像 $Y$ 的像素值)。
     • 對於缺失區域 ($M=0$): $X_{t-1}^{mod} = X_{t-1}^{std}$ (使用模型去噪的結果)。
   • 這可以用數學表示為: $X_{t-1}^{mod} = M \odot Y + (1-M) \odot X_{t-1}^{std}$。

5. 設定 $X_{t-1}$: 將 $X_{t-1}^{mod}$ 作為當前時間步的最終結果 $X_{t-1}$。

6. 重複: 將 $X_{t-1}$ 作為下一個時間步的 $X_t$，重複步驟 2-5，直到到達 $X_0$ (最終清晰修復圖像)。

4.2.3 PnPDM (Plug-and-Play Diffusion Models) 的改動步驟#

PnPDM 是一個框架，其具體操作更通用，但通常也涉及對去噪方向的修改，只是這個修改來源更靈活。

對於每一個時間步 $t$ (從 $T$ 遞減到 1)：

1. 輸入當前帶噪圖像 $X_t$ 和約束條件 $C$ (例如有缺失的圖像 $Y$、或一個文本提示)。

2. 模型預測噪聲 $\epsilon_{pred}$: 將 $X_t$ 和 $t$ 輸入預訓練的擴散模型，得到預測的噪聲 $\epsilon_{pred}$。

3. (新步驟) 根據約束條件 $C$ 計算一個「引導項」:

   • 這一步是 PnPDM 最靈活的部分。它可能是一個：
     • 基於 $X_{0}^{est}$ 和 $C$ 的損失函數的梯度 (類似 DPS，但 $C$ 更通用)。
     • 一個額外訓練的「引導網絡」，它接收 $X_t$ 和 $C$ 作為輸入，輸出一個引導方向或調整項。
     • 一個基於某些特定屬性 (如清晰度、特定物體存在與否) 的度量，並計算其梯度。
   • 假設這個引導項為 $G_{term}$。

4. (新步驟) 結合模型預測和引導項:

   • 將 $G_{term}$ (可能乘以一個引導強度 $s$) 融入到原始的 $\epsilon_{pred}$ 中。形成一個引導後的噪聲預測 $\epsilon_{guided}$。
   • 例如，$\epsilon_{guided} = \epsilon_{pred} - s \cdot G_{term}$ (具體公式會因 PnPDM 的變體而異)。

5. 計算去噪後的 $X_{t-1}$: 使用 $X_t$ 和這個引導後的 $\epsilon_{guided}$ 來計算出下一步的圖像 $X_{t-1}$。

6. 重複: 將 $X_{t-1}$ 作為下一個時間步的 $X_t$，重複步驟 2-5，直到到達 $X_0$ (最終清晰修復圖像)。

6.2.1 先前的工作總結#

因為之前的實驗工作是將一個模型分別使用兩個不同的初始方式生成兩個模型，然後互相去影響來嘗試看看效果，但是這樣的縫合方法並不是那麼理想（不穩定），但是穩定的結果反而有好一點點。

6.2.2 我的思考#

目前從師兄那我理解到的是：目前我們的工作根基可以是 DPS 算法。我目前對這方面的實驗工作成本不太清楚，如果想改進這個算法，我覺得也是從缺陷下手的話，而不是隨機選另一個模型縫合，我建議是可以嘗試在 DPS 算法上做以下工作：