1. 關(guān)于 Lama Cleaner

Lama Cleaner 是由 SOTA AI 模型提供支持的免費(fèi)開(kāi)源圖像修復(fù)工具?？梢詮膱D片中移除任何不需要的物體、缺陷和人，或者擦除并替換（powered by stable diffusion）圖片上的任何東西。

特征：

完全免費(fèi)開(kāi)源，完全自托管，支持CPU & GPU & M1/2

Windows 一鍵安裝程序

本機(jī) macOS 應(yīng)用程序

多種SOTA AI模型

擦除模型：LaMa/LDM/ZITS/MAT/FcF/Manga

擦除和替換模型：穩(wěn)定擴(kuò)散/繪制示例

后期處理插件：

RemoveBG：刪除圖像背景

RealESRGAN：超分辨率

GFPGAN：面部恢復(fù)

RestoreFormer：面部修復(fù)

分割任何東西：準(zhǔn)確快速的交互式對(duì)象分割

文件管理器：方便地瀏覽您的圖片并將它們直接保存到輸出目錄。

插件

在圖像清洗的后處理中，除了擦除之外，還經(jīng)常使用面部修復(fù)或超分辨率等算法?，F(xiàn)在您可以直接在 Lama Cleaner 中使用它們。啟動(dòng)Lama Cleaner服務(wù)時(shí)，您可以通過(guò)命令行參數(shù)啟用插件。啟用的插件將在左上角顯示。

2. 擦除模型

Lama Cleaner默認(rèn)擦除模型為L(zhǎng)aMa，開(kāi)源地址為：https://github.com/advimman/lama 。

LaMa 圖像修復(fù)，采用傅立葉卷積的分辨率魯棒大型掩模修復(fù)，WACV 2022

現(xiàn)代圖像修復(fù)系統(tǒng)盡管取得了顯著的進(jìn)步，但常常難以應(yīng)對(duì)大面積缺失區(qū)域、復(fù)雜的幾何結(jié)構(gòu)和高分辨率圖像。我們發(fā)現(xiàn)造成這種情況的主要原因之一是修復(fù)網(wǎng)絡(luò)和損失函數(shù)都缺乏有效的感受野。為了緩解這個(gè)問(wèn)題，我們提出了一種稱為大掩模修復(fù)（LaMa）的新方法。LaMa 基于：

一種新的修復(fù)網(wǎng)絡(luò)架構(gòu)，使用快速傅立葉卷積，具有圖像范圍的感受野

高感受野感知損失；

大型訓(xùn)練掩碼（masks），釋放前兩個(gè)組件的潛力。

我們的修復(fù)網(wǎng)絡(luò)提高了一系列數(shù)據(jù)集的最新技術(shù)，即使在具有挑戰(zhàn)性的場(chǎng)景（例如完成周期性結(jié)構(gòu)）中也能實(shí)現(xiàn)出色的性能。我們的模型出人意料地很好地概括了比訓(xùn)練時(shí)所見(jiàn)的分辨率更高的分辨率，并且以比競(jìng)爭(zhēng)基準(zhǔn)更低的參數(shù)和計(jì)算成本實(shí)現(xiàn)了這一點(diǎn)。

其中，模型中FFC結(jié)構(gòu)如下：

3. 安裝 Lama Cleaner

很遺憾，我的電腦沒(méi)有GPU，具體環(huán)境如下：

Windows 10專業(yè)版

處理器：Intel Core i5-9400 CPU @ 2.90GHz 2.90 GHz

內(nèi)存(RAM)：32.0 GB(31.8 GB可用)

顯卡：Intel UHD Graphics 630

安裝Lama Cleaner最簡(jiǎn)單的方法是通過(guò)pip安裝（支持python 3.7 ~ 3.10）。

關(guān)于GPU安裝，官方說(shuō)明如下：

安裝完成后，可以通過(guò)lama-cleaner命令啟動(dòng)服務(wù)器，第一次使用時(shí)會(huì)下載模型文件（建議確保網(wǎng)絡(luò)暢通）。

GPU啟動(dòng)命令如下：lama-cleaner --model=lama --device=cuda --port=8080

4. 啟動(dòng)

啟動(dòng)命令如下：

工具的使用是基于瀏覽器的，我安裝在本機(jī)，使用默認(rèn)端口8080，打開(kāi)瀏覽器使用如下地址：http://127.0.0.1:8080。

5. 去水印摳圖操作

如下圖所示，從左到右操作，中間圖分兩塊涂抹需要清除的標(biāo)記，最后按下方的橡皮檫，形成最右邊的圖像。

其中，標(biāo)記多塊需要清除點(diǎn)時(shí)，需要使用手動(dòng)修復(fù)模式。默認(rèn)情況下，Lama Cleaner 將在繪制筆劃后運(yùn)行修復(fù)。您可以在設(shè)置中啟用手動(dòng)修復(fù)模式。

6. 其他擦除模型對(duì)比舉例

LDM 與 LaMa 模型擦除效果對(duì)比：

可能得到比 LaMa 更好、更詳細(xì)的結(jié)果
通過(guò)調(diào)整步驟可以達(dá)到時(shí)間和質(zhì)量的平衡
比 LaMa 模型慢得多（3080 12it/s）
需要更多GPU內(nèi)存（512x512 5.8G）

7. 最后

如果要取得好的圖像效果，是需要GPU的。

來(lái)源：小白學(xué)視覺(jué)