Style2paints【AI線稿上色 】

Style2paints【AI線稿上色 】是一款蘇大和港大團隊開發的專業的AI漫畫線稿自動上色工具，可根據用戶上傳的自定義色彩給線稿進行上色。由于檔期限制，我們經常會看到動畫由于制作時間緊迫而出現作畫崩壞的情況。這種工具或許可以幫助我們緩解這樣的情況，可以使用 AI 技術為黑白線稿快速自動上色。

使用示例

谷歌圖片搜索關鍵詞“Anime Sketch”（動漫線稿），結果如下。然后下載第一個結果：

然后給 AI 輸入一些風格圖片，不限制內容，只要顏色比較好看，色域比較寬泛即可。下面是隨便選了9張色彩各不相同的圖片給AI參考：

輸出結果如下：

度盤下載：https://pan.baidu.com/s/15xCm1jRVeHipHkiB3n1vzA

軟件特點

1. 最高準確度

Stylepaints2 的開發者表示其推出的工具有著準確率最高的色彩提示筆，這種被稱為「神經提示筆（neural hint pen）」的工具結合了顏色選擇器和簡單的鋼筆工具。藝術家可以選擇顏色并在線稿的任何部位加入顏色提示。絕大多數業內最佳的神經網絡上色工具都有類似的工具?？v觀目前的所有動漫上色工具（Paintschainer Tanpopo、Satsuki、Canna、Deepcolor、AutoPainter（存疑）），Stylepaints2 的筆工具擁有最高的準確度。在最具挑戰性的情況下，藝術家甚至能在 1024×2048 分辨率的圖畫上使用 3×3 的提示筆控制 13×13 區域的顏色。對于更大的區塊，3×3 像素點的提示甚至可以控制半張畫幅的顏色。這是一個非常具有挑戰性的設計，這也意味著該工具是面向專業用途的（與此同時，其他上色方法的提示筆工具更傾向于嘈雜的提示，對于準確性把握不佳）。

2. 最自然的風格

當提到「自然」的時候，我們的意思是在訓練過程中不加入任何人工制定的規則，如果你熟悉 pix2pix 或 CycleGAN，你就會明白這些經典方法都會加入一些額外的規則以確保生成圖像的高質量。例如，pix2pix（或 HQ）會向學習目標加入一個 l1 損失函數（或一些深度 l1 損失），同時鑒別器接收 [input，training data] 和 [input, fake output] 對。雖然此前的版本中 Stylepaints 使用了這些方法，但新版本中訓練是純粹無監督，且完全無條件的。在訓練時，開發者未加入強制神經網絡為草圖上色的規則，但神經網絡自行從輸入圖片中學習到了上色的方法，這樣的過程讓鑒別器更加難以識別。最終的學習目標與經典的 DCGAN 完全相同，沒有其他任何東西，同時鑒別器也不會收到 pairs。在神經網絡非常深的情況下，這種方式非常難以收斂。

3. 最協調的風格

對我們大多數人來說，繪畫是非常困難的，這也就是為什么我們會比較佩服藝術家。一位優秀藝術家的最重要技能就是為繪畫選擇和諧的色彩。大多數人都不知道在繪畫領域中有十多種藍色，并且雖然這些顏色被稱為「藍色」，但它們之間的差異會對繪畫結果產生巨大的應用。想象一下，如果非專業用戶運行著色軟件，而軟件向用戶展現 20×20=400 的巨大調色板，并向用戶詢問「你需要哪種圖像呢？」我很確定這些非專業用戶將不能選擇最好的顏色。但是這對 STYLE2PAINTS 來說并不是什么問題，因為用戶能上傳參考圖像（或稱為風格圖像），然后用戶能直接在圖像上選擇色彩，神經網絡隨后會根據這些圖像和提示的顏色自動為新圖像上色。這種色彩協調的著色對于非專業人員來說是友好的。在所有的人工智能動漫繪畫智能體中，我們的方法是唯一帶有這種協調特征的模型。

動漫風格遷移

是的，這就是一種動漫風格遷移。我不確定我們是不是第一個做這種遷移，但是我確定如果你需要一種動漫繪畫的遷移方法，你在網上搜一圈后會最終發現我們的 STYLE2PAINTS 是最好的選擇，事實上它也是唯一的選擇。許多來自亞洲的論文表明他們已經能夠遷移動漫繪畫風格，但是如果你仔細查閱他們的論文，你就會發現所謂的新方法其實就是對 VGG 進行調參。因此，下面我們展示了模型的真實情況：

所有基于 ImageNet VGG 的遷移方法在動漫繪畫中性能并不夠優秀。

所有基于 Anime Classifier 的方法也都不夠優秀，因為我們并沒有像 ImageNet 那樣的動漫數據集。如果你在 Illustration2vec 或其它一些動漫分類器上運行一些 gram 矩陣優化器，你能獲得的只有一個完美的 Gaussian Blur Generator，因為所有當前的動漫分類器在特征學習上做得并不好。

因為上面兩條，當前所有基于 gram 矩陣、馬爾科夫隨機場、矩陣范數和深度特征 patchMatch 的方法在動漫上性能都不夠好。

因為上面三條，所有前饋的快速遷移方法在動漫上都不夠優秀。

GAN 也可以做風格遷移，但是我們需要用戶上傳特定的風格，而不是選擇 Monet/VanGogh。