引言

圖像風格遷移（IST）是圖像生成領域的一個熱門研究主題[1]，可應用于城市規(guī)劃、景觀設計、文化藝術等領域。其目的是將X領域中的風景圖像轉移到Y領域。因此，各種IST研究相繼應用于景觀設計[2]。語義分割與 CycleGAN 的結合最近已成為景觀圖像局部風格遷移的主流，旨在轉移景觀圖像中特定對象的風格。Kurzman 等人[3]設計了一種兩階段局部遷移模型，實現(xiàn)了城市街道中真實圖像與地面物體的流行藝術之間的局部風格遷移。Duan 等人[4]使用手工制作的語義分割和 CycleGAN，將城市景觀圖像中交通標志的紋理風格進行遷移。Kim 等人[5]利用 CycleGAN 和語義掩膜，將真實景觀圖像中的對象轉換為動漫風格。但是，CycleGAN用于復雜景觀的多狀態(tài)圖像生成仍存在兩方面的不足。首先，它的圖像上下文感知能力還有待進一步提升。盡管文獻[6]和文獻[7]探索了Vision Transformer通過self -attention捕獲景觀圖像上下文信息的有效性，但該方法參數(shù)量較大，容易過擬合，且難以訓練[8]。其次，其無法針對圖像中不同對象分別進行風格轉換，例如，不同的樹種在不同季節(jié)的風格轉換中有不同的表現(xiàn)。這使得CycleGAN無法很好地應用于復雜景觀圖像的風格遷移和多狀態(tài)的圖像生成。

針對以上兩個方面的問題，本文提出一種基于語義類別風格遷移的復雜景觀的多狀態(tài)圖像生成方法SCST（Semantic Category Style Transfer），根據復雜景觀圖像中不同語義類別的特征，實現(xiàn)對各個語義類別區(qū)域的局域風格遷移。在SCST中，首先通過語義分割確定復雜景觀圖像中各個區(qū)域的語義類別。然后按照各個語義類別所代表對象在目標狀態(tài)下的變化特征，采用改進的具有上下感知的風格遷移模型GCycleGAN對各個語義類別區(qū)域分別進行風格遷移。GCycleGAN通過在CycleGAN的生成器與判別器的主干特征提取網絡引入更輕量的Gated-MLP[9]，降低參數(shù)量和模型復雜度的同時加快訓練收斂速度，通過全局信息與局部信息的融合，提高處理信息的效率和準確性，從而訓練出更加準確的生成模型。最后結合語義分割結果，將風格遷移后的各個區(qū)域融合到一起，得到最終的全局風格遷移的目標狀態(tài)景觀圖像。

本文詳細內容請下載：

http://www.ccf-cncc2011.cn/resource/share/2000006560

作者信息：

桑晨浩，莫路鋒，屠國青

（浙江農林大學 數(shù)學與計算機科學學院，浙江 杭州 311300）