前方高能預(yù)警，非戰(zhàn)斗人士請火速撤離……

今天給大家介紹一個在 GitHub 上一個開源的鑒黃圖像數(shù)據(jù)集，它擁有 158萬的數(shù)據(jù)量，叫做 NSFW data source URLs，目前該項目已收獲 918 star 了。

項目地址：

https://github.com/EBazarov/nsfw_data_source_urls

在 raw_data 文件夾里，可以找到不同的 .txt 格式的文檔，每個文檔都含有一組 URL，以下是關(guān)于該數(shù)據(jù)集的一些統(tǒng)計信息：

159個 不同的類別

158.9331 萬個 URL

下載并清洗后大約有 500GB，或者說有 130 萬張 NSFW 圖像

以下為項目中圖片截圖示例：

注意事項：

1. 建議下載后清洗下數(shù)據(jù)集，例如：

刪除重復(fù)圖片

移動被禁止/刪除掉的圖片（它們有一個特殊的圖像占位符）

找出損壞的數(shù)據(jù)并將其刪除

2. 注意噪聲，一些資源提供了 NSFW 和中性圖像的高度混合數(shù)據(jù)。

3. 該庫還可以幫助檢索 NSFW 圖像，針對中性圖像沒有專用的 URL。

值得一提的是，在該項目之前還有一個類似的開源項目 nsfw_data_scrapper，里面有 22 萬張圖像，同樣也可以用來檢測或訓(xùn)練鑒黃系統(tǒng)。