別再怕圖片搜索結(jié)果牛頭不對馬嘴了，你可以試試這個 精準圖片搜索，來自 OpenAI最新的技術(shù) CLIP。

只需一句 “大白話”描述，便能給出想要的圖片。

例如輸入：

The word love written on the wall

就會得到這樣的結(jié)果：

可以說是相當?shù)?精準了！這就是今天在Reddit上爆火的一個項目。

這個項目利用到的，便是 OpenAI前不久頻頻刷屏的DALL·E 中的核心模塊—— CLIP，一個負責重排序 （rerank）的模型。

這個項目使用谷歌Colab Notebook，而且在線、免費，包含200萬圖片數(shù)據(jù)集，最重要的是效果還非常的精準。

不禁引得網(wǎng)友直呼“ Amazing”。

簡單幾步，“大白話”在線精準搜圖

這個項目之所以如此火爆， 操作簡單是很重要的一個原因之一。

首先要做的，就是點開該項目在Colab Notebook中的地址 （見文末鏈接），登陸自己的賬號。

至于環(huán)境配置、包或庫的調(diào)用，這個項目非常貼心的已經(jīng)做好了，只需要依次點擊cell左側(cè)的小三角，等待運行完成即可。

最后，來到包含如下代碼的cell：

search_query = “Two dogs playing inthe snow”

點擊運行這個cell，便可得到搜索圖片的結(jié)果，例如：

當然，這個程序似乎很懂人，若是輸入“當你的代碼跑通時的情緒”：

The feeling when your program finallyworks

得到的結(jié)果，和正常人想象中的應該是一致的：

為什么CLIP搜圖能如此精準？

OpenAI前不久推出的DALL·E，主要能實現(xiàn)的功能就是 可以按照文字描述、生成對應圖片。

而其呈現(xiàn)給我們的最終作品，其實是它生成大量圖片中的一部分。

在中間過程中，其實也有排名、打分的帥選過程。

這部分的任務，便是由 CLIP來完成：

越是它看得懂、匹配度最高的作品，分數(shù)就會越高，排名也會越靠前。

這種結(jié)構(gòu)，有點像是利用生成對抗文本，以合成圖像的 GAN。

不過，相比于利用GAN擴大圖像分辨率、匹配圖像-文本特征等方法，CLIP則選擇了直接對輸出進行排名。

據(jù)研究人員表示，CLIP網(wǎng)絡的 最大意義在于，它緩解了深度學習在視覺任務中，最大的兩個問題。

首先，它 降低了深度學習需要的數(shù)據(jù)標注量。

相比于手動在ImageNet上，用文字描述1400萬張圖像，CLIP直接從網(wǎng)上已有的“文字描述圖像”數(shù)據(jù)中進行學習。

此外，CLIP還能“身兼多職”，在各種數(shù)據(jù)集上的表現(xiàn)都很好 （包括沒見過的數(shù)據(jù)集）。

但此前的大部分視覺神經(jīng)網(wǎng)絡，只能在訓練的數(shù)據(jù)集上有不錯的表現(xiàn)。

例如，CLIP與ResNet101相比，在各項數(shù)據(jù)集上都有不錯的檢測精度，然而ResNet101在除了ImageNet以外的檢測精度上，表現(xiàn)都不太好。

具體來說，CLIP用到了零樣本學習 （zero-shot learning）、自然語言理解和多模態(tài)學習等技術(shù)，來完成圖像的理解。

例如，描述一只斑馬，可以用“馬的輪廓+虎的皮毛+熊貓的黑白”。這樣，網(wǎng)絡就能從沒見過的數(shù)據(jù)中，找出“斑馬”的圖像。

最后，CLIP將文本和圖像理解結(jié)合起來，預測哪些圖像，與數(shù)據(jù)集中的哪些文本能完成最好的配對。

網(wǎng)友：機器人（bot）可能不太高興

在驚嘆CLIP用“大白話”搜索圖片效果之余，一位Reddit網(wǎng)友還發(fā)現(xiàn)了一個比較有意思的搜索結(jié)果。

他在文本描述的代碼部分輸入：

What image best represents how you feel right now？

這句話在我們?nèi)祟愌壑?，應當是詢問AI的語氣了，然后出來的圖片結(jié)果是這樣的：

還有這樣的：

嗯，看來是被“玩多了”，AI寶寶有點小脾氣了。