一篇“4, 4, 3”的論文竟被錄?。窟@屆ICLR評審又出怪事。作者回復(fù)理直氣壯，領(lǐng)域主席似乎一手遮天，三位評審據(jù)理力爭，還有匿名“偵探”調(diào)查貢獻(xiàn)……作者有沒有違反雙盲評審，更重要的是，這篇論文有沒有錄取資格？一起來看。

感謝ICLR，不僅為我們帶來前沿深度學(xué)習(xí)研究成果，更為我們帶來茶余飯后無盡的談資——你猜對了，又有一出關(guān)于論文錄取的好戲在OpenReiew.net上演。

說真的，劇荒的時候，請登錄OpenReiew.net.

事情是這樣的，一篇評分為“4，4，3”的論文 (按理說處于絕對被拒的范疇，滿分是10分)，最終竟被AC一人之令決定錄取，圍觀群眾紛紛表示：

既如此，還要匿名評審干嘛？！

細(xì)看rebuttal更不得了，作者和評審你來我往，簡直不能更精彩：

(評審1讓作者補(bǔ)充引用兩篇現(xiàn)有論文，作者回復(fù)) 感謝評論，我們理解你的感受?！覀儠诙ǜ逯屑由线@兩條引用(不是評審1提到的那兩篇)。如果還剩有空間的話，我們會考慮加上你提到的那兩篇論文中的一篇。

(評審1指出作者關(guān)于某一計(jì)算的理解有誤，此前雙方已就這一點(diǎn)有好過幾輪爭辯，這一次評審1的回復(fù)類似“參考文獻(xiàn)[2]第69頁5.22節(jié)中的定理一可以證明這一點(diǎn)。有關(guān)該理論的證明可參見參考文獻(xiàn)[2]第98頁附錄C.3等等等等”，作者回復(fù))麻煩請用你自己的話說明究竟是為什么。

其他還有：

“感謝評論，但很不幸的是，三位評審員都沒有理解或者忽略了我們這項(xiàng)工作的重點(diǎn)。”

“感謝你的詳細(xì)評論，但我們完全無法接受?！?/p>

Sigh…

是該佩服論文作者有話直說呢，還是該感嘆他們有勇無謀？

一名吃瓜群眾表示，自己一篇“7, 7, 5”的論文都被拒了 (雖然沒什么好奇怪的)，另一個人說，他還發(fā)現(xiàn)一篇“4，5，6”的論文也被錄取了。

不論如何，這屆ICLR真是叫人愈發(fā)看不懂了……

一篇評分“4, 4, 3”然而最終竟被錄取的論文

細(xì)說故事——哦，不，細(xì)說論文之前，我們先來看看這篇論文究竟寫了什么。

論文的題目是《使用幾何方法將目錄樹編碼到詞嵌入中》。

在這篇論文中，作者提出了一種新的方法，將樹狀結(jié)構(gòu)的category信息隱式編碼到詞嵌入中，從而得到所謂的“超維球狀表示” (super-dimensional ball representation)，簡稱n-ball embedding。

該方法具有以下兩個標(biāo)準(zhǔn)：

category之間的從屬關(guān)系應(yīng)隱式地表示為對應(yīng)的n-balls之間的包含關(guān)系；

對category關(guān)系的樹結(jié)構(gòu)進(jìn)行精確編碼。也就是說，能量損失應(yīng)該為零。

作者在論文中寫道，該研究的貢獻(xiàn)如下：

提出了一種構(gòu)造/訓(xùn)練n-balls的新幾何方法，將樹狀結(jié)構(gòu)的范疇關(guān)系編碼為能量損失為零的n-balls之間的包含關(guān)系;

提出了一種新的相似度測量方法，既考慮了n-balls的位置，又考慮了n-balls的大小，與實(shí)驗(yàn)中的余弦相似度相比更加精確；

基于Glove創(chuàng)造了一個新的n-ball embedding基準(zhǔn)數(shù)據(jù)集，從WordNet 3.0中提取目錄樹，可免費(fèi)訪問。

論文還開放了源代碼和數(shù)據(jù)集:

https://github.com/gnodisnait/nball4tree.git

https://github.com/gnodisnait/bp94nball.git

到這里為止似乎沒什么問題。公開代碼和數(shù)據(jù)集原本是很好的舉動，但這也為后面的口水戰(zhàn)埋下了伏筆。

一場意想不到的rebuttal大戰(zhàn)上演了。

三位審稿人“堅(jiān)決拒絕”，領(lǐng)域主席說“可以錄取”

先來看三位評審員對論文的評價。

審稿人1

更新：注意!!! 此文包含與作者相關(guān)帳戶的Github和Google Drive鏈接（請參閱摘要）。我認(rèn)為這是投稿規(guī)則不允許的，不符合標(biāo)準(zhǔn)。為此，我在具體審稿意見中給出“自動拒絕”的意見。

------------------------------------------------

本文提出了一種方法，用于調(diào)整category對象（如單詞）的現(xiàn)有向量嵌入，將其轉(zhuǎn)換為遵循層次結(jié)構(gòu)的球嵌入。每個類別在高維空間中表示為歐幾里得標(biāo)準(zhǔn)球，其中心和半徑可以根據(jù)數(shù)據(jù)實(shí)現(xiàn)自適應(yīng)。接下來，基于分層結(jié)構(gòu)給出對每對球的包含和排除約束。這些約束是通過算法強(qiáng)加上去的。實(shí)證研究部分包括觀察表示與層次結(jié)構(gòu)的一致性，并展示了一組單詞的最近臨域。

從積極的方面來說，本文解決了一個重要問題。具有一定可讀性和條理。在相關(guān)研究部分，可以增補(bǔ)一些代表性的研究，如本意見末的[3,4]。

該論文的主要關(guān)注點(diǎn)是文中提出方法的原創(chuàng)性。使用高維球?qū)哟谓Y(jié)構(gòu)進(jìn)行編碼，并將包含和排除編碼作為對這些球的約束，從建模角度來看，這是一個簡潔有力的想法。然而，這個方法并不新，在本意見末尾列出的[1和2的第5章]中已經(jīng)構(gòu)建了這種方法。

另一個主要問題是關(guān)于嵌入質(zhì)量的評估。經(jīng)驗(yàn)評估不足以評估調(diào)整后嵌入的質(zhì)量。相反，定量評估更關(guān)心的是嵌入是否與給定的層級結(jié)構(gòu)相一致。特別是，文中并沒有足夠的定量證據(jù)表明，所提出的嵌入在語義捕捉或預(yù)測任務(wù)方面的有效性。

應(yīng)當(dāng)注意的是，一方面，在理論上是可以實(shí)現(xiàn)可行解決方案與層級的一致性的（參見例[1]）。3.2節(jié)的第一段似乎表述不清或存在錯誤。文末的索引[2]中給出了基于梯度的問題解決方案的正確表述。

最后，本文使用算法，而非用于構(gòu)建嵌入的學(xué)習(xí)方法，使得該方法與ICLR會議的主題沒有直接關(guān)聯(lián)。

總之，綜上所述，我的意見是拒絕錄取。（本文在匿名化上做得很糟糕，更是應(yīng)予拒稿的有力證據(jù)。）

[1] Mirzazadeh, F., Ravanbakhsh S., DingN., Schuurmans D., "Embeddinginference for structured multilabel prediction", NIPS 2015.

[2] Mirzazadeh, F."Solving AssociationProblems with Convex Co-embedding", PhD thesis, 2017. (Chapter 5)

[3] Vilnis, Luke, and Andrew McCallum."Word representations via gaussian embedding.", ICLR 2015.

[4] Vendrov, I., Kiros, R., Fidler, S.,Urtasun, R. "Order-embeddings of images and language." ICLR 2016.

評分：4 還可以，但不夠好，拒絕

信心：5 審稿人絕對肯定以上評估是正確的，并且非常熟悉相關(guān)文獻(xiàn)

審稿人2

評審意見：本文著重于調(diào)整預(yù)訓(xùn)練詞嵌入，以便通過適當(dāng)?shù)膎-ball封裝來解決上位詞/下位詞關(guān)系。本文建議通過來自Wordnet等資源，為詞嵌入增補(bǔ)信息，并使用3種幾何變換來強(qiáng)制執(zhí)行該封裝。

這樣做的動機(jī)目前來看并不是很清楚，實(shí)驗(yàn)結(jié)果主要是定性的主觀表述，稱通過調(diào)整可以預(yù)測和保持上位詞關(guān)系。由于這項(xiàng)工作依賴于Wordnet的資源，詞匯的覆蓋范圍非常有限，作者在“實(shí)驗(yàn)3：方法2”一節(jié)中對結(jié)果進(jìn)行討論時，不得不從標(biāo)準(zhǔn)語義相似性數(shù)據(jù)集中刪去許多單詞，給文中提出的方法的有用性蒙上了一層陰影。目前尚不清楚這種方法的主要貢獻(xiàn)是什么。

除此之外，該論文難以閱讀，并且文中某些部分（特別是與圖3有關(guān)的部分）在將簡單概念進(jìn)行復(fù)雜化表述。

總的來說，我給出4分的評分，因?yàn)槲闹蟹椒ǖ倪m用范圍有限，因?yàn)樵摲椒ㄒ蕾囉赪ordnet，而且沒有足夠的經(jīng)驗(yàn)證據(jù)證明這種方法的有用性。

評分：4 還可以，但不夠好，拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性。

審稿人3

評審意見：本文提出了用于分類數(shù)據(jù)的N-ball嵌入。N-ball是一對質(zhì)心向量，距中心的半徑代表一個單詞。

主要評價：

本文的缺點(diǎn)是缺乏與其他重要研究的實(shí)驗(yàn)比較。

最近提出的Poincare嵌入和Lorentz模型，在hypernymy嵌入中表現(xiàn)出良好的預(yù)測性能。

實(shí)際上，WordNet的概念是在DAG中構(gòu)建的，最近對結(jié)構(gòu)嵌入的研究可以處理DAG數(shù)據(jù)。目前尚不清楚如何通過擴(kuò)展N-ball嵌入來處理DAT結(jié)構(gòu)。

沒有充分描述相關(guān)工作。

目前尚不清楚為什么N-ball嵌入適用于分層結(jié)構(gòu)。

評分：3 堅(jiān)決拒絕

信心：4 審稿人有信心，但并不能絕對肯定以上評估的正確性

看完上述三位評審人的評價，再來看領(lǐng)域主席的決定。

AC：

審稿意見：作者提供了一種有趣的方法，可以將分層信息注入現(xiàn)有的單詞向量中。這可能有助于處理需要知識庫信息和文本共現(xiàn)計(jì)數(shù)的各種任務(wù)。

盡管審稿人指出了本文的一些缺點(diǎn)，但我認(rèn)為這可能只是沒有將符號信息/集/邏輯/KB與神經(jīng)網(wǎng)絡(luò)聯(lián)系起來造成的問題，因此我建議會議接收本文。

信心：4 AC確信本文可以接收，但不完全確定。

意見：接收

對此你有什么看法？

新智元引用Reddit一位用戶的評價：

Area chair decided he/she knows better.

深度學(xué)習(xí)研究者中的一股清流，還是泥石流？？？

具體的rebuttal在文章開始已經(jīng)說過，這里就不一一描述了，總之絕對精彩，欲知詳情可點(diǎn)擊“閱讀原文”。

現(xiàn)在，由于錄取結(jié)果已定，論文的作者信息也已經(jīng)公開，如此“直言不諱”的一作，究竟是何方神圣？

Tiansi Dong，波恩大學(xué)

論文的第一作者Tiansi Dong博士是德國波恩大學(xué)Bonn-Aachen信息技術(shù)國際中心(B-IT)人工智能基礎(chǔ)研究小組的成員，主要研究領(lǐng)域包括人工智能、深度學(xué)習(xí)和知識圖譜。

Tiansi Dong博士是一位高產(chǎn)的作者，2018年以來已在ICLR、AAAI、EMNLP、COLING等AI、NLP的重要會議上發(fā)表5篇論文。

Tiansi Dong的最近論文

該論文的其他幾位作者Olaf Cremers、Chrisitan Bauckhage、Armin B. Cremers、Daniel Speicher和Joerg Zimmermann，是Tiansi Dong在波恩大學(xué)的同事，另外兩位作者Hailong Jin和Juanzi Li則來自清華大學(xué)。

雙盲評審意外盲點(diǎn)：Github代碼庫貢獻(xiàn)用戶名“暴露”論文一作

當(dāng)然，關(guān)于這篇論文的評審和錄取結(jié)果已經(jīng)在Reddit引發(fā)了熱議。

除了“4, 4, 3”還能夠被錄取，Reddit上的爭論重點(diǎn)在于，論文作者公開代碼庫時，GitHub上傳貢獻(xiàn)者的用戶名“gnodisnait”，正是一作“Tiansi Dong”反過來寫的結(jié)果。

這算違背論文提交匿名機(jī)制了嗎？

Reddit用戶Visible_Layer評論說，

我覺得關(guān)鍵是作者給出了“非匿名”作者的代碼鏈接。把文章發(fā)到arxiv上沒問題，從文章里給出arxiv的鏈接就有問題了。

關(guān)鍵是，要確保“誠實(shí)”的審稿人通過論文及文中的鏈接資源無法獲知文章的作者。

Reddit用戶geraltofrivia783：

但是，從“誠實(shí)”的審稿人到“好奇”的審稿人之間，其實(shí)只隔了一個谷歌搜索而已。而審稿人是否使用谷歌搜索不應(yīng)該對其給出評分產(chǎn)生影響。

不要誤會，我完全支持雙盲審稿。事實(shí)上，我最近向NAACL提交了一份意見書，我發(fā)現(xiàn)他們關(guān)于匿名化政策就很好。

? 他們說，如果你要將提交在arXiv上的論文重新投稿，則該文章在arXiv上的提交日期必須在NAACL摘要截止日期至少前一個月。我認(rèn)為，這仍然留下了提交給NAACL論文和arXiv上論文作者存在差異的可能性。（ICLR可能也有類似的規(guī)定）

? 現(xiàn)在有很多匿名上傳代碼和數(shù)據(jù)的方法。這一點(diǎn)很有幫助，因?yàn)椴挥迷谀涿撐陌姹局刑砑?github/gdrive的鏈接了。

Visible_Layer：

所以說這篇文章才違反了匿名政策啊，畢竟有許多方法可以匿名上傳代碼和相關(guān)材料（幾乎不用費(fèi)什么事?。髡哌€是上傳到了自己的個人賬戶。

無論一項(xiàng)政策的“公平”程度如何，都是政策，而作者確實(shí)違反了政策。

說到這里，新智元相信你也已經(jīng)看累了，就讓我們用Reddit用戶DeusExML的評論收尾吧。

看上去這個審稿流程簡直就是人際溝通技能的一場災(zāi)難級展示！

一開始作者信誓旦旦地說Github資源庫是匿名的，結(jié)果就被人石錘了，原來這個“匿名”資源庫用的是作者自己的真名，之后作者是這么回復(fù)的：“你(匿名評論人)偵查工作的成果(指Github庫貢獻(xiàn)者用戶名)是幾個對本研究沒什么署名要求的人，可能是來自本校或合作院校的碩士生，主要是幫著收集數(shù)據(jù)?！?/p>

哈哈，你看露餡了吧。雖然你們干了活，但我們根本沒打算讓你們署名??！