谷歌AI發(fā)布新成果，TF-Ranking：這是一個應用于Learning to Rank、基于TensorFlow的可擴展庫。它提供了一個統(tǒng)一的框架，其中包括一套最先進的Learning to Rank算法，并支持成對或列表丟失函數，多項目評分，排名度量優(yōu)化等等。

排序，是一種適用于搜索引擎、系統(tǒng)推薦以及機器翻譯等的重要操作。

在諸如此類的應用程序中，研究人員經常使用一組名叫Learning to Rank的有監(jiān)督機器學習技術。

在許多情況下，Learning to Rank應用于較大的數據集，在這些場景中，TensorFlow可擴展性是具有優(yōu)勢的。

然而，目前還沒有現成的，可以在TensorFlow中應用Learning to Rank的技術。而且也沒有其他開源庫專門應用大規(guī)模Learning to Rank技術。

谷歌AI發(fā)布了TF-Ranking，這是一個應用于Learning to Rank、基于TensorFlow的可擴展庫。

TF-Ranking

TF-Ranking提供了一個統(tǒng)一的框架，其中包括一套最先進的Learning to Rank算法，并支持成對或列表丟失函數，多項目評分，排名度量優(yōu)化等等。

TF-Ranking速度較快且易于使用，而且還可以創(chuàng)建高質量的排名模型。統(tǒng)一的框架使ML研究人員、從業(yè)者和愛好者能夠在單個庫中評估和選擇一系列不同的排名模型。

此外，谷歌團隊堅信一個有用的開源庫，其關鍵不僅在于提供合理的默認值(sensible default)，還在于授權用戶開發(fā)他們自己的定制模型。因此，團隊提供了靈活的API，用戶可以在API中定義和插入自己定制的損失函數、評分函數和指標。

現有的算法和度量支持

Learning to Rank算法的目標是最小化在項目列表上定義的損失函數，以優(yōu)化任何給定應用程序的列表排序的效用。TF-Ranking支持廣泛的標準pointwise，pairwise和listwise損失函數。這確保了使用TF-Ranking庫的研究人員能夠復制和擴展以前發(fā)布的基線，從業(yè)者可以為他們的應用做出最明智的選擇。

此外，TF-Ranking可以通過嵌入和擴展到數億個訓練實例來處理稀疏特征（如原始文本）。

因此，任何對構建真實世界數據密集型排名系統(tǒng)(如Web搜索或新聞推薦)感興趣的人都可以使用TF-Ranking作為強大，可擴展的解決方案。

經驗評估是任何機器學習或信息檢索研究的重要組成部分。

為了確保與先前工作的兼容性，TF-Ranking支持許多常用的排名指標，包括平均倒數排名(MRR)和歸一化折扣累積收益(NDCG)。

TensorBoard中顯示的訓練步驟(X軸)的NDCG度量(Y軸)的示例。 它顯示了訓練期間指標的總體進度。 可以直接在儀表板上比較不同的方法。 可以根據指標選擇最佳模型。

多項評分

TF-Ranking支持一種新的評分機制，其中多個項目(例如web頁面)可以聯合評分，這是對傳統(tǒng)評分模式的擴展，在傳統(tǒng)的評分模式中，單個項目是獨立評分的。

多項目評分的一個挑戰(zhàn)是很難推斷哪些項目必須分組并在子組中評分。然后，每個項目的分數被累積起來，用于排序。為了讓這些復雜性對用戶透明，TF- Ranking提供了一個List-In-List-Out (LILO) API，將所有這些邏輯包裝在導出的TF模型中。

TF-Ranking庫支持多項目評分體系結構，是傳統(tǒng)單項評分的擴展。

正如谷歌AI在最近的工作中所展示的那樣，多項目評分在公共LETOR基準測試中與RankNet，MART和LambdaMART等最先進的學習級別模型相比具有競爭力。

排名指標優(yōu)化

Learning to Rank一個重要研究挑戰(zhàn)是直接優(yōu)化排名指標(如前面提到的NDCG和MRR)。

這些指標雖然能夠比曲線下面積(Area Under the Curve, AUC)之類的標準分類指標更好地衡量排名系統(tǒng)的性能，但很可惜，它們要么不連續(xù)，要么平坦(flat)。因此，這些指標的標準隨機梯度下降優(yōu)化是有問題的。

谷歌AI提出了一種新的方法，LambdaLoss，它為排序度量優(yōu)化提供了一個有原則的概率框架。

在這個框架中，可以通過期望最大化的過程來設計和優(yōu)化度量驅動的損失函數。TF-Ranking庫集成了直接度量優(yōu)化的最新進展，并提供了LambdaLoss的實現。

無偏(unbiased)Learning to Rank

先前的研究表明，給定一個項目的排序列表，用戶更有可能與前幾個結果交互，而不會考慮它們的相關性。

這一發(fā)現激發(fā)了人們對無偏Learning to Rank的研究興趣，并且基于訓練的實例進行重新加權，開發(fā)了無偏見的評估和幾種無偏見的學習算法。

開始用TF-Ranking吧！

TF-Ranking實現了TensorFlow Estimator接口，通過封裝訓練、評估、預測和導出服務，大大簡化了機器學習編程。

TF-Ranking與豐富的TensorFlow生態(tài)系統(tǒng)完美集成。 如上所述，你可以使用Tensorboard可視化NDCG和MRR等排名指標，以及使用這些指標選擇最佳模型檢查點。 一旦你的模型準備就緒，便可以使用TensorFlow服務，非常容易將其部署到生產中。