基于協(xié)同過濾算法的推薦

（本實驗選用數(shù)據(jù)為真實電商脫敏數(shù)據(jù)，僅用于學習，請勿商用）

數(shù)據(jù)挖掘的一個經(jīng)典案例就是尿布與啤酒的例子。尿布與啤酒看似毫不相關(guān)的兩種產(chǎn)品，但是當超市將兩種產(chǎn)品放到相鄰貨架銷售的時候，會大大提高兩者銷量。很多時候看似不相關(guān)的兩種產(chǎn)品，卻會存在這某種神秘的隱含關(guān)系，獲取這種關(guān)系將會對提高銷售額起到推動作用，然而有時這種關(guān)聯(lián)是很難通過經(jīng)驗分析得到的。這時候我們需要借助數(shù)據(jù)挖掘中的常見算法-協(xié)同過濾來實現(xiàn)。這種算法可以幫助我們挖掘人與人以及商品與商品的關(guān)聯(lián)關(guān)系。

協(xié)同過濾算法是一種基于關(guān)聯(lián)規(guī)則的算法，以購物行為為例。假設(shè)有甲和乙兩名用戶，有a、b、c三款產(chǎn)品。如果甲和乙都購買了a和b這兩種產(chǎn)品，我們可以假定甲和乙有近似的購物品味。當甲購買了產(chǎn)品c而乙還沒有購買c的時候，我們就可以把c也推薦給乙。這是一種典型的user-based情況，就是以user的特性做為一種關(guān)聯(lián)。

一、業(yè)務(wù)場景描述

通過一份7月份前的用戶購物行為數(shù)據(jù)，獲取商品的關(guān)聯(lián)關(guān)系，對用戶7月份之后的購買形成推薦，并評估結(jié)果。比如用戶甲某在7月份之前買了商品A，商品A與B強相關(guān)，我們就在7月份之后推薦了商品B，并探查這次推薦是否命中。

本次實驗選用的是PAI-Studio作為實驗平臺，僅通過拖拽組件就可以快速實現(xiàn)一套基于協(xié)同過濾的推薦系統(tǒng)。本實驗的數(shù)據(jù)和完整業(yè)務(wù)流程已經(jīng)內(nèi)置在了PAI首頁模板，開箱即用：

二、數(shù)據(jù)集介紹

數(shù)據(jù)源：本數(shù)據(jù)源為天池大賽提供數(shù)據(jù)，數(shù)據(jù)按時間分為兩份，分別是7月份之前的購買行為數(shù)據(jù)和7月份之后的。?
具體字段如下：

數(shù)據(jù)截圖：?

三、數(shù)據(jù)探索流程

本次實驗選用的是PAI-Studio作為實驗平臺，僅通過拖拽組件就可以快速實現(xiàn)一套基于協(xié)同過濾的推薦系統(tǒng)。

實驗流程圖：?

1.協(xié)同過濾推薦流程

首先輸入的數(shù)據(jù)源是7月份之前的購物行為數(shù)據(jù)，通過SQL腳本取出用戶的購買行為數(shù)據(jù)，進入?yún)f(xié)同過濾組件，這么做的目的是簡化流程，因為購買行為對這次實驗分析是最有價值的。協(xié)同過濾的組件設(shè)置中把TopN設(shè)置成1，表示每個item返回最相近的item和它的權(quán)重。通過購買行為，分析出哪些商品被同一個user購買的可能性最大。設(shè)置圖如下：

協(xié)同過濾結(jié)果，表示的是商品的關(guān)聯(lián)性，itemid表示目標商品，similarity字段的冒號左側(cè)表示與目標關(guān)聯(lián)性高的商品，右邊表示概率：

比如上圖的第一條，itemid1000和item15584的相似度為0.2747133918，相似度越高表示兩個物品被同時選擇的概率越大。

2.推薦

上述步驟介紹了如何生成強關(guān)聯(lián)商品的對應(yīng)列表，這里使用了比較簡單的推薦規(guī)則，比如用戶甲某在7月份之前買了商品A，商品A與B強相關(guān)，我們就在7月份之后推薦了商品B，并探查這次推薦是否命中。這個步驟是通過下圖實現(xiàn)的：

3.結(jié)果統(tǒng)計

上面是統(tǒng)計模塊，左邊的全表統(tǒng)計展示的是根據(jù)7月份之前的購物行為生成的推薦列表，去重后一共18065條。右邊的統(tǒng)計組件顯示一共命中了90條，命中率0.4%左右。

根據(jù)上文的統(tǒng)計結(jié)果可以看出，本次試驗的推薦效果比較一般，原因在如下幾方面：

1）首先本文只是針對了業(yè)務(wù)場景大致介紹了協(xié)同過濾推薦的用法。很多針對于購物行為推薦的關(guān)鍵點都沒有處理，比如說時間序列，購物行為一定要注意對于時效性的分析，跨度達到幾個月的推薦不會有好的效果。其次沒有注意推薦商品的屬性，本文只考慮了商品的關(guān)聯(lián)性，沒有考慮商品是否為高頻或者是低頻商品，比如說用戶A上個月買了個手機，A下個月就不大會繼續(xù)購買手機，因為手機是低頻消費品。

2）基于關(guān)聯(lián)規(guī)則的推薦很多時候最好是作為最終推薦結(jié)果的補充或者是最基礎(chǔ)的推薦系統(tǒng)，真正想提高準確率還是要依靠機器學習算法訓練模型的方式，具體方法可以參考泛推薦系列的其它文章。