作者：京東物流 蘇裕焜

一、引言

在配送需求不斷增長的背景下，個人配送服務(wù)的大規(guī)模眾包化將對配送市場產(chǎn)生重大影響，且眾包定價涉及要素較多；這些變化意味著我們的營業(yè)部需要進(jìn)行更精細(xì)化的定價管理，以適應(yīng)眾包人員市場。與自營人員不同，眾包騎手的服務(wù)質(zhì)量受到當(dāng)?shù)禺?dāng)時的人員可用性和成本波動的影響。為了提高騎手服務(wù)的攬派效率，降低整體運(yùn)營經(jīng)營成本，如何動態(tài)定價成為一個可考慮的選擇。通過動態(tài)定價，可以一定程度的幫助配送站點(diǎn)通過響應(yīng)配送需求的變化來最大化收入并減少人員短缺；

在日常配送中，動態(tài)定價的優(yōu)勢顯而易見。然而，在高峰時段或偏遠(yuǎn)地區(qū)，臨時性的眾包騎手服務(wù)比全職騎手更復(fù)雜，需要更精細(xì)的規(guī)劃。價格的不確定性可能增加規(guī)劃和配送的難度。然而，如果眾包騎手可以提前儲備，那么報價也可以提前規(guī)劃并完成鎖定。這樣，配送站點(diǎn)可以規(guī)劃整個運(yùn)營周期，并明確騎手服務(wù)的成本。這也是從過往一些營銷補(bǔ)貼案例中，對于券種選擇，觸達(dá)人員分析的一些思考，只是眾包的定價更強(qiáng)調(diào)周期性以及地區(qū)性，因此僅作為探索；

二、 MDP模型用于動態(tài)定價

站點(diǎn)眾包騎手的定價主要是基于路區(qū)難度系數(shù)，歷史單均等因素對未來的預(yù)測單量進(jìn)行順序定價決策。因此，馬爾可夫決策過程（MDP）是可以作為一個基礎(chǔ)模型。MDP是其他動態(tài)定價工作的常用模型，尤其是當(dāng)與強(qiáng)化學(xué)習(xí)結(jié)合時，如一些經(jīng)典的充電樁分配問題。在這些案例中，狀態(tài)空間盡可能多地構(gòu)建狀態(tài)變量，并從數(shù)據(jù)中學(xué)習(xí)定價策略。然而，由于訓(xùn)練模型需要大量的計(jì)算資源來訓(xùn)練歷史每天的運(yùn)單數(shù)據(jù)與計(jì)費(fèi)數(shù)據(jù)，強(qiáng)化學(xué)習(xí)的優(yōu)先級會較低。在此選擇一些規(guī)則疊加聚類模型能更好的幫助我們進(jìn)行歷史數(shù)據(jù)特征選擇和模型訓(xùn)練。最后，可以參考其余案例使用泊松過程來模擬每個周期內(nèi)單量需求的情況。通過將泊松過程應(yīng)用于我們的離散時間模型在線動態(tài)定價中，并且可以定義為一種離散化誤差；

如圖所示，可以拆解為這幾步：

資源矩陣：在眾包騎手定價中，資源矩陣可以表示為不同時間段內(nèi)可用的騎手資源。

產(chǎn)品定義：產(chǎn)品可以定義為特定時間段內(nèi)的騎手服務(wù)組合。例如，產(chǎn)品 [1, 1, 0] 可以表示在三個時間段中的第一個和第二個時間段內(nèi)提供騎手服務(wù)。

請求到達(dá)和預(yù)算：站點(diǎn)在不同時間提出對騎手服務(wù)的請求/需求，并提供他們愿意支付的報價預(yù)算（b1 到 b7）。

定價行動：營業(yè)部根據(jù)當(dāng)前的騎手可用性和市場需求，采取動態(tài)定價策略（a1 到 a7）。每個定價決定都是基于當(dāng)前資源狀態(tài)和預(yù)期需求。

接受與獎勵：當(dāng)客戶接受報價（即，當(dāng)他們的預(yù)算 bi 大于或等于定價 ai 時，用綠色的 ? 表示），營業(yè)部獲得一個獎勵 ri。這可以是收入或其他績效指標(biāo)。同時，騎手資源的可用性根據(jù)所售產(chǎn)品的需求而減少。

資源管理：營業(yè)部需要持續(xù)監(jiān)控和調(diào)整騎手的分配，以確保在滿足需求的同時最大化收入。這包括在高需求時段提高價格，或在低需求時段進(jìn)行調(diào)價處理。

1. 眾包動態(tài)定價問題描述

眾包騎手服務(wù)的動態(tài)定價涉及為不同的配送產(chǎn)品（計(jì)費(fèi)類型）在線設(shè)置最優(yōu)或接近最優(yōu)的價格，因?yàn)檎军c(diǎn)下不同路區(qū)、不同地址導(dǎo)致的報價都不盡相同。我們的配送站點(diǎn)將其資源——一組配送站的配送能力——組合成提供給客戶的產(chǎn)品，例如小時達(dá)等。 同樣的，對于不同的配送產(chǎn)品，公司內(nèi)部的計(jì)費(fèi)形式和計(jì)費(fèi)價格都不盡相同，需要我們更精準(zhǔn)更合理的進(jìn)行資源分配；

由于對不同的配送產(chǎn)品的需求事先是未知的，但我們擁有關(guān)于攬派送的歷史數(shù)據(jù)、未來單量的一個粗粒度的預(yù)測數(shù)據(jù)以及不同時間段下單均成本變化數(shù)據(jù)。我們的目標(biāo)是以一種方式可以定價每個到達(dá)該站點(diǎn)的攬派產(chǎn)品請求，以最大化目標(biāo)函數(shù)，同時考慮需求的不確定性（季節(jié)性，大促活動等）。

那么在定價策略中，騎手和站點(diǎn)分別對應(yīng)供應(yīng)方和需求方的不同角色：

騎手（供應(yīng)方）：騎手是提供服務(wù)的主體，因此他們代表供應(yīng)方。他們的可用性、工作時間、以及他們愿意接受的報酬水平都是供應(yīng)方的關(guān)鍵因素。騎手的數(shù)量和他們的工作時間限制了站點(diǎn)能夠提供的服務(wù)數(shù)量。

站點(diǎn)（需求方）：站點(diǎn)需要管理和激勵騎手，以滿足客戶的需求，因此在某種程度上站點(diǎn)也可以被視為需求方。站點(diǎn)需要制定價格策略來吸引足夠的騎手，同時也要考慮客戶的需求和支付意愿。站點(diǎn)通過定價策略來平衡騎手的供應(yīng)和客戶的需求。

問題的供應(yīng)方由一組 ( n ) 個資源組成，這些資源可以組合成 ( m ) 個可供出售的配送產(chǎn)品。每個產(chǎn)品由一個向量

? 表示，其中的元素規(guī)定了產(chǎn)品中使用的各個資源的數(shù)量。這些產(chǎn)品的可用性受到資源初始容量 (?) 和不同資源銷售期長度 (?) 的限制，這些長度決定了每個資源及其所在產(chǎn)品在何時之后不再可售（表示騎手在特定時間段內(nèi)可用的時間窗口。在此時間之后，騎手可能不再可用，類似于資源過期。）。

問題的需求方通過一個非齊次復(fù)合泊松計(jì)數(shù)過程 (

?) 來建模，該過程模擬了不同時刻對于不同產(chǎn)品請求的到達(dá)，以及不同產(chǎn)品的有限內(nèi)部客戶估值的分布 (?)。即站點(diǎn)需要在騎手的可用性和成本之間找到平衡。

2. MDP模型

在描述了眾包動態(tài)定價問題后，我們將嘗試開發(fā)一個馬爾可夫決策過程（MDP）模型，以確定定價策略 (

?)。定價策略是一個映射，它將價格 (a) 分配給站點(diǎn)-時間對 (?)，并結(jié)合騎手資源的當(dāng)前可用和計(jì)劃中的未來容量 (c)。

在我們的MDP中，定義為一個五元組 ((S, T, R, A, s_0))，騎手從某個初始狀態(tài)

? 開始。每個狀態(tài)捕捉當(dāng)前的時間步、正在請求的站點(diǎn)以及當(dāng)前可用的騎手?jǐn)?shù)量。騎手為請求的站點(diǎn)提供一個價格 (?) ，采取一個行動，導(dǎo)致轉(zhuǎn)移到一個新狀態(tài) (?)。然而，轉(zhuǎn)移并不是確定性的，因?yàn)樯胁磺宄T手是否會接受或拒絕價格以及下一個站點(diǎn)請求是什么。通過將隨機(jī)需求過程 (?) 和騎手內(nèi)估值的分布 (?) 擬合到歷史數(shù)據(jù)，我們可以估計(jì)轉(zhuǎn)移概率 (?，該概率決定了在狀態(tài) (s) 下采取行動 (a) 時達(dá)到狀態(tài) (s') 的可能性。狀態(tài)之間的轉(zhuǎn)移還會為騎手帶來由函數(shù) (R(s, a, s')) 決定的獎勵。

從資料中查詢到的關(guān)于電動汽車充電動態(tài)定價的馬爾可夫決策過程（MDP）狀態(tài)的示意圖。該圖展示了資源在其銷售期結(jié)束后的過期情況（容量和產(chǎn)品向量中的灰色部分）。藍(lán)色方塊表示MDP狀態(tài)。在時間步 (t)，充電站的容量通過容量向量 (c_t) 表示。向量的元素代表相應(yīng)時間段（綠色方塊中的時間范圍）內(nèi)的可用充電容量。從上一個時間步開始到達(dá)的可能充電會話預(yù)約請求由向量 (p_t) 表示，其中1表示請求的時間段?；谌齻€狀態(tài)變量 (c_t)、(t)、(p_t)，定價策略提供一個動作 (a)，即充電價格，用戶可以接受（底部的前兩個狀態(tài)）或拒絕（右側(cè)的狀態(tài)）。然后狀態(tài)轉(zhuǎn)移到下一個時間步（轉(zhuǎn)移函數(shù)的詳細(xì)信息在圖4中說明）。接受的充電請求會導(dǎo)致容量值減少。下一個充電會話預(yù)約被輸入到新狀態(tài)中。注意，時間步的分辨率必須比充電時間段更精細(xì)?；疑@示了關(guān)于充電容量和會話向量 (c_t) 和 (p_t) 的過去信息。

而如果我們的項(xiàng)目需要進(jìn)行相關(guān)的框架復(fù)用，可以類比騎手資源在其服務(wù)期結(jié)束后的過期情況（在容量和任務(wù)向量中的灰色部分）。藍(lán)色方塊表示MDP狀態(tài)。

在時間步 (t)，騎手的可用數(shù)量通過容量向量 (c_t) 表示。向量的元素代表相應(yīng)時間段內(nèi)可用的騎手?jǐn)?shù)量。從上一個時間步開始到達(dá)的可能訂單請求由向量 (p_t) 表示，其中1表示請求的時間段。

基于三個狀態(tài)變量 (c_t)、(t)、(p_t)，定價策略提供一個動作 (a)，即服務(wù)價格，用戶可以選擇接受（底部的前兩個狀態(tài)）或拒絕（右側(cè)的狀態(tài)）。然后狀態(tài)轉(zhuǎn)移到下一個時間步（轉(zhuǎn)移函數(shù)的詳細(xì)信息可以通過類似的圖進(jìn)行說明）。接受的訂單請求會導(dǎo)致可用騎手?jǐn)?shù)量減少。下一個訂單請求被輸入到新狀態(tài)中。

在調(diào)整后的框架下：

容量向量 (c_t)：表示在不同時間段內(nèi)的可用騎手?jǐn)?shù)量。

訂單請求向量 (p_t)：表示在不同時間段內(nèi)的訂單請求情況。

定價策略 (a)：根據(jù)當(dāng)前狀態(tài)決定的服務(wù)價格。

狀態(tài)轉(zhuǎn)移：訂單被接受后，騎手的可用數(shù)量會減少，未被接受的訂單則不影響騎手?jǐn)?shù)量。

2.1 狀態(tài)空間

眾包項(xiàng)目中，MDP的狀態(tài)空間 (S) 由狀態(tài) (s = (c, t, p)) 組成。這里，(c) 表示當(dāng)前時刻可用的騎手資源數(shù)量，(t) 是離散化的時間步，(p) 是客戶在該時間步請求的產(chǎn)品類型。通過將整個服務(wù)時間段（0, max(T)）離散化為 (k) 個時間步，我們確保狀態(tài)空間是有限的。雖然可以使用連續(xù)時間MDP，但這會增加問題的復(fù)雜性，并使解決方案更難以實(shí)現(xiàn)?？蛻粽埱蟮竭_(dá)時間是連續(xù)的，但在我們的模型中被視為離散事件。我們假設(shè)在相似時間到達(dá)的客戶請求表現(xiàn)出相似的行為，即需求隨時間以分段連續(xù)的方式變化，具有有限的不連續(xù)性。

2.2 動作空間

MDP的動作空間 (A) 是騎手可以提供給客戶的可能價格集合。雖然理論上價格集合可以是連續(xù)的，但在實(shí)踐中，我們假設(shè)價格是一個有限集合。這種離散化反映了大多數(shù)服務(wù)提供商在定價時的做法。特別地，有一個特殊的價格 (a = infty)，表示拒絕動作，因?yàn)闆]有客戶會接受無限高的價格。當(dāng)騎手資源不足以滿足請求時，采用此動作。

2.3 獎勵函數(shù)

MDP的獎勵函數(shù) (

?) 確定了通過采取動作 (a) 從 (s_t) 轉(zhuǎn)移到 (s_{t+1}) 所獲得的獎勵。若目標(biāo)是最大化收入，則獎勵為提供給客戶的價格。當(dāng)客戶接受報價時，獎勵為動作 (a) 的值，否則為0。成功的交易意味著騎手資源從 (c) 減少到 (c - p)。

2.4 轉(zhuǎn)移函數(shù)

轉(zhuǎn)移函數(shù) (

?) 是MDP模型中最復(fù)雜的部分，它決定了采取動作 (a) 后系統(tǒng)如何從狀態(tài) (s_t) 轉(zhuǎn)移到 (s_{t+1})。此函數(shù)由客戶請求的到達(dá)過程 (D(t)) 和客戶對產(chǎn)品的內(nèi)部估值分布 (?) 決定。在狀態(tài) (s_t = (c, p)) 中，騎手為客戶請求的產(chǎn)品 (p) 選擇一個價格 (a)?？蛻艚邮軋髢r的概率由估值分布 (?) 的補(bǔ)充累積分布函數(shù)? 決定。

客戶請求的到達(dá)過程 (D(t)) 基于復(fù)合泊松計(jì)數(shù)過程 (

?)，假設(shè)客戶到達(dá)時間具有無記憶性。我們將泊松過程離散化為多類伯努利過程 (D(t))，在每個時間步最多允許一個產(chǎn)品請求。通過選擇適當(dāng)?shù)臅r間步數(shù) (k)，確保離散化過程 (D(t)) 能夠很好地近似泊松過程 (?)。

三. MDP模型的離散需求過程

我們嘗試使用了一個離散需求過程來模擬每個客戶請求的泊松到達(dá)過程。

離散需求過程的定義：

假設(shè)整個服務(wù)時間段 ((0, T)) 被縮放為單位時間段 ((0, 1))，這可以通過簡單的時間線重新縮放實(shí)現(xiàn)。

對于每種客戶請求的產(chǎn)品 (p in P)，我們假設(shè)有一個泊松計(jì)數(shù)過程 (N_p(tau))，其到達(dá)率為 (lambda_p)，用于生成該產(chǎn)品的請求到達(dá)時間。

所有產(chǎn)品請求的到達(dá)時間可以被視為一個復(fù)合泊松過程 (N(tau))，其強(qiáng)度為 (lambda = sum_{p in P} lambda_p)。

離散化的必要性：

因?yàn)闀r間被離散化為 (k) 個時間步，我們需要用離散的伯努利過程來逼近泊松過程的到達(dá)。

伯努利過程是一系列伯努利試驗(yàn)，定義為 (k) 次試驗(yàn)和每次試驗(yàn)中任何請求到達(dá)的概率 (p)。

這種逼近基于泊松過程是通過保持 (kp = lambda) 不變并讓 (k to +infty) 的伯努利過程序列的極限。

單個產(chǎn)品請求的分配：

我們可以通過根據(jù)概率分配產(chǎn)品索引來重建單個產(chǎn)品的到達(dá)過程。 在伯努利過程中，可以通過采樣離散分布來將到達(dá)分配給產(chǎn)品類型。

逼近質(zhì)量取決于將連續(xù)服務(wù)時間段 ((0, 1)) 劃分為 (k) 個時間步的值 (k)。

離散需求過程的期望請求數(shù)量與泊松過程的期望到達(dá)數(shù)量在((0, 1))區(qū)間內(nèi)相匹配，因此在這個指標(biāo)上兩者沒有差異。

以下是模擬的偽代碼，供參考

# 輸入?yún)?shù)
stations = [s1, s2, ..., sn]  # 站點(diǎn)集合
riders = [r1, r2, ..., rm]  # 騎手集合
products = [p1, p2, ..., pk]  # 產(chǎn)品集合
zones = [z1, z2, ..., zl]  # 路區(qū)集合
lambda_p = [λ1, λ2, ..., λk]  # 各產(chǎn)品的到達(dá)率
historical_prices = {...}  # 歷史報價數(shù)據(jù)
historical_volumes = {...}  # 歷史單量數(shù)據(jù)
predicted_volumes = {...}  # 預(yù)測單量數(shù)據(jù)
pricing_types = ["fixed", "dynamic", "promotional"]  # 計(jì)費(fèi)類型

# 時間步設(shè)置
T = 1  # 單位時間段
k = 100  # 時間步數(shù)

# 初始化請求到達(dá)矩陣
requests = [[[[0 for _ in range(k)] for _ in range(len(zones))] for _ in range(len(products))] for _ in range(len(stations))]

# 模擬請求到達(dá)過程
for t in range(k):
    for station in stations:
        for product_index, product in enumerate(products):
            # 預(yù)測到達(dá)率調(diào)整
            adjusted_lambda = adjust_lambda(lambda_p[product_index], historical_volumes, predicted_volumes, station, product)

            # 計(jì)算每個時間步的到達(dá)概率
            p = adjusted_lambda / k

            # 在當(dāng)前時間步內(nèi)是否有請求到達(dá)
            if random_bernoulli(p):
                # 確定請求的路區(qū)
                zone_index = sample_zone_distribution(zones, historical_volumes, station, product)

                # 增加對應(yīng)產(chǎn)品和路區(qū)的請求計(jì)數(shù)
                requests[stations.index(station)][product_index][zone_index][t] += 1

# 動態(tài)定價策略
def dynamic_pricing(station, product, zone, time_step):
    # 使用歷史報價和單量調(diào)整價格
    base_price = historical_prices[(station, product, zone)]
    demand_factor = calculate_demand_factor(historical_volumes, predicted_volumes, station, product, zone, time_step)
    
    # 定價策略：基于歷史數(shù)據(jù)和當(dāng)前需求
    if pricing_types[product] == "dynamic":
        price = base_price * (1 + demand_factor)
    elif pricing_types[product] == "promotional":
        price = base_price * (1 - 0.1)  # 例如促銷打九折
    else:  # fixed
        price = base_price
    
    return price

# 輔助函數(shù)：伯努利試驗(yàn)
def random_bernoulli(probability):
    return random.uniform(0, 1) < probability

# 輔助函數(shù)：從路區(qū)分布中采樣
def sample_zone_distribution(zones, historical_volumes, station, product):
    # 根據(jù)歷史單量在不同路區(qū)的分布進(jìn)行采樣
    zone_distribution = calculate_zone_distribution(historical_volumes, station, product)
    random_value = random.uniform(0, 1)
    cumulative_sum = 0
    for index, probability in enumerate(zone_distribution):
        cumulative_sum += probability
        if random_value < cumulative_sum:
            return index
    return len(zones) - 1  # 返回最后一個索引作為默認(rèn)

# 輔助函數(shù)：調(diào)整到達(dá)率
def adjust_lambda(base_lambda, historical_volumes, predicted_volumes, station, product):
    # 根據(jù)歷史和預(yù)測數(shù)據(jù)調(diào)整到達(dá)率
    adjustment_factor = predicted_volumes[(station, product)] / historical_volumes[(station, product)]
    return base_lambda * adjustment_factor

# 輸出請求到達(dá)矩陣和價格策略
print(requests)
for station in stations:
    for product in products:
        for zone in zones:
            for t in range(k):
                price = dynamic_pricing(station, product, zone, t)
                print(f"Price for {station}, {product}, {zone} at time {t}: {price}")

四. 使用蒙特卡羅樹搜索（MCTS）

蒙特卡羅樹搜索（Monte Carlo Tree Search, MCTS）是一種用于決策過程的啟發(fā)式搜索算法，廣泛應(yīng)用于博弈論和其他復(fù)雜決策問題。MCTS通過隨機(jī)模擬來探索可能的決策路徑，逐步構(gòu)建決策樹，以找到最優(yōu)策略。以下是MCTS的基本組成部分和工作原理：

選擇（Selection）:

從根節(jié)點(diǎn)開始，使用選擇策略（如UCB1，Upper Confidence Bound for Trees）在樹中選擇一個子節(jié)點(diǎn)，直到到達(dá)一個未完全擴(kuò)展的節(jié)點(diǎn)。

UCB1策略通過平衡探索（探索不太確定的節(jié)點(diǎn)）和利用（利用當(dāng)前已知最優(yōu)的節(jié)點(diǎn)）來選擇節(jié)點(diǎn)。

擴(kuò)展（Expansion）:

如果選擇的節(jié)點(diǎn)不是終止?fàn)顟B(tài)且可以擴(kuò)展，則添加一個或多個子節(jié)點(diǎn)。每個子節(jié)點(diǎn)表示一個可能的動作或狀態(tài)。

仿真（Simulation/Rollout）:

從擴(kuò)展的節(jié)點(diǎn)開始，進(jìn)行隨機(jī)模擬直到達(dá)到終止?fàn)顟B(tài)。這個過程通常稱為“rollout”。

在仿真過程中，隨機(jī)選擇動作來模擬未來的可能路徑，以估計(jì)該路徑的潛在獎勵。

回溯（Backpropagation）:

將仿真得到的獎勵回溯更新到經(jīng)過的每個節(jié)點(diǎn)。更新節(jié)點(diǎn)的統(tǒng)計(jì)信息，如訪問次數(shù)和平均獎勵。

這種更新有助于逐漸提高對不同路徑的估計(jì)準(zhǔn)確性。

在一些復(fù)雜系統(tǒng)中，MDP可以用于建模和提供初步策略，而MCTS可以在實(shí)時操作中進(jìn)行具體的決策優(yōu)化和調(diào)整。這種結(jié)合可以充分利用兩者的優(yōu)勢，適應(yīng)不同的需求和約束。

下面是探索過程中的脫敏偽代碼：

function MCTS(root_state, iterations):
    root_node = CreateNode(state=root_state)

    for i from 1 to iterations do:
        # Selection
        node = root_node
        while node is fully expanded and not terminal(node) do:
            node = BestChild(node, exploration_param)

        # Expansion
        if not terminal(node) then:
            node = Expand(node)

        # Simulation
        reward = Simulate(node.state)

        # Backpropagation
        Backpropagate(node, reward)

    return BestAction(root_node)

function CreateNode(state):
    return Node(state=state, parent=None, children=[], visits=0, total_reward=0)

function BestChild(node, exploration_param):
    best_score = -Infinity
    best_child = None
    for child in node.children do:
        exploit = child.total_reward / child.visits
        explore = exploration_param * sqrt(log(node.visits) / child.visits)
        score = exploit + explore
        if score > best_score then:
            best_score = score
            best_child = child
    return best_child

function Expand(node):
    action = UntriedAction(node)
    next_state, reward = SimulateAction(node.state, action)
    child_node = CreateNode(state=next_state)
    child_node.parent = node
    node.children.append(child_node)
    return child_node

function Simulate(state):
    current_state = state
    total_reward = 0
    while not terminal(current_state) do:
        action = RandomAction(current_state)
        next_state, reward = SimulateAction(current_state, action)
        total_reward += reward
        current_state = next_state
    return total_reward

function Backpropagate(node, reward):
    while node is not None do:
        node.visits += 1
        node.total_reward += reward
        node = node.parent

function BestAction(root_node):
    best_action = None
    best_value = -Infinity
    for child in root_node.children do:
        value = child.total_reward / child.visits
        if value > best_value then:
            best_value = value
            best_action = child.action
    return best_action

function SimulateAction(state, action):
    # Simulate the effect of an action in the environment
    next_state = TransitionFunction(state, action)
    reward = RewardFunction(state, action, next_state)
    return next_state, reward

function UntriedAction(node):
    # Return an action that has not been tried yet from this node
    # This function should consider the set of possible actions and filter out those already tried
    return SomeUntriedAction(node.state)

function RandomAction(state):
    # Return a random action from the set of possible actions for the given state
    return SomeRandomAction(state)

function terminal(state):
    # Determine if the state is a terminal state
    return IsTerminalState(state)

五. 結(jié)論說明

我們嘗試描述了一種基于馬爾可夫決策過程（MDP）的動態(tài)定價模型，用于優(yōu)化眾包騎手的服務(wù)分配和定價策略。隨著眾包配送服務(wù)的快速增長，這種模型可能成為未來物流和配送系統(tǒng)的重要組成部分。該模型允許眾包平臺在為客戶提供靈活且高效的配送服務(wù)的同時，最大化其收入。

為了解決我們的MDP模型，還嘗試使用蒙特卡羅樹搜索（MCTS）啟發(fā)式算法來優(yōu)化定價決策。在實(shí)際項(xiàng)目中還需要明確定價算法是否優(yōu)于固定費(fèi)率基線，并且在可以獲得該基線的情況下，與最優(yōu)價值迭代（VI）基線是否具有競爭力。

在一些別的定價項(xiàng)目中，會看到有同學(xué)采取因果推斷的方式進(jìn)行定價選擇、價格補(bǔ)貼，這可能取決于我們的具體目標(biāo)和問題特性。如果目標(biāo)是動態(tài)地優(yōu)化定價策略或資源分配策略，以便在不斷變化的環(huán)境中最大化收益（如利潤、效率或客戶滿意度），MDP是也是一個合適的選擇。MDP可以幫助我們在不同狀態(tài)下制定最優(yōu)行動策略，并有效處理不確定性，通過概率模型預(yù)測不同狀態(tài)的轉(zhuǎn)移和相應(yīng)的獎勵。另一方面，如果我們希望理解某些因素（如定價策略、激勵措施）對騎手行為或客戶需求的因果影響，因果推斷也可以作為補(bǔ)充加入。因果推斷可以幫助識別哪些因素真正驅(qū)動了結(jié)果變化，并評估新策略的效果，尤其是在數(shù)據(jù)中存在混雜因素時，因果推斷方法可以提供更準(zhǔn)確的因果估計(jì)。

在后續(xù)項(xiàng)目中，結(jié)合兩者的方法可能會更有效，例如，先使用因果推斷識別關(guān)鍵因果關(guān)系，然后在MDP中利用這些關(guān)系進(jìn)行優(yōu)化決策。

參考來源：

【1】J. Gao, T. Wong, C. Wang, and J. Y. Yu, “A Price-Based Iterative Double Auction for Charger Sharing Markets,” IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 6, pp. 5116–5127, Jun. 2022, issn: 1558-0016. doi: 10.1109/TITS.2020.3047984. [Online]. Available: https://ieeexplore.ieee.org/document/9325919 (visited on 08/09/2024)

【2】P. V. Dahiwale, Z. H. Rather, and I. Mitra, “A Comprehensive Review of Smart Charging Strategies for Electric Vehicles and Way Forward,” IEEE Transactions on Intelligent Transportation Systems, pp. 1–21, 2024, issn: 1558-0016. doi: 10.1109/TITS.2024.3365581. [Online]. Available: https://ieeexplore.ieee.org/document/10457989 (visited on 08/08/2024)

審核編輯 黃宇