OpenMLDB是一個(gè)面向機(jī)器學(xué)習(xí)應(yīng)用提供正確、高效數(shù)據(jù)供給的開源數(shù)據(jù)庫(kù)。除了超過10倍的機(jī)器學(xué)習(xí)數(shù)據(jù)開發(fā)效率的提升，OpenMLDB也提供了統(tǒng)一的計(jì)算與存儲(chǔ)引擎減少開發(fā)運(yùn)維的復(fù)雜性與總體成本。

系統(tǒng)特性

• 一致性

  OpenMLDB首先保證在線和離線特征計(jì)算一致性，科學(xué)家使用OpenMLDB建模生成的特征，可規(guī)避特征穿越等問題，上線后使用相同LLVM IR進(jìn)行編譯優(yōu)化，保證與在線特征計(jì)算邏輯一致。其次保證數(shù)據(jù)存儲(chǔ)一致性，數(shù)據(jù)從離線到在線進(jìn)行實(shí)時(shí)同步，用戶不需要為離線和在線管理不同數(shù)據(jù)源，也避免數(shù)據(jù)不一致對(duì)特征和模型帶來(lái)的影響。

• 高性能

  OpenMLDB基于C++和LLVM實(shí)現(xiàn)了原生SQL編譯器，內(nèi)置了數(shù)十種物理計(jì)劃和表達(dá)式優(yōu)化過程，可針對(duì)不同硬件環(huán)境動(dòng)態(tài)生成二進(jìn)制碼，內(nèi)存結(jié)構(gòu)針對(duì)特征存儲(chǔ)優(yōu)化。最終特征存儲(chǔ)空間和成本比同類產(chǎn)品可降低9倍，在線實(shí)時(shí)特征計(jì)算性能提升9倍，離線批處理計(jì)算性能比同類產(chǎn)品也提升6倍以上。

• 高可用

  OpenMLDB的大規(guī)模并行計(jì)算服務(wù)和數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)，都支持多節(jié)點(diǎn)分布式高可用特性，可以自動(dòng)Failover避免單點(diǎn)故障。

• SQL支持

  OpenMLDB支持用戶友好的SQL接口，兼容大部分ANSI SQL語(yǔ)法以及針對(duì)AI場(chǎng)景拓展了新的SQL特性。以時(shí)序特征抽取為例，支持標(biāo)準(zhǔn)SQL的Over Window語(yǔ)法，還針對(duì)AI場(chǎng)景需求進(jìn)行拓展，支持基于樣本表滑窗的Window Union語(yǔ)法，實(shí)時(shí)計(jì)算引擎支持基于當(dāng)前行的Request Mode窗口聚合計(jì)算。

• AI優(yōu)化

  OpenMLDB以面向ML應(yīng)用開發(fā)優(yōu)化為目標(biāo)，架構(gòu)設(shè)計(jì)以及實(shí)現(xiàn)上都針對(duì)AI進(jìn)行大量?jī)?yōu)化。在存儲(chǔ)方面以高效的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)特征數(shù)據(jù)，無(wú)論是內(nèi)存利用率還是實(shí)時(shí)查詢效率都比同類型產(chǎn)品高數(shù)倍，而計(jì)算方面提供了機(jī)器學(xué)習(xí)場(chǎng)景常用的特殊拼表操作以及特征抽取相關(guān)UDF/UDAF支持，基本滿足生產(chǎn)環(huán)境下機(jī)器學(xué)習(xí)特征抽取和上線的應(yīng)用需求。

• 低門檻

  OpenMLDB使用門檻與普通數(shù)據(jù)庫(kù)接近，無(wú)論是建?？茖W(xué)家還是應(yīng)用開發(fā)者都可以使用熟悉的SQL進(jìn)行開發(fā)，并且同時(shí)支持ML應(yīng)用落地所必須的離線大數(shù)據(jù)批處理服務(wù)以及在線特征計(jì)算服務(wù)，使用一個(gè)數(shù)據(jù)庫(kù)產(chǎn)品就可以低成本實(shí)現(xiàn)AI落地閉環(huán)。

快速開始

使用OpenMLDB快速開發(fā)和上線ML應(yīng)用，以Kaggle比賽Predict Taxi Tour Duration項(xiàng)目為例。

# 啟動(dòng)docker鏡像
docker run -it 4pdosc/openmldb:0.1.0 bash

# 初始化環(huán)境
sh init.sh

# 導(dǎo)入行程歷史數(shù)據(jù)到OpenMLDB
python3 import.py

# 使用行程數(shù)據(jù)進(jìn)行模型訓(xùn)練
python3 train.py ./fe.sql /tmp/model.txt

# 使用訓(xùn)練的模型搭建鏈接OpenMLDB的實(shí)時(shí)推理HTTP服務(wù)
sh start_predict_server.sh ./fe.sql 8887 /tmp/model.txt

# 通過http請(qǐng)求發(fā)送一個(gè)推理請(qǐng)求
python3 predict.py

系統(tǒng)架構(gòu)