Hudi系列:Hudi核心概念(版本1.0)

?Hudi架構(gòu)

?一. 時間軸(TimeLine)

?1.1 時間軸(TimeLine)概念

?1.2 Hudi的時間線由組成

?1.3 時間線上的Instant action操作類型

?1.4 時間線上State狀態(tài)類型

?1.5 時間線官網(wǎng)實(shí)例

?二. 文件布局

?三. 索引

?3.1 簡介

?3.2 對比Hive沒有索引的區(qū)別

?3.3 Hudi索引類型

?3.4 全局索引與非全局索引

?四. 表類型

?4.1 COW：(Copy on Write)寫時復(fù)制表

?4.1.1 概念

?4.1.2 COW工作原理

?4.1.3 COW表對表的管理方式改進(jìn)點(diǎn)

?4.2 MOR：(Merge on Read)讀時復(fù)制表

?4.2.1 概念

?4.2.2 MOR表工作原理

?4.3 總結(jié)了兩種表類型之間的權(quán)衡

?五. 查詢類型

?5.1 Snapshot Queries

?5.2 Incremental Queries

?5.3 Read Optimized Query

下面描述了 Hudi 表存儲文件的一般組織方式。

?Hudi 將數(shù)據(jù)表組織到存儲中基本路徑下的目錄結(jié)構(gòu)中。

?根據(jù)表架構(gòu)中定義的分區(qū)列，表可以選擇性地分為多個分區(qū)。

?在每個分區(qū)中，文件被組織成文件組，由文件 ID (uuid) 唯一標(biāo)識

?每個文件組包含多個文件切片。

?每個切片包含一個基本文件 (parquet/orc/hfile)（由配置 - hoodie.table.base.file.format 定義），由在特定時刻完成的提交寫入，以及一組日志文件 (.log.)，由在下一個基本文件請求時刻之前完成的提交寫入。

?Hudi 采用多版本并發(fā)控制 (MVCC)，其中壓縮操作合并日志和基本文件以生成新的文件切片，清理操作刪除未使用/較舊的文件切片以回收文件系統(tǒng)上的空間。

?所有元數(shù)據(jù)（包括時間線、元數(shù)據(jù)表）都存儲在基本路徑下的特殊 .hoodie 目錄中。

1.基礎(chǔ)文件

基礎(chǔ)文件存儲完整記錄，而更改記錄則存儲在下面的增量日志文件中。Hudi 目前支持以下基礎(chǔ)文件格式。

用于矢量化讀取、列壓縮和高效列式訪問的列式格式，適用于分析/數(shù)據(jù)科學(xué)

用于快速掃描以讀取整個記錄的行式 avro 文件

用于高效搜索索引記錄的隨機(jī)訪問優(yōu)化 HFile（基于 SSTable 格式）

?

2.日志文件

日志文件存儲基礎(chǔ)文件創(chuàng)建后對基礎(chǔ)文件的增量更改（部分或全部），例如更新、插入和刪除。日志文件包含不同的塊（數(shù)據(jù)、命令、刪除塊等），這些塊對基礎(chǔ)文件的特定更改進(jìn)行編碼。數(shù)據(jù)塊對基礎(chǔ)文件的更新/插入進(jìn)行編碼，并可自定義以支持不同的需求。

面向行的 avro 文件，用于快速/輕量級寫入

隨機(jī)訪問優(yōu)化的 HFile，用于高效搜索索引記錄（基于 SSTable 格式）

列式 parquet 文件，用于矢量化日志合并。

3. 存儲格式版本控制

Hudi 存儲格式的元素（如日志格式、日志塊結(jié)構(gòu)、時間線文件/數(shù)據(jù)模式）都是版本化的，并與給定的表版本相關(guān)聯(lián)。表版本是一個單調(diào)遞增的數(shù)字，每次存儲中產(chǎn)生的某些位發(fā)生變化時，該數(shù)字就會增加。

Backwards compatible reading

Hudi 版本向后兼容，以確保新軟件版本可以讀取最近的舊表版本?？绮煌嫔?Hudi 的推薦方法是首先升級所有讀取器（例如使用表的交互式查詢引擎），然后升級任何/所有寫入器和表服務(wù)。
Hudi 存儲引擎還實(shí)現(xiàn)了自動升級功能，可以在后續(xù)寫入操作中優(yōu)雅地執(zhí)行表版本升級，通過自動執(zhí)行任何必要的步驟而無需停機(jī)查詢/讀取。

Backwards compatible writing

但是，這可能并非總是可行的，因?yàn)榛?Hudi 構(gòu)建的數(shù)據(jù)平臺可能具有可以同時充當(dāng)讀取器和寫入器的多階段管道。在這種情況下，Hudi 升級需要通過首先升級最下游的作業(yè)來執(zhí)行，一直跟蹤
到可能由攝取系統(tǒng)寫入的第一個 Hudi 表。為了簡化此過程，Hudi 還允許寫入最近的舊表版本，以便可以首先在同一個舊表版本之上在整個部署中推出新的 Hudi 軟件二進(jìn)制文件。一旦所有作
業(yè)和引擎都有了新的二進(jìn)制文件，那么就可以按任何順序升級到較新的表版本，并且讀者將動態(tài)適應(yīng)

4. 配置

以下寫入器配置控制寫入舊表版本和自動升級行為。

?

文獻(xiàn)： https://hudi.apache.org/docs/overview

審核編輯 黃宇