摘要

先自上而下，后自底向上的介紹ElasticSearch的底層工作原理，試圖回答以下問(wèn)題：

為什么我的搜索 *「foo-bar*」無(wú)法匹配foo-bar？

為什么增加更多的文件會(huì)壓縮索引（Index）？

為什么ElasticSearch占用很多內(nèi)存？

版本

elasticsearch版本: elasticsearch-2.2.0

內(nèi)容

云上的集群

集群里的盒子

云里面的每個(gè)白色正方形的盒子代表一個(gè)節(jié)點(diǎn)——Node。

節(jié)點(diǎn)之間

在一個(gè)或者多個(gè)節(jié)點(diǎn)直接，多個(gè)綠色小方塊組合在一起形成一個(gè)ElasticSearch的索引。

索引里的小方塊

在一個(gè)索引下，分布在多個(gè)節(jié)點(diǎn)里的綠色小方塊稱(chēng)為分片——Shard。

Shard＝Lucene Index

一個(gè)ElasticSearch的Shard本質(zhì)上是一個(gè)Lucene Index。

Lucene是一個(gè)Full Text 搜索庫(kù)（也有很多其他形式的搜索庫(kù)），ElasticSearch是建立在Lucene之上的。接下來(lái)的故事要說(shuō)的大部分內(nèi)容實(shí)際上是ElasticSearch如何基于Lucene工作的。

圖解Lucene

Mini索引——segment

在Lucene里面有很多小的segment，我們可以把它們看成Lucene內(nèi)部的mini-index。

Segment內(nèi)部

有著許多數(shù)據(jù)結(jié)構(gòu)

Inverted Index

Stored Fields

Document Values

Cache

最最重要的Inverted Index

Inverted Index主要包括兩部分：

一個(gè)有序的數(shù)據(jù)字典Dictionary（包括單詞Term和它出現(xiàn)的頻率）。

與單詞Term對(duì)應(yīng)的Postings（即存在這個(gè)單詞的文件）。

當(dāng)我們搜索的時(shí)候，首先將搜索的內(nèi)容分解，然后在字典里找到對(duì)應(yīng)Term，從而查找到與搜索相關(guān)的文件內(nèi)容。

查詢(xún)“the fury”

自動(dòng)補(bǔ)全（AutoCompletion-Prefix）

如果想要查找以字母“c”開(kāi)頭的字母，可以簡(jiǎn)單的通過(guò)二分查找（Binary Search）在Inverted Index表中找到例如“choice”、“coming”這樣的詞（Term）。

昂貴的查找

如果想要查找所有包含“our”字母的單詞，那么系統(tǒng)會(huì)掃描整個(gè)Inverted Index，這是非常昂貴的。

在此種情況下，如果想要做優(yōu)化，那么我們面對(duì)的問(wèn)題是如何生成合適的Term。

問(wèn)題的轉(zhuǎn)化

對(duì)于以上諸如此類(lèi)的問(wèn)題，我們可能會(huì)有幾種可行的解決方案：

* suffix -> xiffus *

如果我們想以后綴作為搜索條件，可以為T(mén)erm做反向處理。

(60.6384, 6.5017) -> u4u8gyykk

對(duì)于GEO位置信息，可以將它轉(zhuǎn)換為GEO Hash。

123 -> {1-hundreds, 12-tens, 123}

對(duì)于簡(jiǎn)單的數(shù)字，可以為它生成多重形式的Term。

解決拼寫(xiě)錯(cuò)誤

一個(gè)Python庫(kù) 為單詞生成了一個(gè)包含錯(cuò)誤拼寫(xiě)信息的樹(shù)形狀態(tài)機(jī)，解決拼寫(xiě)錯(cuò)誤的問(wèn)題。

Stored Field字段查找

當(dāng)我們想要查找包含某個(gè)特定標(biāo)題內(nèi)容的文件時(shí)，Inverted Index就不能很好的解決這個(gè)問(wèn)題，所以Lucene提供了另外一種數(shù)據(jù)結(jié)構(gòu)Stored Fields來(lái)解決這個(gè)問(wèn)題。本質(zhì)上，Stored Fields是一個(gè)簡(jiǎn)單的鍵值對(duì)key-value。默認(rèn)情況下，ElasticSearch會(huì)存儲(chǔ)整個(gè)文件的JSON source。

Document Values為了排序，聚合

即使這樣，我們發(fā)現(xiàn)以上結(jié)構(gòu)仍然無(wú)法解決諸如：排序、聚合、facet，因?yàn)槲覀兛赡軙?huì)要讀取大量不需要的信息。

所以，另一種數(shù)據(jù)結(jié)構(gòu)解決了此種問(wèn)題：Document Values。這種結(jié)構(gòu)本質(zhì)上就是一個(gè)列式的存儲(chǔ)，它高度優(yōu)化了具有相同類(lèi)型的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)。

為了提高效率，ElasticSearch可以將索引下某一個(gè)Document Value全部讀取到內(nèi)存中進(jìn)行操作，這大大提升訪問(wèn)速度，但是也同時(shí)會(huì)消耗掉大量的內(nèi)存空間。

總之，這些數(shù)據(jù)結(jié)構(gòu)Inverted Index、Stored Fields、Document Values及其緩存，都在segment內(nèi)部。

搜索發(fā)生時(shí)

搜索時(shí)，Lucene會(huì)搜索所有的segment然后將每個(gè)segment的搜索結(jié)果返回，最后合并呈現(xiàn)給客戶(hù)。

Lucene的一些特性使得這個(gè)過(guò)程非常重要：

Segments是不可變的（immutable）

「Delete?」當(dāng)刪除發(fā)生時(shí)，Lucene做的只是將其標(biāo)志位置為刪除，但是文件還是會(huì)在它原來(lái)的地方，不會(huì)發(fā)生改變

「Update?」所以對(duì)于更新來(lái)說(shuō)，本質(zhì)上它做的工作是：先「刪除」，然后「重新索引（Re-index）」

隨處可見(jiàn)的壓縮

Lucene非常擅長(zhǎng)壓縮數(shù)據(jù)，基本上所有教科書(shū)上的壓縮方式，都能在Lucene中找到。

緩存所有的所有

Lucene也會(huì)將所有的信息做緩存，這大大提高了它的查詢(xún)效率。

緩存的故事

當(dāng)ElasticSearch索引一個(gè)文件的時(shí)候，會(huì)為文件建立相應(yīng)的緩存，并且會(huì)定期（每秒）刷新這些數(shù)據(jù)，然后這些文件就可以被搜索到。

隨著時(shí)間的增加，我們會(huì)有很多segments，

所以ElasticSearch會(huì)將這些segment合并，在這個(gè)過(guò)程中，segment會(huì)最終被刪除掉

這就是為什么增加文件可能會(huì)使索引所占空間變小，它會(huì)引起merge，從而可能會(huì)有更多的壓縮。

舉個(gè)栗子

有兩個(gè)segment將會(huì)merge

這兩個(gè)segment最終會(huì)被刪除，然后合并成一個(gè)新的segment

這時(shí)這個(gè)新的segment在緩存中處于cold狀態(tài)，但是大多數(shù)segment仍然保持不變，處于warm狀態(tài)。

以上場(chǎng)景經(jīng)常在Lucene Index內(nèi)部發(fā)生的。

在Shard中搜索

ElasticSearch從Shard中搜索的過(guò)程與Lucene Segment中搜索的過(guò)程類(lèi)似。

與在Lucene Segment中搜索不同的是，Shard可能是分布在不同Node上的，所以在搜索與返回結(jié)果時(shí)，所有的信息都會(huì)通過(guò)網(wǎng)絡(luò)傳輸。

需要注意的是：

1次搜索查找2個(gè)shard ＝ 2次分別搜索shard

對(duì)于日志文件的處理

當(dāng)我們想搜索特定日期產(chǎn)生的日志時(shí)，通過(guò)根據(jù)時(shí)間戳對(duì)日志文件進(jìn)行分塊與索引，會(huì)極大提高搜索效率。

當(dāng)我們想要?jiǎng)h除舊的數(shù)據(jù)時(shí)也非常方便，只需刪除老的索引即可。

在上種情況下，每個(gè)index有兩個(gè)shards

如何Scale

shard不會(huì)進(jìn)行更進(jìn)一步的拆分，但是shard可能會(huì)被轉(zhuǎn)移到不同節(jié)點(diǎn)上

所以，如果當(dāng)集群節(jié)點(diǎn)壓力增長(zhǎng)到一定的程度，我們可能會(huì)考慮增加新的節(jié)點(diǎn)，這就會(huì)要求我們對(duì)所有數(shù)據(jù)進(jìn)行重新索引，這是我們不太希望看到的，所以我們需要在規(guī)劃的時(shí)候就考慮清楚，如何去平衡足夠多的節(jié)點(diǎn)與不足節(jié)點(diǎn)之間的關(guān)系。

節(jié)點(diǎn)分配與Shard優(yōu)化

為更重要的數(shù)據(jù)索引節(jié)點(diǎn)，分配性能更好的機(jī)器

確保每個(gè)shard都有副本信息replica

路由Routing

每個(gè)節(jié)點(diǎn)，每個(gè)都存留一份路由表，所以當(dāng)請(qǐng)求到任何一個(gè)節(jié)點(diǎn)時(shí)，ElasticSearch都有能力將請(qǐng)求轉(zhuǎn)發(fā)到期望節(jié)點(diǎn)的shard進(jìn)一步處理。

一個(gè)真實(shí)的請(qǐng)求

Query

Query有一個(gè)類(lèi)型filtered，以及一個(gè)multi_match的查詢(xún)

Aggregation

根據(jù)作者進(jìn)行聚合，得到top10的hits的top10作者的信息

請(qǐng)求分發(fā)

這個(gè)請(qǐng)求可能被分發(fā)到集群里的任意一個(gè)節(jié)點(diǎn)

上帝節(jié)點(diǎn)

這時(shí)這個(gè)節(jié)點(diǎn)就成為當(dāng)前請(qǐng)求的協(xié)調(diào)者（Coordinator），它決定：

根據(jù)索引信息，判斷請(qǐng)求會(huì)被路由到哪個(gè)核心節(jié)點(diǎn)

以及哪個(gè)副本是可用的

等等

路由

在真實(shí)搜索之前

ElasticSearch 會(huì)將Query轉(zhuǎn)換成Lucene Query

然后在所有的segment中執(zhí)行計(jì)算

對(duì)于Filter條件本身也會(huì)有緩存

但queries不會(huì)被緩存，所以如果相同的Query重復(fù)執(zhí)行，應(yīng)用程序自己需要做緩存

所以，

filters可以在任何時(shí)候使用

query只有在需要score的時(shí)候才使用

返回

搜索結(jié)束之后，結(jié)果會(huì)沿著下行的路徑向上逐層返回。

責(zé)任編輯：xj

原文標(biāo)題：圖解 ElasticSearch

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。