ElasticSearch的基本使用
1、ElasticSearch基本介紹
The Elastic Stack， 包括 Elasticsearch、Kibana、Beats 和 Logstash（也稱為 ELK Stack）。能夠安全可靠地獲取任何來源、任何格式的數(shù)據(jù)，然后實(shí)時(shí)地對數(shù)據(jù)進(jìn)行搜索、分析和可視化。
Elasticsearch（簡稱 ES）是一個(gè)開源的、高擴(kuò)展的、分布式的、提供多用戶能力的全文搜索引擎，也是一個(gè)基于 Lucene 搜索的服務(wù)器，可以近乎實(shí)時(shí)地存儲和搜索數(shù)據(jù)，是整個(gè) Elastic Stack 技術(shù)棧的核心。ES 本身擴(kuò)展性很好，可以擴(kuò)展到上百臺服務(wù)器，處理 PB 級別的數(shù)據(jù)。
Elasticsearch 在 Java、.NET、PHP、Python、Apache Groovy、Ruby 等程序設(shè)計(jì)語言中都可以使用。
適用場景：
- ES適合數(shù)據(jù)量較大、復(fù)雜查詢（查詢自動可以是任意個(gè)字段，查詢條件可以模糊或精確）的業(yè)務(wù)場景
- ES適合數(shù)據(jù)不頻繁更新的業(yè)務(wù)場景，適合近實(shí)時(shí)的查詢場景。
1.1、基本概念
1.1.1、集群（Cluster）
集群由一個(gè)或多個(gè)節(jié)點(diǎn)組成，共同提供索引和搜索功能。寫請求由主分片處理，讀請求主分片、副分片都可以處理。集群由唯一名稱標(biāo)識，默認(rèn)情況下為“elasticsearch”。
1.1.2、節(jié)點(diǎn)（Node）
節(jié)點(diǎn)是集群中的一個(gè)服務(wù)器，作為集群的一部分，它存儲數(shù)據(jù)，參與集群的索引和搜索功能。一個(gè)節(jié)點(diǎn)是邏輯上獨(dú)立的ES實(shí)例，表現(xiàn)為一個(gè) ES 進(jìn)程，它是集群的一部分。節(jié)點(diǎn)可分為多種角色，如主節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)、協(xié)調(diào)節(jié)點(diǎn)等。
- 主節(jié)點(diǎn)（Master node）：主要 負(fù)責(zé)集群的元數(shù)據(jù)管理功能
- 數(shù)據(jù)節(jié)點(diǎn)（Data node）：負(fù)責(zé)報(bào)錯(cuò)數(shù)據(jù)，執(zhí)行數(shù)據(jù)的增刪改查等操作
- 協(xié)調(diào)節(jié)點(diǎn)（Coordinating node）：接收客戶端請求，然后轉(zhuǎn)發(fā)這些請求，收集數(shù)據(jù)并返回給客戶端的節(jié)點(diǎn)
1.1.3、分片（Shard）
一個(gè)索引可以存儲超出單個(gè)節(jié)點(diǎn)硬件限制的大量數(shù)據(jù)，比如，一個(gè)具有 10 億文檔數(shù)據(jù)的索引占據(jù) 1TB 的磁盤空間，而任一節(jié)點(diǎn)都可能沒有這樣大的磁盤空間，或者單個(gè)節(jié)點(diǎn)處理搜索請求，響應(yīng)太慢。為了解決這個(gè)問題，Elasticsearch 提供了將索引劃分成多份的能力，每一份就稱之為分片。
為了支持更大量的數(shù)據(jù)，索引一般會分成多個(gè)部分，每個(gè)部分就是一個(gè)分片，同個(gè)索引的不同主分片存儲的數(shù)據(jù)不一樣，互不重疊。如果主分片丟失，且無副本分片的情況下，數(shù)據(jù)會永久丟失。分片是 Elasticsearch 最小的工作單元。“分片”是Lucene的一個(gè)索引，它本身就是一個(gè)功能齊全的搜索引擎。分片被節(jié)點(diǎn)管理，一個(gè)節(jié)點(diǎn)一般會管理多個(gè)分片，這些分片可能是屬于同一份索引，也有可能屬于不同索引，但是為了可靠性和可用性，同一個(gè)索引的分片盡量分布在不同節(jié)點(diǎn)上。分片有兩種，主分片和副本分片。
分片很重要，主要有兩方面的原因：
- 允許你水平擴(kuò)展你的內(nèi)容容量。
- 允許你在分片之上進(jìn)行分布式的、并行的操作，進(jìn)而提高性能/吞吐量。
至于一個(gè)分片怎樣分布，它的文檔怎樣聚合和搜索請求，是完全由 Elasticsearch 管理的，對于作為用戶的你來說，這些都是透明的，無需過分關(guān)心。
被混淆的概念是，一個(gè) Lucene索引 我們在 Elasticsearch中稱作分片，而一個(gè) Elasticsearch 索引是分片的集合。 當(dāng) Elasticsearch 在索引中搜索的時(shí)候， 他發(fā)送查詢到每一個(gè)屬于索引的分片（Lucene 索引），然后合并每個(gè)分片的結(jié)果到一個(gè)全局的結(jié)果集。
1.1.4、副本（Replica）
副本是一個(gè)分片的備份數(shù)據(jù)，一個(gè)分片可能會有0個(gè)或多個(gè)副本，這些副本中的數(shù)據(jù)保證強(qiáng)一致或最終一致。
在一個(gè)網(wǎng)絡(luò) / 云的環(huán)境里，失敗隨時(shí)都可能發(fā)生，在某個(gè)分片/節(jié)點(diǎn)不知怎么的就處于離線狀態(tài)，或者由于任何原因消失了，這種情況下，有一個(gè)故障轉(zhuǎn)移機(jī)制是非常有用并且是強(qiáng)烈推薦的。為此目的，Elasticsearch 允許你創(chuàng)建分片的一份或多份拷貝，這些拷貝叫做復(fù)制分片(副本)。
復(fù)制分片之所以重要，有兩個(gè)主要原因：
- 在分片/節(jié)點(diǎn)失敗的情況下，提供了高可用性。因?yàn)檫@個(gè)原因，注意到復(fù)制分片從不與 原/主要（original/primary）分片置于同一節(jié)點(diǎn)上是非常重要的。
- 擴(kuò)展你的搜索量/吞吐量，因?yàn)樗阉骺梢栽谒械母北旧喜⑿羞\(yùn)行。
1.1.5、分段（segment）
每個(gè)分片包含多個(gè)“分段”，其中分段是倒排索引。分段內(nèi)的doc數(shù)量上限是2的31次方。默認(rèn)每秒都會生成一個(gè)segment文件。在分片中搜索將依次搜索每個(gè)片段，然后將其結(jié)果合并到該分片的最終結(jié)果中。
1.1.6、index（索引）
索引類似于 mysql 數(shù)據(jù)庫中數(shù)據(jù)庫的概念，數(shù)據(jù)庫中有若干個(gè)表，那么ElasticSearch中則是創(chuàng)建一個(gè)索引。一個(gè)索引就是一個(gè)擁有幾分相似特征的文檔的集合。在一個(gè)集群中，可以定義任意多個(gè)索引。一個(gè)索引的數(shù)據(jù)文件可能會分布于一臺機(jī)器，也有可能分布于多臺機(jī)器。
一個(gè)索引就是一個(gè)擁有幾分相似特征的文檔的集合。比如說訂單數(shù)據(jù)的索引，商品數(shù)據(jù)的索引。一個(gè)索引由一個(gè)名字來標(biāo)識（必須全部是小寫字母）。并且當(dāng)我們要對這個(gè)索引中的文檔進(jìn)行索引、搜索、更新和刪除的時(shí)候，都要使用到這個(gè)名字。
1.1.7、Type（類型，Elasticsearch 7.X 中該概念已被刪除）
在一個(gè)索引中，你可以定義一種或多種類型。我們在ElasticSearch中存儲數(shù)據(jù)時(shí)，是將數(shù)據(jù)存儲在ElasticSearch中某個(gè)索引下的某個(gè)類型中的，對比MySQL的話就是我們將數(shù)據(jù)存儲在MySQL某個(gè)庫中的某個(gè)表中。在索引中可以定義多個(gè)Type。
（Types 的概念已經(jīng)被逐漸弱化，Elasticsearch 6.X 中，一個(gè) index 下已經(jīng)只能包含一個(gè)type，Elasticsearch 7.X 中, Type 的概念已經(jīng)被刪除了。）
1.1.8、document（文檔，json格式）
索引里單條記錄稱為文檔，一個(gè)文檔是一個(gè)可被索引的基礎(chǔ)信息單元，也就是一條數(shù)據(jù)。文檔以 JSON（Javascript Object Notation）格式來表示。在一個(gè) index/type 里面，你可以存儲任意多的文檔。
文檔類似于mysql數(shù)據(jù)庫中的行，數(shù)據(jù)庫插入一條數(shù)據(jù)和es插入一個(gè)JSON文檔為相同概念。保存在ElasticSearch某個(gè)索引下的某個(gè)類型中的數(shù)據(jù)我們稱為一個(gè)文檔，文檔的數(shù)據(jù)格式是JSON，類似于MySQL中某個(gè)數(shù)據(jù)庫下某個(gè)表中的一條記錄，是同一個(gè)意思。
1.1.9、Field（字段，key）
數(shù)據(jù)表中的字段，即JSON鍵值對中的key，如下圖：
1.1.10、映射（Mapping）
映射類似于關(guān)系型數(shù)據(jù)庫中的表結(jié)構(gòu)，定義了索引中字段的名稱、類型等信息。
mapping 可以對處理數(shù)據(jù)的方式和規(guī)則方面做一些限制，如：某個(gè)字段的數(shù)據(jù)類型、默認(rèn)值、分析器、是否被索引等等，這些都是映射里面可以設(shè)置的，其它就是處理 ES 里面數(shù)據(jù)的一些使用規(guī)則設(shè)置也叫做映射，按著最優(yōu)規(guī)則處理數(shù)據(jù)對性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能對性能更好。
1.2、其他概念
1.2.1、分配（Allocation）
分配就是將分片分配給某個(gè)節(jié)點(diǎn)的過程，包括分配主分片或者副本。如果是副本，還包含從主分片復(fù)制數(shù)據(jù)的過程。這個(gè)過程是由 master 節(jié)點(diǎn)完成的。
1.2.2、低水位（Low watermark）
硬盤空間使用率閥值，達(dá)到這個(gè)值后，新索引的分片不會分配到這個(gè)節(jié)點(diǎn) Node 上。
1.2.3、高水位（High watermark）
高水位硬盤空間使用率閥值，達(dá)到這個(gè)值后，會觸發(fā)已分配到該節(jié)點(diǎn)的分片重平衡（rebalance）到其他節(jié)點(diǎn)上。
1.3、ES的默認(rèn)分片副本數(shù)
總之，每個(gè)索引可以被分成多個(gè)分片，一個(gè)索引也可以被復(fù)制 0 次（意思是沒有復(fù)制）或多次。一旦復(fù)制了，每個(gè)索引就有了主分片（作為復(fù)制源的原來的分片）和復(fù)制分片（主分片的拷貝）之別。分片和復(fù)制的數(shù)量可以在索引創(chuàng)建的時(shí)候指定，在索引創(chuàng)建之后，你也可以在任何時(shí)候動態(tài)地改變復(fù)制的數(shù)量，但是在索引創(chuàng)建之后就無法再改變分片的數(shù)量。
（es7.0之前版本默認(rèn)為一個(gè)索引創(chuàng)建5個(gè)分片，每個(gè)分片有1個(gè)副本。es7.0之后默認(rèn)為一個(gè)索引創(chuàng)建1個(gè)分片，每個(gè)分片有1個(gè)副本。）
es7.0之前版本中，默認(rèn)情況下，ES 會為每個(gè)索引分配5個(gè)主分片（即源數(shù)據(jù)分為5份）。對于每個(gè)主分片，Elasticsearch還會為其分配一個(gè)副本分片（replica shard）。這意味著，如果不進(jìn)行任何配置，Elasticsearch會為每個(gè)索引分配5個(gè)主分片和5個(gè)副本分片，總共10個(gè)分片。這些分片會盡可能地分布在不同的節(jié)點(diǎn)上，以實(shí)現(xiàn)分布式存儲和數(shù)據(jù)冗余。然而，實(shí)際情況取決于集群中的節(jié)點(diǎn)數(shù)量、索引的大小以及數(shù)據(jù)分布等因素，不一定總是能均勻地分布。需要注意的是，Elasticsearch的分片分配策略可以根據(jù)需要進(jìn)行配置。可以通過修改Elasticsearch的配置文件或使用REST API來指定每個(gè)索引的主分片和副本分片數(shù)量。
PUT /my_index { "settings": { "number_of_shards": 3, "number_of_replicas": 2 } }
在上面例子中，我們創(chuàng)建了一個(gè)名為 my_index 的索引，并且設(shè)置了3個(gè)主分片，每個(gè)主分片2個(gè)副本，即總共 3*(2+1)副本 = 9 個(gè)分片。
1.4、Lucene和elasticsearch的區(qū)別?
Lucene 是Apache 下的一個(gè)開源的全文檢索引擎工具包，采用? Java 實(shí)現(xiàn)，它為軟件開發(fā)人員提供一個(gè)簡單易用的工具包（類庫）。它提供了完整的查詢引擎和索引引擎，部分文本分析引擎。Lucene 的目的是為軟件開發(fā)人員提供一個(gè)簡單易用的工具包，以方便在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能。?官方網(wǎng)站：http://lucene.apache.org/，下載地址：http://archive.apache.org/dist/lucene/java/
Elasticsearch 也是一個(gè)開源的搜索引擎，但它是一個(gè)分布式系統(tǒng)，能夠處理大規(guī)模數(shù)據(jù)。它基于 Lucene 構(gòu)建，但提供了更多的高級功能和更好的擴(kuò)展性。Elasticsearch 通常與? Kibana 和? Logstash 一起使用，形成?ELK堆棧，廣泛應(yīng)用于日志數(shù)據(jù)分析、實(shí)時(shí)監(jiān)控等領(lǐng)域。?
Lucene 和? Elasticsearch 的核心區(qū)別在于：Lucene是一個(gè)全文搜索引擎庫，而Elasticsearch是一個(gè)基于Lucene構(gòu)建的分布式搜索引擎。 Lucene是一個(gè)開源的全文索引與信息檢索庫，而Elasticsearch則是一個(gè)完整的搜索引擎系統(tǒng)，提供了更多的高級功能和更好的擴(kuò)展性。?
總結(jié)兩者的優(yōu)缺點(diǎn)：Lucene適合需要高度定制和控制的場景，因?yàn)樗峁┝说讓拥乃饕退阉鞴δ埽褂闷饋硐鄬?fù)雜。Elasticsearch則更適合需要快速部署和擴(kuò)展的場景，因?yàn)樗峁┝烁嗟母呒壒δ芎透玫臄U(kuò)展性，但可能不如 Lucene 靈活。
2、ES的系統(tǒng)架構(gòu)
一個(gè)運(yùn)行中的 Elasticsearch 實(shí)例稱為一個(gè)節(jié)點(diǎn)，而集群是由一個(gè)或者多個(gè)擁有相同 cluster.name 配置的節(jié)點(diǎn)組成， 它們共同承擔(dān)數(shù)據(jù)和負(fù)載的壓力。當(dāng)有節(jié)點(diǎn)加入集群中或者從集群中移除節(jié)點(diǎn)時(shí)，集群將會重新平均分布所有的數(shù)據(jù)。
當(dāng)一個(gè)節(jié)點(diǎn)被選舉成為主節(jié)點(diǎn)時(shí)， 它將負(fù)責(zé)管理集群范圍內(nèi)的所有變更，例如增加、 刪除索引，或者增加、刪除節(jié)點(diǎn)等，而主節(jié)點(diǎn)并不需要涉及到文檔級別的變更和搜索等操作，所以當(dāng)集群只擁有一個(gè)主節(jié)點(diǎn)的情況下，即使流量的增加它也不會成為瓶頸。 任何節(jié)點(diǎn)都可以成為主節(jié)點(diǎn)。
作為用戶，我們可以將請求發(fā)送到集群中的任何節(jié)點(diǎn) ，包括主節(jié)點(diǎn)。 每個(gè)節(jié)點(diǎn)都知道任意文檔所處的位置，并且能夠?qū)⑽覀兊恼埱笾苯愚D(zhuǎn)發(fā)到存儲我們所需文檔的節(jié)點(diǎn)。 無論我們將請求發(fā)送到哪個(gè)節(jié)點(diǎn)，它都能負(fù)責(zé)從各個(gè)包含我們所需文檔的節(jié)點(diǎn)收集回?cái)?shù)據(jù)，并將最終結(jié)果返回給客戶端。 對于用戶來說，Elasticsearch 這一切的管理都是透明的，無需關(guān)心。
3、Elasticsearch 下載安裝
3.1、window版本單機(jī)下載安裝
3.1.1、安裝常見問題解決
- Elasticsearch 是使用 java 開發(fā)的，且 7.8 版本的 ES 需要 JDK 版本 1.8 以上，默認(rèn)安裝包帶有 jdk 環(huán)境，如果系統(tǒng)配置 JAVA_HOME，那么使用系統(tǒng)默認(rèn)的 JDK，如果沒有配置使用自帶的 JDK，一般建議使用系統(tǒng)配置的 JDK。
- 雙擊啟動窗口閃退，通過路徑訪問追蹤錯(cuò)誤，如果是“空間不足”，請修改 config/jvm.options 配置文件。如下：
# 設(shè)置 JVM 初始內(nèi)存為 1G。此值可以設(shè)置與-Xmx 相同，以避免每次垃圾回收完成后 JVM 重新分配內(nèi)存 # Xms represents the initial size of total heap space # 設(shè)置 JVM 最大可用內(nèi)存為 1G # Xmx represents the maximum size of total heap space -Xms1g -Xmx1g
3.2、Linux版本單機(jī)下載安裝
先下載 window 的 7.8.0 版本使用。下載地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0
將下載的軟件放到Linux系統(tǒng)并解壓縮：tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/elasticsearch
因?yàn)榘踩珕栴}，Elasticsearch 不允許 root 用戶直接運(yùn)行，需使用其他用戶啟動 es，這里我們創(chuàng)建新用戶 es。在 root 用戶中創(chuàng)建新用戶如下：
useradd es #新增 es 用戶 passwd es #為 es 用戶設(shè)置密碼 userdel -r es #如果錯(cuò)了，可以刪除再加 chown -R es:es /opt/elasticsearch/elasticsearch-7.8.0 #文件夾所有者
修改完目錄所有者后可以看到目錄的擁有者發(fā)生了變化，如下：
修改/opt/elasticsearch/elasticsearch-7.8.0/config/elasticsearch.yml 文件
# 加入如下配置 cluster.name: elasticsearch node.name: node-1 network.host: 0.0.0.0 http.port: 9200 cluster.initial_master_nodes: ["node-1"]
修改Linux系統(tǒng)的 /etc/security/limits.conf 文件
# 在文件末尾中增加下面內(nèi)容 # 每個(gè)進(jìn)程可以打開的文件數(shù)的限制 es soft nofile 65536 es hard nofile 65536
修改/etc/security/limits.d/20-nproc.conf
# 在文件末尾中增加下面內(nèi)容 # 每個(gè)進(jìn)程可以打開的文件數(shù)的限制 es soft nofile 65536 es hard nofile 65536 # 操作系統(tǒng)級別對每個(gè)用戶創(chuàng)建的進(jìn)程數(shù)的限制 * hard nproc 4096 # 注：* 帶表 Linux 所有用戶名稱
修改/etc/sysctl.conf
# 在文件中增加下面內(nèi)容 # 一個(gè)進(jìn)程可以擁有的 VMA(虛擬內(nèi)存區(qū)域)的數(shù)量,默認(rèn)值為 65536 vm.max_map_count=655360
重新加載
sysctl -p
使用 ES 用戶啟動
#啟動 /opt/elasticsearch/elasticsearch-7.8.0/bin/elasticsearch #后臺啟動 /opt/elasticsearch/elasticsearch-7.8.0/bin/elasticsearch -d
顯示如下則表示啟動成功：
啟動后可以在瀏覽器中輸入地址：http://linux1:9200/ 訪問，如下：（如果訪問不通可能是端口未開通訪問權(quán)限，可以臨時(shí)關(guān)閉 Linux的防火墻：systemctl stop firewalld）
3.2.1、啟動常見問題解決
注意，如果以 root 用戶啟動會報(bào)錯(cuò)，如下，此時(shí)需切換為其他用戶啟動如 es 用戶。
4、Kibana
4.1、安裝使用
# 默認(rèn)端口 server.port: 5601 # ES 服務(wù)器的地址 elasticsearch.hosts: ["http://localhost:9200"] # 索引名 kibana.index: ".kibana" # 支持中文 i18n.locale: "zh-CN"
3）Windows 環(huán)境下執(zhí)行 bin/kibana.bat 文件。（首次啟動有點(diǎn)耗時(shí)）
4）通過瀏覽器訪問：http://localhost:5601 即可訪問 kibana，如下：
浙公網(wǎng)安備 33010602011771號