- Elasticsearch 教程
- Elasticsearch - 主页
- Elasticsearch - 基本概念
- Elasticsearch - 安装
- Elasticsearch - 填充
- 版本之间的迁移
- Elasticsearch - API 约定
- Elasticsearch - 文档 API
- Elasticsearch - 搜索 API
- Elasticsearch - 聚合
- Elasticsearch - 索引 API
- Elasticsearch - CAT API
- Elasticsearch - 集群 API
- Elasticsearch - 查询 DSL
- Elasticsearch - 映射
- Elasticsearch - 分析
- Elasticsearch - 模块
- Elasticsearch - 索引模块
- Elasticsearch - 摄取节点
- Elasticsearch - 管理索引生命周期
- Elasticsearch - SQL 访问
- Elasticsearch - 监控
- Elasticsearch - 汇总数据
- Elasticsearch - 冻结索引
- Elasticsearch - 测试
- Elasticsearch - Kibana 仪表板
- Elasticsearch - 按字段过滤
- Elasticsearch - 数据表
- Elasticsearch - 区域地图
- Elasticsearch - 饼图
- Elasticsearch - 面积图和条形图
- Elasticsearch - 时间序列
- Elasticsearch - 标签云
- Elasticsearch - 热图
- Elasticsearch - 画布
- Elasticsearch - 日志 UI
- Elasticsearch 有用资源
- Elasticsearch - 快速指南
- Elasticsearch - 有用的资源
- Elasticsearch - 讨论
Elasticsearch - 模块
Elasticsearch 由许多模块组成,这些模块负责其功能。这些模块有两种类型的设置,如下 -
静态设置- 在启动 Elasticsearch 之前,需要在配置 (elasticsearch.yml) 文件中配置这些设置。您需要更新集群中的所有关注节点以反映这些设置的更改。
动态设置- 这些设置可以在实时 Elasticsearch 上设置。
我们将在本章的以下部分讨论 Elasticsearch 的不同模块。
集群级路由和分片分配
集群级别设置决定分片到不同节点的分配以及分片的重新分配以重新平衡集群。以下是控制分片分配的设置。
集群级分片分配
环境 | 可能的值 | 描述 |
---|---|---|
集群.路由.分配.启用 | ||
全部 | 此默认值允许对所有类型的分片进行分片分配。 | |
初选 | 这允许仅对主分片进行分片分配。 | |
新初选 | 这允许仅对新索引的主分片进行分片分配。 | |
没有任何 | 这不允许任何分片分配。 | |
cluster.routing.allocation .node_concurrent_recoveries | 数值(默认为 2) | 这限制了并发分片恢复的数量。 |
cluster.routing.allocation .node_initial_primaries_recoveries | 数值(默认为 4) | 这限制了并行初始主要恢复的数量。 |
cluster.routing.allocation.same_shard.host | 布尔值(默认为 false) | 这限制了同一物理节点中同一分片的多个副本的分配。 |
Index.recovery.concurrent_streams | 数值(默认为 3) | 这控制从对等分片恢复分片时每个节点打开的网络流的数量。 |
Index.recovery.concurrent_small_file_streams | 数值(默认为 2) | 这可以控制分片恢复时每个节点打开的大小小于 5mb 的小文件流的数量。 |
集群.路由.重新平衡.启用 | ||
全部 | 此默认值允许平衡所有类型的分片。 | |
初选 | 这允许仅对主分片进行分片平衡。 | |
复制品 | 这允许仅对副本分片进行分片平衡。 | |
没有任何 | 这不允许任何类型的分片平衡。 | |
cluster.routing.allocation .allow_rebalance | ||
总是 | 此默认值始终允许重新平衡。 | |
Index_primaries_active | 这允许在分配集群中的所有主分片时进行重新平衡。 | |
Index_all_active | 这允许在分配所有主分片和副本分片时进行重新平衡。 | |
cluster.routing.allocation.cluster_concurrent_rebalance | 数值(默认为 2) | 这限制了集群中并发分片平衡的数量。 |
集群.路由.分配.balance.shard | 浮点值(默认为 0.45f) | 这定义了分配在每个节点上的分片的权重因子。 |
cluster.routing.allocation.balance.index | 浮点值(默认为 0.55f) | 这定义了在特定节点上分配的每个索引的分片数量的比率。 |
cluster.routing.allocation.balance.threshold | 非负浮点值(默认为 1.0f) | 这是应该执行的操作的最小优化值。 |
基于磁盘的分片分配
环境 | 可能的值 | 描述 |
---|---|---|
cluster.routing.allocation.disk.threshold_enabled | 布尔值(默认 true) | 这将启用和禁用磁盘分配决策程序。 |
cluster.routing.allocation.disk.watermark.low | 字符串值(默认85%) | 这表示磁盘的最大使用量;此后,无法将其他分片分配给该磁盘。 |
cluster.routing.allocation.disk.watermark.high | 字符串值(默认为 90%) | 这表示分配时的最大使用量;如果在分配时达到这一点,那么 Elasticsearch 会将该分片分配到另一个磁盘。 |
集群信息更新间隔 | 字符串值(默认30秒) | 这是磁盘使用情况检查之间的时间间隔。 |
cluster.routing.allocation.disk.include_relocations | 布尔值(默认 true) | 这决定在计算磁盘使用情况时是否考虑当前分配的分片。 |
发现
该模块帮助集群发现并维护其中所有节点的状态。当集群中添加或删除节点时,集群的状态会发生变化。集群名称设置用于创建不同集群之间的逻辑差异。有一些模块可以帮助您使用云供应商提供的 API,如下所示 -
- Azure 发现
- EC2发现
- Google 计算引擎发现
- 禅宗发现
网关
该模块在整个集群重新启动时维护集群状态和分片数据。以下是该模块的静态设置 -
环境 | 可能的值 | 描述 |
---|---|---|
gateway.expected_nodes | 数值(默认为 0) | 预计集群中用于本地分片恢复的节点数量。 |
gateway.expected_master_nodes | 数值(默认为 0) | 开始恢复之前集群中预计存在的主节点数量。 |
gateway.expected_data_nodes | 数值(默认为 0) | 开始恢复之前集群中预期的数据节点数。 |
gateway.recover_after_time | 字符串值(默认5m) | 这是磁盘使用情况检查之间的时间间隔。 |
集群.路由.分配。磁盘.include_relocations | 布尔值(默认 true) | 这指定了恢复过程等待启动的时间,无论集群中加入的节点数量如何。 gateway.recover_after_nodes |
HTTP协议
该模块管理 HTTP 客户端和 Elasticsearch API 之间的通信。可以通过将 http.enabled 的值更改为 false 来禁用此模块。
以下是控制此模块的设置(在elasticsearch.yml中配置) -
序列号 | 设置及说明 |
---|---|
1 | http端口 这是访问Elasticsearch的端口,范围为9200-9300。 |
2 | http.publish_port 此端口用于 http 客户端,在防火墙情况下也很有用。 |
3 | http.bind_host 这是http 服务的主机地址。 |
4 | http.publish_host 这是 http 客户端的主机地址。 |
5 | http.max_content_length 这是 http 请求中内容的最大大小。其默认值为 100mb。 |
6 | http.max_initial_line_length 这是 URL 的最大大小,默认值为 4kb。 |
7 | http.max_header_size 这是最大的 http 标头大小,默认值为 8kb。 |
8 | http.压缩 这会启用或禁用对压缩的支持,其默认值为 false。 |
9 | http.pipelinig 这将启用或禁用 HTTP 管道。 |
10 | http.pipelines.max_events 这限制了关闭 HTTP 请求之前要排队的事件数量。 |
指数
该模块维护为每个索引全局设置的设置。以下设置主要与内存使用有关 -
断路器
这用于防止操作导致 OutOfMemroyError。该设置主要限制JVM堆大小。例如,indices.breaker.total.limit 设置,默认为 JVM 堆的 70%。
现场数据缓存
这主要用于在字段上聚合时。建议有足够的内存来分配。用于字段数据缓存的内存量可以使用indices.fielddata.cache.size设置来控制。
节点查询缓存
该内存用于缓存查询结果。此缓存使用最近最少使用 (LRU) 驱逐策略。Indices.queries.cahce.size 设置控制此缓存的内存大小。
索引缓冲器
该缓冲区将新创建的文档存储在索引中,并在缓冲区满时刷新它们。像indices.memory.index_buffer_size这样的设置控制为此缓冲区分配的堆数量。
分片请求缓存
该缓存用于存储每个分片的本地搜索数据。可以在创建索引期间启用缓存,也可以通过发送 URL 参数来禁用缓存。
Disable cache - ?request_cache = true Enable cache "index.requests.cache.enable": true
指数恢复
它在恢复过程中控制资源。以下是设置 -
环境 | 默认值 |
---|---|
Index.recovery.concurrent_streams | 3 |
Index.recovery.concurrent_small_file_streams | 2 |
Index.recovery.file_chunk_size | 512kb |
indexs.recovery.translog_ops | 1000 |
indexs.recovery.translog_size | 512kb |
索引.恢复.压缩 | 真的 |
Index.recovery.max_bytes_per_sec | 40MB |
TTL间隔
生存时间 (TTL) 间隔定义文档的时间,在此时间之后文档将被删除。以下是控制此过程的动态设置 -
环境 | 默认值 |
---|---|
索引.ttl.间隔 | 60年代 |
索引.ttl.bulk_size | 1000 |
节点
每个节点都可以选择是否成为数据节点。您可以通过更改node.data设置来更改此属性。将值设置为false定义该节点不是数据节点。