ES 基于 Lucene 实现索引数据和查询数据,Lucene 在 commit 时才会将数据写入磁盘。
以索引数据为例:
- 数据写入Lucene 内存,返回索引数据成功。
- 到一定程度后,Lucene 进行 commit,将内存内容flush到磁盘。
可能会出现,返回成功了,但是 commit 失败(比如断电),从而导致数据丢失。
ES 提供了事务日志
(transaction log, 简写为 translog),保障数据不丢失。
- 数据写入Lucene 内存,然后写入 translog 成功,此时才会返回索引数据成功。
- 到一定程度后,Lucene 进行 commit,将内存内容flush到磁盘。
tranlog 默认是直接写磁盘的,所以即使因为断电等原因 Lucene commit 失败,也可以恢复数据。
配置介绍:
配置 | 说明 |
---|---|
index.translog.durability | 默认为 request ,每一次数据修改请求,都会将对应 translog 刷盘。这是最稳妥的一个配置,不会丢数据,但性能稍差。另一个配置是 async ,每隔一段时间进行一次刷盘操作,时间间隔配置在index.translog.sync_interval 中。 |
index.translog.sync_interval | translog 刷盘间隔时间。默认5s ,不能小于100ms 。 |
index.translog.flush_threshold_size | 当需要从 translog 恢复数据时,如果 translog 太长,会导致恢复时间过长。 该配置可以设置当 translog 达到多大时,Lucene 进行一次 commit 刷盘操作。这样可以保证最坏的情况下恢复数据,对应鹅 translog 的最大大小。默认为 512mb 。 |