2016 - 2024

感恩一路有你

路由的概念 可否完全使用ElasticSearch代替数据库存储?

浏览量:1154 时间:2021-03-11 20:59:15 作者:admin

可否完全使用ElasticSearch代替数据库存储?

我们使用elasticsearch存储了近50亿个文档(包括1个副本,近100亿个文档),共有10个数据节点和2个元数据节点(48gb内存,8核CPU,ES占用70%内存),每天文档增量约3000W(速度

持续增长)。目前单个文档的查询效率基本处于实时状态;对于1到2周数据的聚合统计操作,结果也可以在10秒内返回。

但是对于查询单个数据的应用场景还有改进的空间,我们可以使用ES的路由机制,将所有具有相同特征(如相同的userid)的文档存储在一个节点的同一索引中,这样我们后续的查询就可以直接定位在这个节点上,而不是将查询广播到所有节点上;

2随着数据节点的增加,适当增加分区的数量,提高系统的分布水平,通过分而治之的方式优化查询性能;

]我觉得弹性搜索是可行的适合内部存储,效率基本可以满足。在某些方面也可以取代传统的数据库,前提是您的业务不具备可操作性

]特殊要求;而且由于ES权限不完善,权限管理也不太详细。因为我们对于ES的应用场景只是在一定的时间段内聚合数据,并且没有大量的单文件请求(比如通过userid找到用户的文档,类似于NoSQL的应用场景),它是否能取代NoSQL还需要自己的测试。如果我有选择的话,我

会尝试使用es而不是传统的NoSQL,因为它的水平扩展机制太方便了。

路由的概念 简述路由器的主要功能 路由器的路由可以分为哪两类

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。