首页 文章

将Couchbase复制到ElasticSearch(带多个索引)

提问于
浏览
5

目前我们正在使用Couchbase和ElasticSearch(2.x)并使用elasticsearch-transport-couchbase插件成功地将数据从CB复制到ES .

升级到ES 5.6.4时问题就出现了 . 到目前为止,我们在ES中使用了单个索引,并且由于ElasticSearch doesn't recommend this approach anymore我们现在正在尝试在ES中创建多个索引(每个类型的索引)这意味着我们需要一种从CB复制数据的方法(单个()到ES(多个索引) .

解决这个问题的最佳方法是什么?可能的解决方案:

  • 继续使用elasticsearch-transport-couchbase插件,但是我们必须创建大量(~150)XDCR复制,每种类型1个复制 . 我怀疑这会扩大..

  • 使用Spark或Kafka编写我们自己的解决方案(它们都不在技术堆栈上,因此实施可能需要时间,因此它不是最有利的解决方案)

任何帮助,将不胜感激 .

1 回答

  • 1

    Couchbase Elasticsearch Connector的第4版支持新的"index-per-type"模型(以及其他功能,包括对ES 6的支持,安全连接和复制检查点管理工具) . 如果您想尝试一下,您的反馈将非常宝贵 .

    免责声明:我是开发Elasticsearch连接器的Couchbase员工 .

相关问题