我有一个超过10,000个工作者的网格，我正在使用qpython将数据附加到kdb . 目前有1000名 Worker ，我得到~40名 Worker 在第一次尝试时无法连接和发送数据，顶部显示q在100％cpu时发生这种情况 . 当我扩展到1万名 Worker 时，问题就会升级 . 数据量仅为100MB . 我试过运行额外的奴隶，但是kdb告诉我我不能用-P选项，我猜我需要使用qpython . 任何想法如何扩展以支持10k Worker . 我目前的想法是在中间写一个缓冲写请求并将它们传递给kdb的服务器，有更好的解决方案吗？
1 回答
让我感到惊讶的是，你愿意将10,000 cpu用于Python，但只有一个用于Kdb .
只需运行更多Kdb核心（在其他端口上），然后启用另一个进程即可从摄取核心接收更新 . tickerplant（u.q）是一个很好的模型 .