首页 文章

loadrdf-tool 中止或拖延装载 1B 三倍

提问于
浏览
0

我在具有 32GB 内存的 Windows 服务器上设置了 graphdb。我修改了 loadrdf cmd 并添加了“-Xms16G -Xmx24G”。

不,我试图导入整个维基数据 rdf-dump 但有困难。首先,我尝试使用 10.000.000 的 10.000.000 值,但是在达到超过 10 亿的三倍之后,已经中止了。然后我尝试将 entity-index-size 设置为 2.000.000.000,但这会更糟。目前它已处理 500.000.000 三元组,但加载速度已降至 7.000 st/s。

还有其他 settings/configurations 我应该注意到,这可能会导致导入工作吗?

1 回答

  • 1

    公共的 Wikidata RDF 转储有大约 20 亿个语句,可能还有大约 5 亿个独特的 RDF 资源。默认情况下,实体池结构(所有唯一 RDF 资源的索引)存储在非堆内存空间中,您需要保留至少 8GB。为 OS 系统添加至少 3GB 以上,这意味着您实际需要将已用内存量减少到“-Xmx20G”。

    为了加快数据加载速度,GraphDB 文档建议使用 SSD。这将提高数据加载速度,因为 SSD 的搜索时间要短得多。

相关问题