首页 文章

如何验证上传到CosmosDB的数据?

提问于
浏览
0

我在Azure Data Lake Store中的单个~2.13GB文件中有442k JSON文档的数据集 .

我通过Azure Data Factory管道将它上传到CosmosDB中的集合 . 管道成功完成 .

但是当我在Azure Portal中访问CosmosDB时,我注意到集合大小只有1.5 GB . 我试图为这个集合运行 SELECT COUNT(c.id) FROM c ,但它只返回19k . 我也看到抱怨这个计数功能不可靠 .

如果我打开集合预览,首先~10条记录符合我的期望(ID和内容与ADLS文件中的相同) .

有没有办法快速获得真正的记录数?或者其他一些方法可以确保在导入过程中没有丢失任何内容?

1 回答

  • 1

    根据这个article,您可以找到:

    使用Azure门户的查询资源管理器时,请注意聚合查询可能会在查询页面上返回部分聚合的结果 . SDK在所有页面上生成单个累积值 . 要使用代码执行聚合查询,您需要.NET SDK 1.12.0,.NET Core SDK 1.1.0或Java SDK 1.9.5或更高版本 .

    所以我建议你首先尝试使用azure documentdb sdk来获取计数值 .

    关于如何使用的更多细节,你可以参考这个article .

相关问题