我已经使用bq CLI实用程序成功地将大量AVRO文件(具有相同模式类型的相同模式)加载到Google Storage上 .
但是,对于某些AVRO文件,我在加载到bigquery时遇到非常神秘的错误,错误说:
Apache Avro库无法读取数据时出现以下错误:已达到EOF(错误代码:无效)
使用avro-tools验证AVRO文件未损坏,报告输出:
java -jar avro-tools-1.8.1.jar repair -o report 2017-05-15-07-15-01_48a99.avro恢复文件:2017-05-15-07-15-01_48a99.avro文件摘要:Number of blocks:51损坏块数:0记录数:58598损坏记录数:0
我尝试使用其中一个失败的文件创建一个全新的表,以防由于模式不匹配但由于错误完全相同而没有帮助 .
需要帮助找出可能导致错误的原因吗?
1 回答
如果没有更多信息,就无法查明问题,但我遇到了这条错误消息,并提交了一张机票here .
我在单个加载作业中的许多文件都缺少导致错误的列 .
来自ticket的解释 .