-
0 votesanswersviews
来自Avro的Bigquery负载无法从long转换为int
我正在尝试将avro文件从谷歌存储加载到大查询表但面临这些问题 . 我遵循的步骤如下 . 在spark中创建一个数据框 . 通过将这些数据写入avro来存储这些数据 . dataframe.write.avro( “路径”) 将这些数据加载到谷歌存储中 . 尝试使用以下命令将数据加载到google bigquery中 bq --nosync load --autodetec... -
0 votesanswersviews
scala和Python之间的Avro Kafka转换问题
我们的项目有scala和python代码,我们需要发送/使用avro编码的消息给kafka . 我使用python和scala将avro编码消息发送到kafka . 我有scala代码的 生产环境 者,它使用Twitter双向库发送avro编码的消息如下: val resourcesPath = getClass.getResource("/avro/url_info_schema.av... -
15 votesanswersviews
从Apache Spark中的Avro文件中读取不受支持的联合类型组合
我正试图从读取csv平面文件切换到spark上的avro文件 . 以下https://github.com/databricks/spark-avro我使用: import com.databricks.spark.avro._ val sqlContext = new org.apache.spark.sql.SQLContext(sc) val df = sqlContext.read.avr...