flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From 苏 欣 <sean...@live.com>
Subject 在json schema中如何定义数组字段
Date Thu, 19 Sep 2019 08:38:42 GMT
我是用的是flink-1.9版本,现在想消费带数组字段的json数据,类似{“field1:”
“aaa”, “field2”: [“bbb, “ccc”]} 这种数据格式。


注册schema的时候我使用了field("field2", Types.OBJECT_ARRAY(Types.STRING))这种方式。EnvironmentSetting指定为flink-planner和blink-planner都有问题。


在flink-planner下,会报下面的错误,我跟了下代码,发现是StringArraySerializer.copy方法接收的是String[],传过去的却是Object[]。
Caused by: java.lang.ClassCastException: [Ljava.lang.Object; cannot be cast to [Ljava.lang.String;
       at org.apache.flink.api.common.typeutils.base.array.StringArraySerializer.copy(StringArraySerializer.java:35)
       at org.apache.flink.api.java.typeutils.runtime.RowSerializer.copy(RowSerializer.java:93)
       at org.apache.flink.api.java.typeutils.runtime.RowSerializer.copy(RowSerializer.java:44)
       at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:635)
       ... 13 more

在blink-planner下,程序一启动就会报下面的错误:
Exception in thread "main" org.apache.flink.table.api.ValidationException: Type LEGACY(BasicArrayTypeInfo<String>)
of table field 'field2' does not match with type BasicArrayTypeInfo<String> of the field
' field2' of the TableSource return type.
       at org.apache.flink.table.planner.sources.TableSourceUtil$$anonfun$4.apply(TableSourceUtil.scala:121)
       at org.apache.flink.table.planner.sources.TableSourceUtil$$anonfun$4.apply(TableSourceUtil.scala:92)
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
       at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
       at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
       at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)

请问这个问题有没有人知道怎么解决,定义数组字段有没有其他的方法呢?

发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message