flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From jimandlice <jimandl...@163.com>
Subject 回复:flink 历史数据join
Date Fri, 15 May 2020 11:44:26 GMT
好的 谢谢哈 我先试一试 有问题在和你说哈




| |
jimandlice
|
|
邮箱:jimandlice@163.com
|

Signature is customized by Netease Mail Master

在2020年05月15日 19:41,zhisheng 写道:
看看 Flink UI 上 作业 task 的 sent 和 receive
的数据是否还在变更一般可以知道作业是否还在进行,等不动了,则意味着你这两个表固定的数据都已经
join 完了,等 checkpoint 也
complete 完成了即可以停掉作业。

实在不放心,不知道啥时候跑完,可以晚上开始跑,第二天白天再去看看就好了

jimandlice <jimandlice@163.com> 于2020年5月15日周五 下午7:38写道:

> 是的 我想用datastrem 来做  join停的话 需要注意什么
>
>
>
>
> | |
> jimandlice
> |
> |
> 邮箱:jimandlice@163.com
> |
>
> Signature is customized by Netease Mail Master
>
> 在2020年05月15日 19:36,zhisheng 写道:
> 所以现在纠结的是使用 DataStream 还是 DataSet ?
>
> 可以使用 DataStream,作业 join 完了停掉作业就行了。
>
> 小黑 <qqpc0hy@dingtalk.com.invalid> 于2020年5月15日周五 下午3:28写道:
>
> >
> > 先工作上有一个需求  2个数据源 一个是mysql 一个是Hbase 2者上
有很多历史数据 这2个数据源上 已经没有数据写入了 都是历史数据
> > 现在要把这2个数据源的某两张张表 进行join 生成之后的数据
存在放在hdfs上 导入到hive上去现在就是不知道
> > 是用datatream还是dataset  没有一个很好的 解决方案 望给与回复
> >
> >
> >
> >
> >
>
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message