flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Yuan Yifan" <tsingjyuj...@163.com>
Subject Re:写HBase慢造成消息堆积,有没有异步IO可以用于sink或者outputFormat的方法?
Date Sun, 07 Apr 2019 09:42:08 GMT
我们之前的处理方式是批量写入HBase,或者通过其他手段加速写入HBase。
如果HBase现在确因种种原因无法写入或者写入过慢,那么这个时候应该造成反压,逐渐减缓直到停止对上游消息队列的消费。
一般入库的服务(或者说实时性要求不高)和实时性要求强的服务尽可能不要放在同一个Job里面比较好。

仅供参考。






在 2019-04-06 16:38:09,"张作峰" <mail@zhangzuofeng.cn> 写道:
>业务场景中,需要将处理后的消息写入到HBase中,由于写入HBase慢,引起消息堆积。
>通过Stream API 有没有方法可以异步批量发送?
>谢谢!
Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message