flink-user-zh mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "残翅2008" <770968...@qq.com>
Subject 回复: Flink实现Kafka到Mysql的 End-To-End Exactly-Once中遇到的问题
Date Fri, 03 Jan 2020 07:13:38 GMT
对于第1个问题尝试使用mysql-connector-java的latest版本
我之前使用5.1.6版本遇到同样的问题
改为5.1.48比较稳定
<dependency&gt;
&nbsp; &nbsp; <groupId&gt;mysql</groupId&gt;
&nbsp; &nbsp; <artifactId&gt;mysql-connector-java</artifactId&gt;
&nbsp; &nbsp; <version&gt;5.1.48</version&gt;
</dependency&gt;





------------------&nbsp;原始邮件&nbsp;------------------
发件人:&nbsp;"LakeShen"<shenleifighting@gmail.com&gt;;
发送时间:&nbsp;2019年12月26日(星期四) 中午11:35
收件人:&nbsp;"user-zh"<user-zh@flink.apache.org&gt;;

主题:&nbsp;Re: Flink实现Kafka到Mysql的 End-To-End Exactly-Once中遇到的问题



是否可以尝试使用幂等来解决 端到端的一致性

Best wishes,
沈磊

卢伟楠 <glusecond@gmail.com&gt; 于2019年12月25日周三 下午4:09写道:

&gt; 各位大佬好:
&gt;
&gt; 最近是实现Kafka到Mysql的 End-To-End Exactly-Once中遇到以下2个问题:
&gt; 1:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:
&gt; Communications link failure during commit(). Transaction resolution unknown.
&gt; 2:org.apache.flink.streaming.runtime.tasks.TimerException:
&gt; org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException:
&gt; Could not forward element to next operator
&gt;
&gt; 已经做了一个最简单的复现问题的demo,求指教
&gt; git clone https://github.com/lusecond/flink_help --depth=1
&gt;
&gt;
&gt; 测试过程中,发现继承TwoPhaseCommitSinkFunction类的4个重写方法beginTransaction、preCommit、commit、abort
&gt; 分别在不同的线程工作,怀疑过因为线程切换导致jdbc的事务提交出问题,已经做过相关测试排除不是由此引起的问题
Mime
  • Unnamed multipart/alternative (inline, 8-Bit, 0 bytes)
View raw message