flink-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From <Bernd.Winterst...@Dev.Helaba.de>
Subject AW: number of files in checkpoint directory grows endlessly
Date Thu, 29 Nov 2018 09:48:15 GMT
Hi
We use Flink 1..6.2. As for the checkpoint directory there is only one chk-xxx directory.
Therefore if would expect only one checkpoint remains.
The value of 'state.checkpoints.num-retained’ is not set explicitly.

The problem is not the number of checkpoints but the number of files in the "shared" directory
next to the chk-xxx directory.


-----Ursprüngliche Nachricht-----
Von: Andrey Zagrebin [mailto:andrey@data-artisans.com]
Gesendet: Donnerstag, 29. November 2018 10:39
An: Kostas Kloudas
Cc: Winterstein, Bernd; user; Stefan Richter; Till Rohrmann; Stephan Ewen
Betreff: Re: number of files in checkpoint directory grows endlessly

Hi Bernd,

Did you change 'state.checkpoints.num-retained’ in flink-conf.yaml? By default, only one
checkpoint should be retained.

Which version of Flink do you use?
Can you check Job Master logs whether you see there warning like this:
`Fail to subsume the old checkpoint`?

Best,
Andrey

> On 29 Nov 2018, at 10:18, Kostas Kloudas <k.kloudas@data-artisans.com> wrote:
>
> Hi Bernd,
>
> I think the Till, Stefan or Stephan (cc'ed) are the best to answer your question.
>
> Cheers,
> Kostas

________________________________


Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181

Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum Informationsaustausch.
Wir koennen auf diesem Wege keine rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.

Der Inhalt dieser Nachricht ist vertraulich und nur fuer den angegebenen Empfaenger bestimmt.
Jede Form der Kenntnisnahme oder Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht
nicht fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder telefonisch in
Verbindung zu setzen.

Please use your E-mail connection with us exclusively for the exchange of information. We
do not accept legally binding declarations (orders, etc.) by this means of communication.

The contents of this message is confidential and intended only for the recipient indicated.
Taking notice of this message or disclosure by third parties is not
permitted. In the event that this message is not intended for you, please contact us via E-mail
or phone.
Mime
View raw message