cassandra-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Johann Höchtl <h.hoec...@ic-drei.de>
Subject Re: Pending ReadStage is exploding on only one node
Date Mon, 21 Nov 2011 21:17:06 GMT
Yes, it's random partioned.

Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
> Hmm..What's the data distribution like on cluster? R.P.?
>
> On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de 
> <mailto:h.hoechtl@ic-drei.de>> wrote:
>
>     I'm using hector-0.8.0-2.
>     No custom load balancer.
>     Hardware is equal on every server.
>
>     Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>>     I am not so sure from version to version.
>>
>>     1. Which client are you using? Any custom load balancer?
>>     2. Is the hardware on this node any different from other nodes?
>>
>>     Thanks,
>>     Jahangir.
>>
>>     On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl
>>     <h.hoechtl@ic-drei.de <mailto:h.hoechtl@ic-drei.de>> wrote:
>>
>>         Hi all,
>>
>>         I'm experiencing strange behaviour of my 6-node cassandra
>>         cluster and I hope some one can explain, what I'm doing wrong.
>>
>>         The setting:
>>         6-Cassandra Nodes 1.0.3
>>         Random Partitioning
>>         The ColumnFamily in question has a replication factor of 2
>>         and stores products of different shops with a secondary index
>>         on shop_id.
>>
>>         Twice a day, I do an update of the data with the following
>>         mechanism:
>>         Get all keys of a shop.
>>         Read the new CSV.
>>         Insert the rows from the csv, which keys are not present and
>>         delete the rows which are not longer present.
>>         Update all prices of the products from the csv and set an
>>         update_date.
>>
>>         I'm measuring a high load value on a few nodes during the
>>         update process (which is normal), but one node keeps the high
>>         load after the process for a long time.
>>         I checked the tpstats and found out, that on this node there
>>         are over 50k pending ReadStage tasks.
>>         All the other nodes don't have that behaviour.
>>
>>         I already had this problem on cassandra 0.7, but after
>>         upgrading to 0.8 it disappeared. Now it is back.
>>
>>         Any suggestions?
>>
>>         Thanks,
>>         Hans
>>
>>
>
>
>     -- 
>     Mit freundlichen Grüßen,
>
>     Johann Höchtl
>     stellv. IT-Leiter
>
>     *Adresse*
>     Grafinger Straße 6
>     81671 München 	*Kontakt*
>     Web: www.ic3.de <http://www.ic-drei.de/>
>     E-Mail: h.hoechtl@ic-drei.de <mailto:h.hoechtl@ic-drei.de>
>     Tel.: 089 638 666 89 - 0
>     Fax: 089 638 666 89 - 20 	
>
>
>     ic3 Logo <http://www.ic3.de/>
>
>     *Wichtige Hinweise*
>     Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
>     Informationen enthalten. Sofern Sie nicht der in dieser Nachricht
>     genannte Adressat (oder ein für die Weiterleitung der Nachricht an
>     den Adressaten Verantwortlicher) sind, ist es Ihnen untersagt,
>     diese Nachricht zu kopieren oder an Dritte weiterzugeben. In
>     diesem Fall löschen Sie bitte diese Nachricht und informieren Sie
>     den Absender dieser Nachricht per Antwort-Nachricht. Die
>     ungenehmigte Nutzung oder Verbreitung dieser Nachricht ganz oder
>     in Teilen ist strengstens untersagt. Bitte beachten Sie ferner,
>     dass E-Mails leicht manipuliert werden können. Daher ist der
>     Inhalt dieser Nachricht nicht rechtlich verbindlich. Der Inhalt
>     dieser Nachricht ist nur rechtsverbindlich, wenn er schriftlich
>     bestätigt wird. IC3 Ltd. kann nicht für die unrichtige oder
>     unvollständige Übermittlung von in dieser Nachricht enthaltenen
>     Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder
>     für Schädigungen Ihrer EDV-Systeme durch diese Nachricht
>     verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr
>     dafür, dass diese Nachricht nicht verändert wurde und keinerlei
>     Gewähr dafür, dass diese Nachricht nicht von Viren befallen,
>     abgefangen oder in sie anderweitig eingegriffen wurde.
>
>     *Important notice*
>     Disclaimer: Privileged/Confidential Informations may be contained
>     in this message. If you are not the addressee indicated in this
>     message (or responsible for delivery of the message to such
>     person), you may not copy or deliver this message to anyone. In
>     such case, you should destroy this message and kindly notify the
>     sender by reply email. Any unauthorized use or dissemination of
>     this message in whole or in part is strictly prohibited. Please
>     note that e-mails are susceptible to change. The content of this
>     message is therefore not legally binding. The content of this
>     message is only legally binding if confirmed in writing. IC3 Ltd.
>     shall not be liable for the improper or incomplete transmission of
>     the information contained in this communication nor for any delay
>     in its receipt or damage to your system. IC3 Ltd. does not
>     guarantee that the integrity of this communication has been
>     maintained nor that this communication is free of viruses,
>     interceptions or interference.
>
>


Mime
View raw message