cassandra-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Johann Höchtl <h.hoec...@ic-drei.de>
Subject Re: Pending ReadStage is exploding on only one node
Date Mon, 21 Nov 2011 12:31:38 GMT
I'm using hector-0.8.0-2.
No custom load balancer.
Hardware is equal on every server.

Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.
>
> On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h.hoechtl@ic-drei.de 
> <mailto:h.hoechtl@ic-drei.de>> wrote:
>
>     Hi all,
>
>     I'm experiencing strange behaviour of my 6-node cassandra cluster
>     and I hope some one can explain, what I'm doing wrong.
>
>     The setting:
>     6-Cassandra Nodes 1.0.3
>     Random Partitioning
>     The ColumnFamily in question has a replication factor of 2 and
>     stores products of different shops with a secondary index on shop_id.
>
>     Twice a day, I do an update of the data with the following mechanism:
>     Get all keys of a shop.
>     Read the new CSV.
>     Insert the rows from the csv, which keys are not present and
>     delete the rows which are not longer present.
>     Update all prices of the products from the csv and set an update_date.
>
>     I'm measuring a high load value on a few nodes during the update
>     process (which is normal), but one node keeps the high load after
>     the process for a long time.
>     I checked the tpstats and found out, that on this node there are
>     over 50k pending ReadStage tasks.
>     All the other nodes don't have that behaviour.
>
>     I already had this problem on cassandra 0.7, but after upgrading
>     to 0.8 it disappeared. Now it is back.
>
>     Any suggestions?
>
>     Thanks,
>     Hans
>
>


-- 
Mit freundlichen Grüßen,

Johann Höchtl
stellv. IT-Leiter

*Adresse*
Grafinger Straße 6
81671 München 	*Kontakt*
Web: www.ic3.de <http://www.ic-drei.de/>
E-Mail: h.hoechtl@ic-drei.de <mailto:h.hoechtl@ic-drei.de>
Tel.: 089 638 666 89 - 0
Fax: 089 638 666 89 - 20 	


ic3 Logo <http://www.ic3.de/>

*Wichtige Hinweise*
Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte 
Informationen enthalten. Sofern Sie nicht der in dieser Nachricht 
genannte Adressat (oder ein für die Weiterleitung der Nachricht an den 
Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese 
Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall 
löschen Sie bitte diese Nachricht und informieren Sie den Absender 
dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder 
Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens 
untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert 
werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich 
verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich, wenn 
er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die unrichtige 
oder unvollständige Übermittlung von in dieser Nachricht enthaltenen 
Informationen, für Verzögerungen beim Erhalt dieser Nachricht oder für 
Schädigungen Ihrer EDV-Systeme durch diese Nachricht verantwortlich 
gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr dafür, dass diese 
Nachricht nicht verändert wurde und keinerlei Gewähr dafür, dass diese 
Nachricht nicht von Viren befallen, abgefangen oder in sie anderweitig 
eingegriffen wurde.

*Important notice*
Disclaimer: Privileged/Confidential Informations may be contained in 
this message. If you are not the addressee indicated in this message (or 
responsible for delivery of the message to such person), you may not 
copy or deliver this message to anyone. In such case, you should destroy 
this message and kindly notify the sender by reply email. Any 
unauthorized use or dissemination of this message in whole or in part is 
strictly prohibited. Please note that e-mails are susceptible to change. 
The content of this message is therefore not legally binding. The 
content of this message is only legally binding if confirmed in writing. 
IC3 Ltd. shall not be liable for the improper or incomplete transmission 
of the information contained in this communication nor for any delay in 
its receipt or damage to your system. IC3 Ltd. does not guarantee that 
the integrity of this communication has been maintained nor that this 
communication is free of viruses, interceptions or interference.


Mime
View raw message