cassandra-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Johann Höchtl <h.hoec...@ic-drei.de>
Subject Re: Pending ReadStage is exploding on only one node
Date Wed, 23 Nov 2011 19:47:34 GMT
Yes I'm using indexslicequeries, but both of the request parameters have 
a secondary index on them. So it's not quite similar to your problem.


Am 23.11.2011 13:55, schrieb Roland Gude:
>
> Are you using indexslicequeries?
>
> I described a similar problem a couple of months ago (and mechanisms 
> to reproduce the behavior) but unfortunately failed to create an issue 
> for it (shame on me).
>
> The mail thread is in the archives
>
> http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html
>
> *Von:*Johann Höchtl [mailto:h.hoechtl@ic-drei.de]
> *Gesendet:* Montag, 21. November 2011 22:17
> *An:* user@cassandra.apache.org
> *Betreff:* Re: Pending ReadStage is exploding on only one node
>
> Yes, it's random partioned.
>
> Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
>
> Hmm..What's the data distribution like on cluster? R.P.?
>
> On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de 
> <mailto:h.hoechtl@ic-drei.de>> wrote:
>
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>
>     I am not so sure from version to version.
>
>     1. Which client are you using? Any custom load balancer?
>     2. Is the hardware on this node any different from other nodes?
>
>     Thanks,
>     Jahangir.
>
>     On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl
>     <h.hoechtl@ic-drei.de <mailto:h.hoechtl@ic-drei.de>> wrote:
>
>     Hi all,
>
>     I'm experiencing strange behaviour of my 6-node cassandra cluster
>     and I hope some one can explain, what I'm doing wrong.
>
>     The setting:
>     6-Cassandra Nodes 1.0.3
>     Random Partitioning
>     The ColumnFamily in question has a replication factor of 2 and
>     stores products of different shops with a secondary index on shop_id.
>
>     Twice a day, I do an update of the data with the following mechanism:
>     Get all keys of a shop.
>     Read the new CSV.
>     Insert the rows from the csv, which keys are not present and
>     delete the rows which are not longer present.
>     Update all prices of the products from the csv and set an update_date.
>
>     I'm measuring a high load value on a few nodes during the update
>     process (which is normal), but one node keeps the high load after
>     the process for a long time.
>     I checked the tpstats and found out, that on this node there are
>     over 50k pending ReadStage tasks.
>     All the other nodes don't have that behaviour.
>
>     I already had this problem on cassandra 0.7, but after upgrading
>     to 0.8 it disappeared. Now it is back.
>
>     Any suggestions?
>
>     Thanks,
>     Hans
>
> -- 
>
> Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter
>
>
> *Adresse*
> Grafinger Straße 6
> 81671 München
>
> 	
>
> *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de <mailto:h.hoechtl@ic-drei.de>
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20
>
> 	
>
>
> ic3 Logo <http://www.ic3.de/>
>
>
> *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte 
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht 
> genannte Adressat (oder ein für die Weiterleitung der Nachricht an den 
> Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese 
> Nachricht zu kopieren oder an Dritte weiterzugeben. In diesem Fall 
> löschen Sie bitte diese Nachricht und informieren Sie den Absender 
> dieser Nachricht per Antwort-Nachricht. Die ungenehmigte Nutzung oder 
> Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens 
> untersagt. Bitte beachten Sie ferner, dass E-Mails leicht manipuliert 
> werden können. Daher ist der Inhalt dieser Nachricht nicht rechtlich 
> verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich, 
> wenn er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die 
> unrichtige oder unvollständige Übermittlung von in dieser Nachricht 
> enthaltenen Informationen, für Verzögerungen beim Erhalt dieser 
> Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese 
> Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei 
> Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei 
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen, 
> abgefangen oder in sie anderweitig eingegriffen wurde.
>
>
> *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained in 
> this message. If you are not the addressee indicated in this message 
> (or responsible for delivery of the message to such person), you may 
> not copy or deliver this message to anyone. In such case, you should 
> destroy this message and kindly notify the sender by reply email. Any 
> unauthorized use or dissemination of this message in whole or in part 
> is strictly prohibited. Please note that e-mails are susceptible to 
> change. The content of this message is therefore not legally binding. 
> The content of this message is only legally binding if confirmed in 
> writing. IC3 Ltd. shall not be liable for the improper or incomplete 
> transmission of the information contained in this communication nor 
> for any delay in its receipt or damage to your system. IC3 Ltd. does 
> not guarantee that the integrity of this communication has been 
> maintained nor that this communication is free of viruses, 
> interceptions or interference.
>
>


Mime
View raw message