incubator-cassandra-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Roland Gude <roland.g...@yoochoose.com>
Subject AW: Pending ReadStage is exploding on only one node
Date Wed, 23 Nov 2011 12:55:28 GMT
Are you using indexslicequeries?

I described a similar problem a couple of months ago (and mechanisms to reproduce the behavior)
but unfortunately failed to create an issue for it (shame on me).
The mail thread is in the archives
http://www.mail-archive.com/user@cassandra.apache.org/msg16157.html



Von: Johann Höchtl [mailto:h.hoechtl@ic-drei.de]
Gesendet: Montag, 21. November 2011 22:17
An: user@cassandra.apache.org
Betreff: Re: Pending ReadStage is exploding on only one node

Yes, it's random partioned.

Am 21.11.2011 13:47, schrieb Jahangir Mohammed:
Hmm..What's the data distribution like on cluster? R.P.?
On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de<mailto:h.hoechtl@ic-drei.de>>
wrote:
I'm using hector-0.8.0-2.
No custom load balancer.
Hardware is equal on every server.

Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
I am not so sure from version to version.

1. Which client are you using? Any custom load balancer?
2. Is the hardware on this node any different from other nodes?

Thanks,
Jahangir.
On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h.hoechtl@ic-drei.de<mailto:h.hoechtl@ic-drei.de>>
wrote:
Hi all,

I'm experiencing strange behaviour of my 6-node cassandra cluster and I hope some one can
explain, what I'm doing wrong.

The setting:
6-Cassandra Nodes 1.0.3
Random Partitioning
The ColumnFamily in question has a replication factor of 2 and stores products of different
shops with a secondary index on shop_id.

Twice a day, I do an update of the data with the following mechanism:
Get all keys of a shop.
Read the new CSV.
Insert the rows from the csv, which keys are not present and delete the rows which are not
longer present.
Update all prices of the products from the csv and set an update_date.

I'm measuring a high load value on a few nodes during the update process (which is normal),
but one node keeps the high load after the process for a long time.
I checked the tpstats and found out, that on this node there are over 50k pending ReadStage
tasks.
All the other nodes don't have that behaviour.

I already had this problem on cassandra 0.7, but after upgrading to 0.8 it disappeared. Now
it is back.

Any suggestions?

Thanks,
Hans


--
Mit freundlichen Grüßen,

Johann Höchtl
stellv. IT-Leiter


Adresse
Grafinger Straße 6
81671 München

Kontakt
Web: www.ic3.de<http://www.ic-drei.de/>
E-Mail: h.hoechtl@ic-drei.de<mailto:h.hoechtl@ic-drei.de>
Tel.: 089 638 666 89 - 0
Fax: 089 638 666 89 - 20



[cid:image001.jpg@01CCA9E7.8ED1B7B0]<http://www.ic3.de/>


Wichtige Hinweise
Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte Informationen enthalten.
Sofern Sie nicht der in dieser Nachricht genannte Adressat (oder ein für die Weiterleitung
der Nachricht an den Adressaten Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht
zu kopieren oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese Nachricht
und informieren Sie den Absender dieser Nachricht per Antwort-Nachricht. Die ungenehmigte
Nutzung oder Verbreitung dieser Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte
beachten Sie ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt
dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht ist nur rechtsverbindlich,
wenn er schriftlich bestätigt wird. IC3 Ltd. kann nicht für die unrichtige oder unvollständige
Übermittlung von in dieser Nachricht enthaltenen Informationen, für Verzögerungen beim
Erhalt dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese Nachricht verantwortlich
gemacht werden. IC3 Ltd. übernimmt keinerlei Gewähr dafür, dass diese Nachricht nicht verändert
wurde und keinerlei Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen
oder in sie anderweitig eingegriffen wurde.


Important notice
Disclaimer: Privileged/Confidential Informations may be contained in this message. If you
are not the addressee indicated in this message (or responsible for delivery of the message
to such person), you may not copy or deliver this message to anyone. In such case, you should
destroy this message and kindly notify the sender by reply email. Any unauthorized use or
dissemination of this message in whole or in part is strictly prohibited. Please note that
e-mails are susceptible to change. The content of this message is therefore not legally binding.
The content of this message is only legally binding if confirmed in writing. IC3 Ltd. shall
not be liable for the improper or incomplete transmission of the information contained in
this communication nor for any delay in its receipt or damage to your system. IC3 Ltd. does
not guarantee that the integrity of this communication has been maintained nor that this communication
is free of viruses, interceptions or interference.





Mime
View raw message