incubator-cassandra-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Jahangir Mohammed <md.jahangi...@gmail.com>
Subject Re: Pending ReadStage is exploding on only one node
Date Mon, 21 Nov 2011 12:47:59 GMT
Hmm..What's the data distribution like on cluster? R.P.?

On Mon, Nov 21, 2011 at 7:31 AM, Johann Höchtl <h.hoechtl@ic-drei.de> wrote:

> **
> I'm using hector-0.8.0-2.
> No custom load balancer.
> Hardware is equal on every server.
>
> Am 21.11.2011 13:26, schrieb Jahangir Mohammed:
>
> I am not so sure from version to version.
>
> 1. Which client are you using? Any custom load balancer?
> 2. Is the hardware on this node any different from other nodes?
>
> Thanks,
> Jahangir.
>
>  On Mon, Nov 21, 2011 at 5:55 AM, Johann Höchtl <h.hoechtl@ic-drei.de>wrote:
>
>> Hi all,
>>
>> I'm experiencing strange behaviour of my 6-node cassandra cluster and I
>> hope some one can explain, what I'm doing wrong.
>>
>> The setting:
>> 6-Cassandra Nodes 1.0.3
>> Random Partitioning
>> The ColumnFamily in question has a replication factor of 2 and stores
>> products of different shops with a secondary index on shop_id.
>>
>> Twice a day, I do an update of the data with the following mechanism:
>> Get all keys of a shop.
>> Read the new CSV.
>> Insert the rows from the csv, which keys are not present and delete the
>> rows which are not longer present.
>> Update all prices of the products from the csv and set an update_date.
>>
>> I'm measuring a high load value on a few nodes during the update process
>> (which is normal), but one node keeps the high load after the process for a
>> long time.
>> I checked the tpstats and found out, that on this node there are over 50k
>> pending ReadStage tasks.
>> All the other nodes don't have that behaviour.
>>
>> I already had this problem on cassandra 0.7, but after upgrading to 0.8
>> it disappeared. Now it is back.
>>
>> Any suggestions?
>>
>> Thanks,
>> Hans
>>
>
>
>
> --
>    Mit freundlichen Grüßen,
>
> Johann Höchtl
> stellv. IT-Leiter
>      *Adresse*
> Grafinger Straße 6
> 81671 München   *Kontakt*
> Web: www.ic3.de <http://www.ic-drei.de/>
> E-Mail: h.hoechtl@ic-drei.de
> Tel.: 089 638 666 89 - 0
> Fax: 089 638 666 89 - 20
>
>    [image: ic3 Logo] <http://www.ic3.de/>
>    *Wichtige Hinweise*
> Hinweis: Diese Nachricht kann vertrauliche/rechtlich geschützte
> Informationen enthalten. Sofern Sie nicht der in dieser Nachricht genannte
> Adressat (oder ein für die Weiterleitung der Nachricht an den Adressaten
> Verantwortlicher) sind, ist es Ihnen untersagt, diese Nachricht zu kopieren
> oder an Dritte weiterzugeben. In diesem Fall löschen Sie bitte diese
> Nachricht und informieren Sie den Absender dieser Nachricht per
> Antwort-Nachricht. Die ungenehmigte Nutzung oder Verbreitung dieser
> Nachricht ganz oder in Teilen ist strengstens untersagt. Bitte beachten Sie
> ferner, dass E-Mails leicht manipuliert werden können. Daher ist der Inhalt
> dieser Nachricht nicht rechtlich verbindlich. Der Inhalt dieser Nachricht
> ist nur rechtsverbindlich, wenn er schriftlich bestätigt wird. IC3 Ltd.
> kann nicht für die unrichtige oder unvollständige Übermittlung von in
> dieser Nachricht enthaltenen Informationen, für Verzögerungen beim Erhalt
> dieser Nachricht oder für Schädigungen Ihrer EDV-Systeme durch diese
> Nachricht verantwortlich gemacht werden. IC3 Ltd. übernimmt keinerlei
> Gewähr dafür, dass diese Nachricht nicht verändert wurde und keinerlei
> Gewähr dafür, dass diese Nachricht nicht von Viren befallen, abgefangen
> oder in sie anderweitig eingegriffen wurde.
>    *Important notice*
> Disclaimer: Privileged/Confidential Informations may be contained in this
> message. If you are not the addressee indicated in this message (or
> responsible for delivery of the message to such person), you may not copy
> or deliver this message to anyone. In such case, you should destroy this
> message and kindly notify the sender by reply email. Any unauthorized use
> or dissemination of this message in whole or in part is strictly
> prohibited. Please note that e-mails are susceptible to change. The content
> of this message is therefore not legally binding. The content of this
> message is only legally binding if confirmed in writing. IC3 Ltd. shall not
> be liable for the improper or incomplete transmission of the information
> contained in this communication nor for any delay in its receipt or damage
> to your system. IC3 Ltd. does not guarantee that the integrity of this
> communication has been maintained nor that this communication is free of
> viruses, interceptions or interference.
>

Mime
View raw message