spark-user mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Tathagata Das <tathagata.das1...@gmail.com>
Subject Re: Print in JavaNetworkWordCount
Date Mon, 20 Jan 2014 18:11:30 GMT
Hi Eduardo,

You can do arbitrary stuff with the data in a DStream using the operation
foreachRDD.

yourDStream.foreachRDD(rdd => {

   // Get and print first n elements
   val firstN = rdd.take(n)
   println("First N elements = " + firstN)

  // Count the number of elements in each batch
  println("RDD has " + rdd.count() + " elements")

})


Alternatively, just for printing the counts, you can also do

yourDStream.count.print()

Hope this helps!

TD



2014/1/20 Eduardo Costa Alfaia <e.costaalfaia@studenti.unibs.it>

> Hi guys,
>
> Somebody help me, Where do I get change the print() function to print more
> than 10 lines in screen? Is there a manner to print the count total of all
> words in a batch?
>
> Best Regards
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>

Mime
View raw message