spark-dev mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From Tathagata Das <tathagata.das1...@gmail.com>
Subject Re: Print in JavaNetworkWordCount
Date Tue, 28 Jan 2014 21:36:53 GMT
Yes, it was my intention to write scala code. But I may have failed to
write a correct one that compiles. Apologies.

Also, something to keep in mind. This is the dev mailing for Spark
developers. Questions related to using Spark should be sent to
user@spark.incubator.apache.org

TD



2014/1/28 Eduardo Costa Alfaia <e.costaalfaia@unibs.it>

> Hi Tathagata,
>
> This code that you have sent me is it a scala code?
>
> yourDStream.foreachRDD(rdd => {
>
>    // Get and print first n elements
>    val firstN = rdd.take(n)
>    println("First N elements = " + firstN)
>
>   // Count the number of elements in each batch
>   println("RDD has " + rdd.count() + " elements")
>
> })
>
> Thanks
>
>
>
> Il giorno 20 gennaio 2014 19:11, Tathagata Das
> <tathagata.das1565@gmail.com>ha scritto:
>
> > Hi Eduardo,
> >
> > You can do arbitrary stuff with the data in a DStream using the operation
> > foreachRDD.
> >
> > yourDStream.foreachRDD(rdd => {
> >
> >    // Get and print first n elements
> >    val firstN = rdd.take(n)
> >    println("First N elements = " + firstN)
> >
> >   // Count the number of elements in each batch
> >   println("RDD has " + rdd.count() + " elements")
> >
> > })
> >
> >
> > Alternatively, just for printing the counts, you can also do
> >
> > yourDStream.count.print()
> >
> > Hope this helps!
> >
> > TD
> >
> >
> >
> > 2014/1/20 Eduardo Costa Alfaia <e.costaalfaia@studenti.unibs.it>
> >
> > > Hi guys,
> > >
> > > Somebody help me, Where do I get change the print() function to print
> > more
> > > than 10 lines in screen? Is there a manner to print the count total of
> > all
> > > words in a batch?
> > >
> > > Best Regards
> > > --
> > > ---
> > > INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
> > >
> > > I dati utilizzati per l'invio del presente messaggio sono trattati
> > > dall'Università degli Studi di Brescia esclusivamente per finalità
> > > istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> > > dell'interessato sono riposte nell'informativa generale e nelle notizie
> > > pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
> > >
> > > Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> > > è indirizzato e può contenere informazioni la cui riservatezza è
> > > tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e
> > l'uso
> > > in mancanza di autorizzazione del destinatario. Qualora il messaggio
> > > fosse pervenuto per errore, preghiamo di eliminarlo.
> > >
> >
>
> --
> ---
> INFORMATIVA SUL TRATTAMENTO DEI DATI PERSONALI
>
> I dati utilizzati per l'invio del presente messaggio sono trattati
> dall'Università degli Studi di Brescia esclusivamente per finalità
> istituzionali. Informazioni più dettagliate anche in ordine ai diritti
> dell'interessato sono riposte nell'informativa generale e nelle notizie
> pubblicate sul sito web dell'Ateneo nella sezione "Privacy".
>
> Il contenuto di questo messaggio è rivolto unicamente alle persona cui
> è indirizzato e può contenere informazioni la cui riservatezza è
> tutelata legalmente. Ne sono vietati la riproduzione, la diffusione e l'uso
> in mancanza di autorizzazione del destinatario. Qualora il messaggio
> fosse pervenuto per errore, preghiamo di eliminarlo.
>

Mime
  • Unnamed multipart/alternative (inline, None, 0 bytes)
View raw message