Primjeri košnice i pređe na Spark

Na ovom ćemo blogu pokrenuti primjere košnica i pređe na Spark-u. Prvo, izgradite košnicu i pređu na Spark-u, a zatim možete pokrenuti primjere košnice i pređe na Spark-u.

Naučili smo kako Izgradite košnicu i pređu na Spark-u . Ajmo sada isprobati primjere košnica i pređe na Spark-u.





Learn-Spark-Now

Primjer košnice na Iskri

Izvest ćemo primjer Hive on Spark. Stvorit ćemo tablicu, učitati podatke u nju i izvršiti jednostavan upit. Kada radite s košnicom, moramo konstruirati a HiveContext koja nasljeđuje od SQLContext .



Naredba: cd iskra-1.1.1

Naredba: ./bin/iskra- ljuska



Stvorite ulaznu datoteku 'uzorak' u vašem kućnom direktoriju kao što je prikazano na slici ispod (kartica odvojena).

Naredba: val sqlContext = novi org.apache.spark.sql.hive.HiveContext (sc)

Naredba: sqlContext.sql („IZRADI TABELU AKO NE POSTOJI test (naziv STRING, rang INT) REDNI OBLIK ODNOSNA POLJA ZAKLJUČENA„ ‘LINIJAMA PREKINUTIM„
‘”)

Naredba: sqlContext.sql („Učitaj podatke o lokalnom putu‘ / home / edureka / sample ’IN TABLE test“)

Naredba: sqlContext.sql (“SELECT * FROM test WHERE rank<5”).collect().foreach(println)

Primjer pređe na Iskri

Primijenit ćemo SparkPi primjer na Pređi. Pređu na Spark možemo rasporediti u dva načina: klaster i klijentski. U načinu pređe-klastera, pogonitelj Spark izvodi se unutar glavnog procesa aplikacije kojim Yarn upravlja na klasteru, a klijent može otići nakon pokretanja aplikacije. U načinu pređe-klijent, pokretački program radi u procesu klijenta, a glavni se program aplikacije koristi samo za traženje resursa od Pređe.

unakrsno ispitivanje preglednika u selenu

Naredba: cd iskra-1.1.1

Naredba: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master pređa –grupa u modu primjene –razred org.apache.spark.primjeri. SparkPi –num-izvršitelji 1 –driver-memorija 2g –izvršitelj-memorija 1g –izvršitelj-jezgre 1 primjeri / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

Nakon što izvršite gornju naredbu, pričekajte neko vrijeme dok ne dobijete USPJELO poruka.

pretraživati localhost: 8088 / grozd i kliknite na aplikaciju Spark.

Kliknite na trupci .

Kliknite na stdout za provjeru izlaza.

Za postavljanje pređe na Spark u klijentskom načinu, samo napravite –Deploy-mode kao 'klijent'. Sada znate kako napraviti košnicu i pređu na Sparku. Održali smo i vježbe na njima.

Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.

Vezane objave

Apache Spark s Hadoop-om - Zašto je to važno?

Košnica i pređa se elektrificiraju iskrom