Naučili smo kako Izgradite košnicu i pređu na Spark-u . Ajmo sada isprobati primjere košnica i pređe na Spark-u.
Primjer košnice na Iskri
Izvest ćemo primjer Hive on Spark. Stvorit ćemo tablicu, učitati podatke u nju i izvršiti jednostavan upit. Kada radite s košnicom, moramo konstruirati a HiveContext koja nasljeđuje od SQLContext .
Naredba: cd iskra-1.1.1
Naredba: ./bin/iskra- ljuska
Stvorite ulaznu datoteku 'uzorak' u vašem kućnom direktoriju kao što je prikazano na slici ispod (kartica odvojena).
Naredba: val sqlContext = novi org.apache.spark.sql.hive.HiveContext (sc)
Naredba: sqlContext.sql („IZRADI TABELU AKO NE POSTOJI test (naziv STRING, rang INT) REDNI OBLIK ODNOSNA POLJA ZAKLJUČENA„ ‘LINIJAMA PREKINUTIM„
‘”)
Naredba: sqlContext.sql („Učitaj podatke o lokalnom putu‘ / home / edureka / sample ’IN TABLE test“)
Naredba: sqlContext.sql (“SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Primjer pređe na Iskri
Primijenit ćemo SparkPi primjer na Pređi. Pređu na Spark možemo rasporediti u dva načina: klaster i klijentski. U načinu pređe-klastera, pogonitelj Spark izvodi se unutar glavnog procesa aplikacije kojim Yarn upravlja na klasteru, a klijent može otići nakon pokretanja aplikacije. U načinu pređe-klijent, pokretački program radi u procesu klijenta, a glavni se program aplikacije koristi samo za traženje resursa od Pređe.
unakrsno ispitivanje preglednika u selenu
Naredba: cd iskra-1.1.1
Naredba: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master pređa –grupa u modu primjene –razred org.apache.spark.primjeri. SparkPi –num-izvršitelji 1 –driver-memorija 2g –izvršitelj-memorija 1g –izvršitelj-jezgre 1 primjeri / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Nakon što izvršite gornju naredbu, pričekajte neko vrijeme dok ne dobijete USPJELO poruka.
pretraživati localhost: 8088 / grozd i kliknite na aplikaciju Spark.
Kliknite na trupci .
Kliknite na stdout za provjeru izlaza.
Za postavljanje pređe na Spark u klijentskom načinu, samo napravite –Deploy-mode kao 'klijent'. Sada znate kako napraviti košnicu i pređu na Sparku. Održali smo i vježbe na njima.
Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.
Vezane objave
Apache Spark s Hadoop-om - Zašto je to važno?
Košnica i pređa se elektrificiraju iskrom