Na ovom blogu, pogledajmo kako napraviti Spark za određenu verziju Hadoop-a.
Također ćemo naučiti kako graditi Spark sa košnicom i pređom.
što je frame u javi
S obzirom na to da imate Hadoop, jdk, mvn i ići unaprijed instaliran i unaprijed konfiguriran na vašem sustavu.
Otvoren Preglednik Mozilla i Preuzmi Iskra koristeći vezu ispod.
https://edureka.wistia.com/medias/k14eamzaza/
Otvoreni terminal.
Naredba: tar -xvf Downloads / spark-1.1.1.tgz
Naredba: ls
Otvorite direktorij spark-1.1.1.
Možete otvoriti pom.xml datoteka. Ova datoteka daje vam informacije o svim ovisnosti trebaš.
Nemojte ga uređivati kako biste izbjegli probleme.
Naredba: cd spark-1.1.1 /
Naredba: sudo gedit sbt / sbt-launch-lib.bash
Uredite datoteku kao donju snimku, spremite je i zatvorite.
Smanjujemo memoriju kako bismo izbjegli problem prostora hrpe objekata kako je spomenuto u donjoj snimci.
Sada pokrenite donju naredbu u terminalu da biste izgradili iskru za Hadoop 2.2.0 s HIVE i YARN.
Naredba: ./sbt/sbt -P pređa -P košnica -Phadoop-2.2 -D hadoop.verzija = 2,2,0 -D preskočiteTest skupština
Napomena: Moja verzija Hadoop-a je 2.2.0, možete je promijeniti u skladu s verzijom Hadoop-a.
Za ostale verzije Hadoop-a
# Apache Hadoop 2.0.5-alfa
-Dhadoop.verzija = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.verzija = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.verzija = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.verzija = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.verzija = 2.4.0
Trebat će malo vremena za sastavljanje i pakiranje, pričekajte dok se ne završi.
Dvije staklenke iskra-sklop-1.1.1-hadoop2.2.0.jar i iskre-primjeri-1.1.1-hadoop2.2.0.jar stvara se.
Put od iskra-sklop-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Put od spark-primjeri-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Čestitamo, uspješno ste izgradili Spark za košnicu i pređu.
Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.
Vezane objave:
Apache Spark s Hadoop-om - Zašto je to važno?