Instalirajte Hadoop: Postavljanje klastera Hadoop s jednim čvorom
Iz naših prethodnih blogova na , sigurno imate teoretsku ideju o Hadoopu, HDFS-u i njegovoj arhitekturi.Ali dobiti trebate dobro praktično znanje.Nadam se da bi vam se svidio naš prethodni blog , sad ću vas provesti kroz praktično znanje o Hadoopu i HDFS-u. Prvi korak naprijed je instalacija Hadoopa.
Postoje dva načina za instaliranje Hadoopa, tj. Pojedinačni čvor i Više čvorova .
Klaster jednog čvora označava samo jedan DataNode koji se izvodi i postavlja sve NameNode, DataNode, ResourceManager i NodeManager na jednom stroju. To se koristi u svrhe proučavanja i testiranja. Na primjer, razmotrimo uzorak podataka unutar zdravstvene djelatnosti. Dakle, za testiranje jesu li Oozie poslovi zakazali sve procese poput prikupljanja, agregiranja, spremanja i obrade podataka u ispravnom slijedu, koristimo klaster s jednim čvorom. Može lako i učinkovito testirati sekvencijalni tijek rada u manjem okruženju u usporedbi s velikim okruženjima koja sadrže terabajte podataka raspoređenih na stotine strojeva.
Dok je u Klaster više čvorova , postoji više od jednog DataNode koji se izvodi i svaki DataNode radi na različitim računalima. Klaster s više čvorova praktično se koristi u organizacijama za analizu velikih podataka. Uzimajući u obzir gornji primjer, u stvarnom vremenu kada imamo posla s petabajtima podataka, treba ih distribuirati na stotine strojeva koji će se obraditi. Dakle, ovdje koristimo klaster s više čvorova.
Na ovom blogu pokazat ću vam kako instalirati Hadoop na klaster s jednim čvorom.
Preduvjeti
- VIRTUALNA KUTIJA : koristi se za instaliranje operativnog sustava na njega.
- OPERACIJSKI SUSTAV : Hadoop možete instalirati na operativni sustav zasnovan na Linuxu. Ubuntu i CentOS se vrlo često koriste. U ovom uputstvu koristimo CentOS.
- JAVA : Na svoj sustav morate instalirati paket Java 8.
- HADOOP : Potreban vam je paket Hadoop 2.7.3.
Instalirajte Hadoop
Korak 1: Kliknite ovdje za preuzimanje paketa Java 8. Spremite ovu datoteku u svoj kućni direktorij.
Korak 2: Izdvojite datoteku Java Tar.
Naredba : tar -xvf jdk-8u101-linux-i586.tar.gz
Slika: Instalacija Hadoop - Izdvajanje Java datoteka
Korak 3: Preuzmite paket Hadoop 2.7.3.
Naredba : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Slika: Instalacija Hadoopa - Preuzimanje Hadoopa
Korak 4: Izdvojite datoteku Hadoop tar.
Naredba : tar -xvf hadoop-2.7.3.tar.gz
Slika: Instalacija Hadoop - Izdvajanje Hadoop datoteka
Korak 5: Dodajte Hadoop i Java staze u bash datoteku (.bashrc).
Otvoren . bashrc datoteka. Sada dodajte Hadoop i Java Path kao što je prikazano u nastavku.
Naredba : vi .bashrc
Slika: Instalacija Hadoop - Postavljanje varijable okoline
Zatim spremite bash datoteku i zatvorite je.
Za primjenu svih ovih promjena na trenutni terminal izvršite izvornu naredbu.
Naredba : izvor .bashrc
Slika: Instalacija Hadoop - Osvježavanje varijabli okoline
Da biste bili sigurni da su Java i Hadoop pravilno instalirani na vaš sustav i da im se može pristupiti putem terminala,xecute naredbe Java -version i hadoop verzije.
Naredba : Java-verzija
Slika: Instalacija Hadoop - Provjera Java verzije
Naredba : hadoopverzija
Slika: Instalacija Hadoop-a - Provjera verzije Hadoop-a
Korak 6 : Uredite .
Naredba: cd hadoop-2.7.3 / etc / hadoop /
Naredba: ls
Sve konfiguracijske datoteke Hadoop-a nalaze se u hadoop-2.7.3 / etc / hadoop direktorija kao što možete vidjeti na snimci ispod:
Slika: Instalacija Hadoop-a - Konfiguracijske datoteke Hadoop-a
7. korak : Otvoren core-site.xml i uredite dolje spomenuto svojstvo unutar konfiguracijske oznake:
core-site.xml informira Hadoop daemon gdje NameNode radi u klasteru. Sadrži konfiguracijske postavke Hadoop jezgre, poput I / O postavki koje su zajedničke HDFS-u i MapReduceu.
Naredba : vi core-site.xml
Slika: Instalacija Hadoop-a - Konfiguriranje core-site.xml
fs.default.name hdfs: // localhost: 9000
Korak 8: Uredi hdfs-site.xml i uredite dolje spomenuto svojstvo unutar konfiguracijske oznake:
hdfs-site.xml sadrži konfiguracijske postavke HDFS demona (tj. NameNode, DataNode, Secondary NameNode). Također uključuje faktor replikacije i veličinu bloka HDFS-a.
Naredba : vi hdfs-site.xml
Slika: Instalacija Hadoop - Konfiguriranje hdfs-site.xml
dfs.replication 1 dfs.dopuštenje false
Korak 9 : Uredite mapred-site.xml datoteku i uredite dolje spomenuto svojstvo unutar konfiguracijske oznake:
mapred-site.xml sadrži konfiguracijske postavke aplikacije MapReduce poput broja JVM-a koji se mogu paralelno izvoditi, veličine mappera i procesa reduktora, CPU jezgre dostupne za proces itd.
U nekim slučajevima datoteka mapred-site.xml nije dostupna. Dakle, moramo stvoriti datoteku mapred-site.xmlpomoću predloška mapred-site.xml.
Naredba : cp mapred-site.xml.template mapred-site.xml
Naredba : mi mapiran-web mjesto.xml.
Slika: Instalacija Hadoop-a - Konfiguriranje mapred-site.xml
mapreduce.framework.name pređa
10. korak: Uredi pređa-site.xml i uredite dolje spomenuto svojstvo unutar konfiguracijske oznake:
pređa-site.xml sadrži konfiguracijske postavke ResourceManager-a i NodeManager-a poput veličine upravljanja memorijom aplikacija, operacija potrebnih na programu i algoritmu itd.
Naredba : vi pređa-site.xml
Slika: Instalacija Hadoop - Konfiguriranje yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle pređa.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11. korak: Uredi hadoop-env.sh i dodajte Java put kako je spomenuto u nastavku:
hadoop-env.sh sadrži varijable okruženja koje se koriste u skripti za pokretanje Hadoopa poput Java kućne staze itd.
Naredba : mi hadoop-env.sh
Slika: Instalacija Hadoop-a - Konfiguriranje hadoop-env.sh
Korak 12: Idite na Hadoop početni direktorij i formatirajte NameNode.
Naredba : CD
Naredba : cd hadoop-2.7.3
Naredba : bin / hadoop svrha -format
Slika: Instalacija Hadoop - Oblikovanje NameNode
Ovo formatira HDFS putem NameNode. Ova se naredba izvršava samo prvi put. Formatiranje datotečnog sustava znači inicijalizaciju direktorija navedenog varijablom dfs.name.dir.
Nikada nemojte formatirati, pokretati i izvoditi datotečni sustav Hadoop. Izgubit ćete sve podatke pohranjene u HDFS-u.
Korak 13: Jednom kada je NameNode formatiran, idite na direktorij hadoop-2.7.3 / sbin i pokrenite sve demone.
Naredba: cd hadoop-2.7.3 / sbin
Ili možete pokrenuti sve demone jednom naredbom ili to učiniti pojedinačno.
Naredba: ./ start-all.sh
Gornja naredba kombinacija je start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Ili sve usluge možete pokrenuti pojedinačno, kao u nastavku:
podaci instance za java klasu
Start NameNode:
NameNode središnji je dio HDFS datotečnog sustava. Čuva stablo direktorija svih datoteka pohranjenih u HDFS-u i prati svu datoteku pohranjenu u klasteru.
Naredba: ./hadoop-daemon.sh početna svrha
Slika: Instalacija Hadoop-a - Pokretanje NameNode
Pokreni DataNode:
Prilikom pokretanja, DataNode se povezuje s Namenodeom i on odgovara na zahtjeve Namenodea za različite operacije.
Naredba: ./hadoop-daemon.sh start datanode
Slika: Instalacija Hadoop - pokretanje DataNode
Pokrenite ResourceManager:
ResourceManager je master koji arbitrira sve dostupne resurse klastera i na taj način pomaže u upravljanju distribuiranim aplikacijama pokrenutim na YARN sustavu. Njegov posao je upravljanje svakim NodeManagerima i ApplicationMasterom svake aplikacije.
Naredba: ./pređa-daemon.sh pokretanje voditelja resursa
Slika: Instalacija Hadoop-a - Pokretanje ResourceManager-a
Pokreni NodeManager:
NodeManager u svakom strojnom okviru je agent koji je odgovoran za upravljanje spremnicima, nadgledanje njihove upotrebe resursa i prijavljivanje istog ResourceManageru.
Naredba: ./pređa-daemon.sh start nodemanager
Slika: Instalacija Hadoop-a - Pokretanje NodeManager-a
Pokrenite JobHistoryServer:
JobHistoryServer odgovoran je za servisiranje svih zahtjeva klijenta povezanih s poviješću poslova.
Naredba : ./mr-jobhistory-daemon.sh pokretanje poslužitelja povijesti
14. korak: Da biste provjerili rade li sve usluge Hadoop, pokrenite donju naredbu.
Naredba: jps
Slika: Instalacija Hadoop-a - Provjera demona
Korak 15: Sada otvorite preglednik Mozilla i idite na lokalnihost : 50070 / dfshealth.html za provjeru sučelja NameNode.
Slika: Instalacija Hadoop-a - Pokretanje WebUI-a
Čestitamo, uspješno ste instalirali jedan čvor Hadoop klastera u jednom potezu.U našem sljedećem blogu od , opisat ćemo kako instalirati Hadoop i na klaster s više čvorova.
Sad kad ste shvatili kako instalirati Hadoop, pogledajte Edureka, pouzdane tvrtke za internetsko učenje s mrežom od više od 250 000 zadovoljnih učenika raširenih širom svijeta. Edureka tečaj obuke za certificiranje velikih podataka Hadoop pomaže učenicima da postanu stručnjaci za HDFS, pređu, MapReduce, svinju, košnicu, HBase, Oozie, Flume i Sqoop koristeći slučajeve upotrebe u stvarnom vremenu na maloprodaji, društvenim mrežama, zrakoplovstvu, turizmu i financijama.
Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.