Uvod u Hadoop Job Tracker

To daje uvid u upotrebu Job tracker-a

kako instalirati php 7 na Windows 10

Hadoop Job Tacker

Job Tracker je glavni demon za upravljanje resursima posla i raspoređivanje / nadgledanje poslova. Djeluje kao veza između Hadoopa i vaše prijave.





Postupak

Korisnik prvo kopira datoteke u Distribuirani datotečni sustav (DFS), prije nego što klijentu pošalje posao. Klijent zatim prima te ulazne datoteke. Korisnik će dobiti dijeljenja ili blokove na temelju ulaznih datoteka.Klijent je mogaostvoriti podjele ili blokove u čovjekuner to prefers, jer iza toga postoje određena razmatranja. Ako se izvrši analiza kompletnih podataka, podijelit ćete podatke na podjele. Datoteke se ne kopiraju putem klijenta, već se kopiraju pomoću flumea ili Sqoopa ili bilo kojeg vanjskog klijenta.

Nakon što se datoteke kopiraju u DFS i klijent stupi u interakciju s DFS-om,dijeljenja će izvesti MapReduce job. Posao se predaje putem programa za praćenje posla. Tragač posla je glavni demon koji se izvodi na istom čvoru kao i ontrčiovih višestrukih poslova na podatkovnim čvorovima. Ti će podaci ležati na raznim čvorovima podataka, ali na njima je odgovoran tragač posla.



Nakon što klijent preda natragač posla, posao se inicijalizira u redu poslova, a tragač posla izrađuje mape i smanjuje. Na temelju programa koji je sadržan u funkciji karte i funkciji redukcije, stvorit će zadatak karte i smanjiti zadatak. To će se dvoje pokretati na ulaznim podjelama. Napomena: Kada ih kreiraju klijenti, ovaj ulazni podjel sadrži cijele podatke.

Svaki ulazni split ima pokrenut posao mape i izlaz zadatka karte ide u zadatak smanjenja. Tragom poslova pokreće stazu na određenim podacima. To može biti višestruka replikacija, tako da odabire lokalne podatke i pokreće zadatak na tom određenom programu za praćenje zadataka. Tragač zadataka je onaj koji zapravo pokreće zadatak na podatkovnom čvoru. Tragač posla proći ćeinformacijana tragač zadataka i tragač zadataka izvest će posao na podatkovnom čvoru.

Nakon što je posao dodijeljen tragaču zadataka, uz svaki je tragač zadataka i tragač posla povezan otkucaj srca. Šalje signale kako bi saznao jesu li čvorovi podataka još uvijek živi. Njih su dvoje često sinkronizirani jer postoji mogućnost da čvorovi nestanu.



Imate pitanje za nas? Spomenite ih u odjeljku za komentare i javit ćemo vam se.

Vezane objave: