Vodič za Hadoop YARN - naučite osnove arhitekture pređe

Hadoop YARN plete skladišnu jedinicu Hadoopa, tj. HDFS (Hadoop distribuirani datotečni sustav) s različitim alatima za obradu. Za one koji su potpuno novi u ovoj temi, YARN znači „ Y i DO noter R izvor N egotiator «. Također bih vam predložio da prođete kroz naš i prije nego što nastavite s učenjem Apache Hadoop PREDJE. Ovdje ću objasniti sljedeće teme kako bih bio siguran da je na kraju ovog bloga vaše razumijevanje Hadoop YARN jasno.

• Zašto pređa?
• Uvod u Hadoop PREDIJU
• Komponente PREDJE
• Podnošenje prijave u PREDIJI
• Tok rada u Hadoop YARN

Zašto pređa?

U verziji Hadoop 1.0 koja se naziva i MRV1 (MapReduce verzija 1), MapReduce je izvodio funkcije obrade i upravljanja resursima. Sastojalo se od Job Trackera koji je bio jedini gospodar. Tragač posla dodijelio je resurse, izvršio raspoređivanje i nadzirao zadatke obrade. Dodijelio je mapu i reducirao zadatke na brojnim podređenim procesima koji se nazivaju Task Trackers. Tragači zadataka povremeno su izvještavali Job Trackeru o svom napretku.

Ovaj dizajn rezultirao je uskim grlom skalabilnosti zbog jednog Job Trackera.IBM je u svom članku spomenuo da se prema Yahoo !, praktična ograničenja takvog dizajna dosežu s klasterom od 5000 čvorova i 40.000 zadataka koji se istodobno izvode.Osim ovog ograničenja, korištenje računalnih resursa nije učinkovito u MRV1. Također, Hadoop okvir postao je ograničen samo na paradigmu obrade MapReduce.

kako koristiti podniz u sql-u

Kako bi se prevladala sva ova pitanja, YARN su 2012. godine uveli Yahoo i Hortonworks u verziji 2.0 Hadoop-a. Osnovna ideja YARN-a je olakšati MapReduce preuzimanjem odgovornosti upravljanja resursima i rasporeda poslova. YARN je počeo pružati Hadoopu mogućnost izvođenja poslova koji nisu MapReduce u okviru Hadoop-a.

Također možete pogledati donji video gdje naš stručnjak raspravlja o konceptima pređe i detaljno je o arhitekturi.

Vodič za Hadoop pređu | Arhitektura pređe Hadoop | Edureka

Uvođenjem PREDJE, bio potpuno revolucionaran. Postao je puno fleksibilniji, učinkovitiji i skalabilniji. Kada je Yahoo počeo živjeti s YARN-om u prvom tromjesečju 2013. godine, pomogao je tvrtki da smanji veličinu svog Hadoop klastera s 40 000 na 32 000 čvorova. No, broj radnih mjesta udvostručio se na 26 milijuna mjesečno.

Uvod u Hadoop PREDIJU

Sad kad sam vas prosvijetlio potrebom za PREDIJOM, dopustite mi da vas upoznam s osnovnom komponentom Hadoop v2.0, PREĐA . YARN omogućuje različite metode obrade podataka poput obrade grafova, interaktivne obrade, obrade tokova kao i skupne obrade za pokretanje i obradu podataka pohranjenih u HDFS-u. Stoga YARN otvara Hadoop drugim vrstama distribuiranih aplikacija izvan MapReducea.

YARN je korisnicima omogućio izvođenje operacija prema zahtjevu pomoću različitih alata poput za obradu u stvarnom vremenu, Košnica za SQL, HBase za NoSQL i druge.

Osim upravljanja resursima, YARN izvodi i raspored poslova. YARN obavlja sve vaše aktivnosti obrade raspodjelom resursa i zadacima raspoređivanja. Apache Hadoop YARN Architecture sastoji se od sljedećih glavnih komponenata:

1. Upravitelj resursa : Pokreće se na glavnom demonu i upravlja raspodjelom resursa u klasteru.
2. Upravitelj čvorova: Oni se izvode na slave demonima i odgovorni su za izvršavanje zadatka na svakom pojedinom čvoru podataka.
3. Master Master: Upravlja životnim ciklusom korisničkog posla i potrebama resursa pojedinih aplikacija. Radi zajedno s upraviteljem čvorova i nadzire izvršavanje zadataka.
4. Spremnik: Paket resursa, uključujući RAM, CPU, mrežu, HDD itd. Na jednom čvoru.

Komponente PREDJE

PREDIJU možete smatrati mozgom svog Hadoop ekosustava. Slika ispod predstavlja arhitekturu pređe.

kako postaviti put u javi -

The prva komponenta YARN Architecture je,

Upravitelj resursa

• To je krajnji autoritet u raspodjeli resursa .
• Po primanju zahtjeva za obradu, prosljeđuje dijelove zahtjeva odgovarajućim upraviteljima čvorova, gdje se odvija stvarna obrada.
• Arbitar je klaster resursa i odlučuje o dodjeli raspoloživih resursa za konkurentske aplikacije.
• Optimizira korištenje klastera kao što je održavanje svih resursa u upotrebi cijelo vrijeme protiv različitih ograničenja kao što su jamstva kapaciteta, pravičnost i SLA.
• Ima dvije glavne komponente:a) Planerb)Upravitelj aplikacija

a) Planer

• Planer je odgovoran za raspodjelu resursa raznim pokrenutim aplikacijama podložno ograničenjima kapaciteta, redovima itd.
• U ResourceManageru naziva se čistim planerom, što znači da ne vrši nikakvo nadgledanje ili praćenje statusa aplikacija.
• Ako dođe do kvara aplikacije ili kvara hardvera, planer ne jamči ponovno pokretanje neuspjelih zadataka.
• Izvodi raspoređivanje na temelju zahtjeva aplikacija za resursima.
• Ima plug-in dodatak za politike koji je odgovoran za raspodjelu resursa klastera između različitih aplikacija. Postoje dva takva dodatka: Planer kapaciteta i Pošteno raspoređivač , koji se trenutno koriste kao planeri u ResourceManageru.

b) Upravitelj aplikacija

• Odgovorna je za prihvaćanje prijava za posao.
• Pregovara o prvom spremniku od Upravitelja resursa za izvršavanje aplikacijskog gospodara specifičnog za aplikaciju.
• Upravlja izvođenjem master-a aplikacija u klasteru i pruža uslugu ponovnog pokretanja spremnika Application Master-a u slučaju kvara.

Dolazak u druga komponenta koji je:

Upravitelj čvorova

• Brine o pojedinačnim čvorovima u Hadoop klasteru iupravlja korisničkim poslovima i tijekom rada na danom čvoru.
• Registrira se kod voditelja resursa i šalje otkucaje srca sa zdravstvenim statusom čvora.
• Njegov je primarni cilj upravljanje spremnicima aplikacija koje mu je dodijelio upravitelj resursa.
• U tijeku je s Upraviteljem resursa.
• Upravitelj aplikacija zahtijeva dodijeljeni spremnik od Upravitelja čvorova tako što mu šalje kontekst za pokretanje spremnika (CLC) koji uključuje sve što je aplikaciji potrebno za pokretanje. Upravitelj čvorova stvara traženi postupak spremnika i započinje ga.
• Nadgleda upotrebu resursa (memorija, CPU) pojedinih spremnika.
• Obavlja upravljanje zapisima.
• Također ubija spremnik prema uputama voditelja resursa.

The treća komponenta Apache Hadoop PREĐE je,

Master Master

• Prijava je jedan posao koji se podnosi u okvir. Svaka takva aplikacija povezana je s jedinstvenim Master Master-om koji je entitet specifičan za okvir.
• To je proces koji koordinira izvršavanje aplikacije u klasteru i također upravlja pogreškama.
• Njegova je zadaća pregovarati o resursima iz Upravitelja resursa i raditi s Upraviteljem čvorova za izvršavanje i nadgledanje zadataka komponenata.
• Odgovorna je za pregovaranje o odgovarajućim spremnicima resursa iz programa ResourceManager, praćenje njihovog statusa i praćenje napretka.
• Jednom kad započne, povremeno šalje otkucaje srca upravitelju resursa kako bi potvrdio svoje zdravlje i ažurirao evidenciju svojih zahtjeva za resursima.

The četvrta komponenta je:

Spremnik

• To je zbirka fizičkih resursa kao što su RAM, CPU jezgre i diskovi na jednom čvoru.
• Spremnicima YARN upravlja kontekst pokretanja spremnika koji je životni ciklus spremnika (CLC). Ovaj zapis sadrži mapu varijabli okruženja, ovisnosti pohranjene u udaljenoj pohrani, sigurnosne tokene, korisni teret za usluge Node Manager i naredbu potrebnu za stvaranje procesa.
• Aplikaciji daje prava na korištenje određene količine resursa (memorija, CPU itd.) Na određenom hostu.

Podnošenje prijave u PREDIJI

Pogledajte sliku i pogledajte korake uključene u predaju zahtjeva za Hadoop YARN:

1) Pošaljite posao

2)Nabavite ID aplikacije

3) Kontekst predaje prijave

4 a) Pokreni spremnikPokrenite

b) Pokreni Master Master

5) Dodijelite resurse

6 a) Spremnik

b) Pokretanje

7) Izvršiti

Tok rada u Hadoop YARN

Pogledajte danu sliku i pogledajte sljedeće korake uključene u tijek rada aplikacije Apache Hadoop YARN:

idite na funkciju u pythonu

1. Klijent podnosi zahtjev
2. Upravitelj resursa dodjeljuje spremnik za pokretanje Upravitelja aplikacija
3. Upravitelj aplikacija registrira se kod Upravitelja resursa
4. Upravitelj aplikacija traži spremnike od Upravitelja resursa
5. Upravitelj aplikacija obavještava Node Manager da pokreće spremnike
6. Kôd aplikacije izvršava se u spremniku
7. Klijent kontaktira upravitelja resursa / upravitelja aplikacija kako bi nadzirao status aplikacije
8. Upravitelj aplikacija poništava registraciju s Upraviteljem resursa

Sad kad znate Apache Hadoop PREDIJU, pogledajte Edureka, pouzdane tvrtke za internetsko učenje s mrežom od više od 250 000 zadovoljnih učenika raširenih širom svijeta. Edureka tečaj obuke za certificiranje velikih podataka Hadoop pomaže učenicima da postanu stručnjaci za HDFS, pređu, MapReduce, svinju, košnicu, HBase, Oozie, Flume i Sqoop koristeći slučajeve upotrebe u stvarnom vremenu na maloprodaji, društvenim mrežama, zrakoplovstvu, turizmu i financijama.

Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.