Jedna od najatraktivnijih karakteristika Hadoop okvira je njegova upotreba robnog hardvera . Međutim, to dovodi do čestih padova DataNodea u Hadoop klasteru. Još jedna upečatljiva značajka Hadoop Framework-a je jednostavnost mjerila u skladu s brzim rastom volumena podataka . Zbog ova dva razloga jedan od najčešćih zadataka administratora Hadoopa je da provizija (Dodaj) i razgradnja (Ukloni) Čvorovi podataka u klasteru Hadoop.
upravljanje nabavom u upravljanju projektima
Čvorovi za puštanje u rad i razgradnju u klasteru Hadoop:
Gornji dijagram prikazuje korak po korak postupak uklanjanja DataNode iz klastera.
Prvi je zadatak ažurirati ' isključiti 'Datoteke za oboje HDFS (hdfs-site.xml) i MapReduce (mapred-site.xml).
Datoteka 'izuzeti':
- za tragače za poslom sadrži popis hostova koje bi posao posao trebao izuzeti. Ako je vrijednost prazna, nijedan domaćin nije izuzet.
- za Namenode sadrži popis hostova kojima nije dopušteno povezivanje s Namenodeom.
Evo primjera konfiguracije za datoteku za izuzeće u hdfs-site.xml i mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / isključuje
pravi
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / isključuje
pravi
Bilješka: Mora se navesti puni naziv datoteke.
Slično tome, imamo datoteke 'uključi':
- za tragače za poslom koji sadrži popis čvorova koji se mogu povezati s JobTrackerom. Ako je vrijednost prazna, dozvoljeni su svi hostovi.
- za Namenode koji sadrži popis hostova kojima je dopušteno povezivanje s Namenodeom. Ako je vrijednost prazna, dozvoljeni su svi hostovi.
' dfsadmin 'I' mradmin 'Naredbe osvježavaju konfiguraciju s promjenama kako bi ih osvijestili o novom čvoru.
' robovi Datoteka na glavnom poslužitelju sadrži popis svih podatkovnih čvorova. Ovo se također mora ažurirati kako bi se osiguralo bilo kakvih problema u budućem pokretanju / zaustavljanju hadoop demona.
Važan korak u procesu naplate čvora podataka je pokretanje Klaster uravnoteživača.
> hadoop balanser -prag 40
Balanser pokušava osigurati ravnotežu do određenog praga među podatkovnim čvorovima kopiranjem blokovskih podataka sa starijih čvorova na novo naručene čvorove.
Dakle, ovo možete učiniti - Puštanje u rad i Razgradnja Čvorovi u Hadoop klasteru.
Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.
Povezani Linkovi: