S povećanim usvajanjem Hadoopa u tradicionalnim poslovnim informatičkim rješenjima i povećanim brojem Hadoop implementacija u proizvodnom okruženju, potreba za stručnjacima Hadoop Operations and Administration da se brinu o velikim Hadoop klasterima postaje vitalna.
Odgovornosti administratora Hadoop-a:
- Odgovoran za implementaciju i trajno upravljanje Hadoop infrastrukturom.
- Usklađivanje s timom sistemskog inženjera za predlaganje i uvođenje novog hardverskog i softverskog okruženja potrebnog za Hadoop i proširivanje postojećih okruženja.
- Suradnja s timovima za dostavu podataka na postavljanju novih korisnika Hadoopa. Ovaj posao uključuje postavljanje Linux korisnika, postavljanje principa Kerberos-a i testiranje HDFS-a, Hive-a, Pig-a i MapReduce pristupa za nove korisnike.
- Održavanje klastera, kao i stvaranje i uklanjanje čvorova pomoću alata poput Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i drugih alata.
- Ugađanje performansi klastera Hadoop i rutina Hadoop MapReduce.
- Screen Hadoop performanse poslova klastera i planiranje kapaciteta
- Nadgledajte povezanost i sigurnost Hadoop klastera
- Upravljajte i pregledavajte datoteke dnevnika Hadoop.
- Upravljanje i praćenje datotečnog sustava.
- Podrška i održavanje HDFS-a.
- Marljivo udruživanje s timovima za infrastrukturu, mrežu, bazu podataka, aplikacije i poslovnu inteligenciju kako bi zajamčilo visoku kvalitetu i dostupnost podataka.
- Suradnja s aplikacijskim timovima za instaliranje ažuriranja operativnog sustava i Hadoop-a, zakrpa i nadogradnji verzija po potrebi.
- Točka kontakta za eskalaciju dobavljača
Hadoop administracija korisna je i unosna karijera s puno prilika za rast. Ako vas gore navedene odgovornosti za posao zanimaju, vrijeme je da se usavršite s administracijom Hadoop i krenete na put karijere administratora Hadoop-a.
je magisterij koji se smatra postdiplomskim
DBA odgovornosti koje obavlja Hadoop administrator:
- Modeliranje podataka, dizajn i implementacija na temelju priznatih standarda.
- Instalacija i konfiguracija softvera.
- Izrada sigurnosne kopije i oporavak baze podataka.
- Povezivanje i sigurnost baze podataka.
- Praćenje i podešavanje izvedbe.
- Upravljanje prostorom na disku.
- Softverske zakrpe i nadogradnje.
- Automatizirajte ručne zadatke.
Odgovornosti za razvoj DWH-a izvršava Hadoop Administrator:
DWH administrira poslove, uključujući razvoj, testiranje i praćenje serijskih poslova za sljedeće zadatke:
- Osigurajte referentni integritet.
- Izvršite izvršenje primarnog ključa.
- Ostvarivanje ponovnih podataka.
- Pravovremeno učitajte velike količine podataka.
Sad kad znate o poslovnim odgovornostima administratora Hadoop-a, pogledajmo vještine potrebne za to.
Vještine potrebne da biste postali Hadoop administrator:
- Opća operativna stručnost, poput dobrih vještina rješavanja problema, razumijevanja kapaciteta sustava, uskih grla, osnova memorije, CPU-a, OS-a, pohrane i mreža.
- Hadoop vještine poput HBase, Hive, Pig, Mahout, itd.
- Najvažniji zahtjevi su: Trebali bi biti u mogućnosti razmjestiti Hadoop klaster, dodavati i uklanjati čvorove, pratiti zadatke, nadgledati kritične dijelove klastera, konfigurirati visoku dostupnost čvora imena, planirati i konfigurirati te sigurnosno kopirati.
- Dobro poznavanje Linuxa jer Hadoop radi na Linuksu.
- Upoznavanje s alatima za upravljanje konfiguracijom i implementacijom otvorenog koda kao što su Puppet ili Chef i Linux skriptiranje.
- Znanje o rješavanju problema s osnovnim Java programima je plus.
Edureka je posebno pripremila tečaj o administraciji Hadoop. Kliknite gumb u nastavku da biste započeli s administracijom Hadoop-a i naučili kako vam tečaj pomaže da postanete Hadoop administrator.
Vezane objave:
Prednosti u karijeri putem Hadoop certifikata.
Koliko je bitan Hadoop trening?
iskačuća poruka Java skripte