Odgovornosti administratora Hadoop-a

Ovaj blog o odgovornostima administratora Hadoop-a raspravlja o opsegu administracije Hadoop-a. Poslovi administratora Hadoopa vrlo su traženi, pa naučite Hadoop odmah!

S povećanim usvajanjem Hadoopa u tradicionalnim poslovnim informatičkim rješenjima i povećanim brojem Hadoop implementacija u proizvodnom okruženju, potreba za stručnjacima Hadoop Operations and Administration da se brinu o velikim Hadoop klasterima postaje vitalna.

Odgovornosti administratora Hadoop-a:

  • Odgovoran za implementaciju i trajno upravljanje Hadoop infrastrukturom.
  • Usklađivanje s timom sistemskog inženjera za predlaganje i uvođenje novog hardverskog i softverskog okruženja potrebnog za Hadoop i proširivanje postojećih okruženja.
  • Suradnja s timovima za dostavu podataka na postavljanju novih korisnika Hadoopa. Ovaj posao uključuje postavljanje Linux korisnika, postavljanje principa Kerberos-a i testiranje HDFS-a, Hive-a, Pig-a i MapReduce pristupa za nove korisnike.
  • Održavanje klastera, kao i stvaranje i uklanjanje čvorova pomoću alata poput Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage i drugih alata.
  • Ugađanje performansi klastera Hadoop i rutina Hadoop MapReduce.
  • Screen Hadoop performanse poslova klastera i planiranje kapaciteta
  • Nadgledajte povezanost i sigurnost Hadoop klastera
  • Upravljajte i pregledavajte datoteke dnevnika Hadoop.
  • Upravljanje i praćenje datotečnog sustava.
  • Podrška i održavanje HDFS-a.
  • Marljivo udruživanje s timovima za infrastrukturu, mrežu, bazu podataka, aplikacije i poslovnu inteligenciju kako bi zajamčilo visoku kvalitetu i dostupnost podataka.
  • Suradnja s aplikacijskim timovima za instaliranje ažuriranja operativnog sustava i Hadoop-a, zakrpa i nadogradnji verzija po potrebi.
  • Točka kontakta za eskalaciju dobavljača

Hadoop administracija korisna je i unosna karijera s puno prilika za rast. Ako vas gore navedene odgovornosti za posao zanimaju, vrijeme je da se usavršite s administracijom Hadoop i krenete na put karijere administratora Hadoop-a.





je magisterij koji se smatra postdiplomskim

Become-a-Hadoop-Administrator

DBA odgovornosti koje obavlja Hadoop administrator:

  • Modeliranje podataka, dizajn i implementacija na temelju priznatih standarda.
  • Instalacija i konfiguracija softvera.
  • Izrada sigurnosne kopije i oporavak baze podataka.
  • Povezivanje i sigurnost baze podataka.
  • Praćenje i podešavanje izvedbe.
  • Upravljanje prostorom na disku.
  • Softverske zakrpe i nadogradnje.
  • Automatizirajte ručne zadatke.

Odgovornosti za razvoj DWH-a izvršava Hadoop Administrator:

DWH administrira poslove, uključujući razvoj, testiranje i praćenje serijskih poslova za sljedeće zadatke:



  • Osigurajte referentni integritet.
  • Izvršite izvršenje primarnog ključa.
  • Ostvarivanje ponovnih podataka.
  • Pravovremeno učitajte velike količine podataka.

Sad kad znate o poslovnim odgovornostima administratora Hadoop-a, pogledajmo vještine potrebne za to.

Vještine potrebne da biste postali Hadoop administrator:

  • Opća operativna stručnost, poput dobrih vještina rješavanja problema, razumijevanja kapaciteta sustava, uskih grla, osnova memorije, CPU-a, OS-a, pohrane i mreža.
  • Hadoop vještine poput HBase, Hive, Pig, Mahout, itd.
  • Najvažniji zahtjevi su: Trebali bi biti u mogućnosti razmjestiti Hadoop klaster, dodavati i uklanjati čvorove, pratiti zadatke, nadgledati kritične dijelove klastera, konfigurirati visoku dostupnost čvora imena, planirati i konfigurirati te sigurnosno kopirati.
  • Dobro poznavanje Linuxa jer Hadoop radi na Linuksu.
  • Upoznavanje s alatima za upravljanje konfiguracijom i implementacijom otvorenog koda kao što su Puppet ili Chef i Linux skriptiranje.
  • Znanje o rješavanju problema s osnovnim Java programima je plus.

Edureka je posebno pripremila tečaj o administraciji Hadoop. Kliknite gumb u nastavku da biste započeli s administracijom Hadoop-a i naučili kako vam tečaj pomaže da postanete Hadoop administrator.



Vezane objave:

Prednosti u karijeri putem Hadoop certifikata.

Koliko je bitan Hadoop trening?

iskačuća poruka Java skripte