4 praktična razloga za učenje Hadoop-a 2.0



Ova 4 razloga za nadogradnju na Hadoop 2.0 govore o Hadoop tržištu rada i o tome kako vam može ubrzati karijeru tako što vas otvara ogromnim mogućnostima za posao.

Kad sam bio mlađi volio sam filmsku seriju Ratovi zvijezda. Toliko mi se svidjelo da sam imao video kasete svakog od njih. Znao sam ih promatrati iznova i iznova. Tada je došlo vrijeme DVD playera i morao sam te filmove ponovo dobiti u DVD-u. Nisam se nimalo mučio ponovno kupiti čitav set na DVD-u, jer sam želio iskusiti novu tehnologiju i nastaviti uživati ​​u svojim omiljenim filmovima. Stvari su bile sjajne dok se nije pojavila još jedna nova tehnologija, Blu-ray. Kupio sam filmove već dva puta, nisam se radovao što ću ih ponovno kupiti. Neko vrijeme nisam se trudio ‘ažurirati’, misleći da bih se sasvim dobro snašao bez ove tehnologije. I dobro sam se snašla. To ionako nije utjecalo na moj život. Ali vidio sam promjenu u trendu i nisam mogao dijeliti svoje filmove s prijateljima, kao što su to radili jedni s drugima. Stvarno sam se osjećala izostavljeno.





Napokon sam izašao i uzeo film na Blu-rayu. Sjećam ga se ne zato što volim film, već zbog činjenice da je kvaliteta videa bila nevjerojatna. I povrh svega, dobio sam čitav niz filmova na jednom Blu-ray disku.

Potreba ili poriv da budemo u toku najjači su kada je riječ o našoj profesiji jer su rizici veći. Postalo je bitno biti u toku sa svojom igrom.



4 praktična razloga za učenje Hadoop-a 2.0:

Koliko god bilo neizbježno, ažurnost u našoj struci postala je važan dio našeg života. Koliko god zastrašujuće zvučalo, ne treba se uznemirivati ​​jer se tehnologije zapravo ne mijenjaju tako brzo ili drastično. Ali razgovori i informacije o tim tehnologijama i stvarima koje s njima možemo raditi dobivaju na vidljivosti. Evo nekoliko razloga zbog kojih biste trebali biti u toku:

# 1: Nemojte biti uhvaćeni

Razlozi za učenje Hadoop 2.0



Ako ne obratite pažnju na najnovije ažuriranje tehnologije, možete izgledati poput jelena uhvaćenog u farovima. Nije baš blistava slika vaših profesionalnih mogućnosti. Budući da ste u toku, vršnjaci će vas poštovati zbog vaših profesionalnih vještina. Možda neće trebati implementirati svaku novu stvar koju naučite, ali biti svjestan ažuriranja je imperativ.

Na primjer, kada se na Hadoopu razgovara, možete obavijestiti svoje vršnjake da Hadoop 2.5.0 ima poboljšanja provjere autentičnosti kada se koristi HTTP proxy poslužitelj. A također u istoj verziji Hadoopa postoji odredba za izravno pisanje na Graphite.

Bitno je biti u toku s najnovijim ažuriranjima kada organizacije razmišljaju o migraciji na Hadoop. A 'znanje' može napraviti veliku promjenu u vašoj karijeri.

# 2: Imati konkurentski rub

različite vrste okvira u selenu

Poštuju se profesionalci koji su vješti u svojim područjima. A biti u toku je najbolji način da budete na vrhu. Vaša potreba da budete u toku odražava vašu strast prema vašem poslu. Razvojem stručnosti u svom poslu i svojoj branši steći ćete povjerenje i poštovanje ljudi oko sebe. Iz perspektive vodstva, ovo je neprocjenjivo!

Čak i ako vaša organizacija i dalje radi s Hadoop 1.0, poznavanje svih najnovijih značajki Hadoop-a 2 držat će vas na putu jer je relativno nov i definitivno bolji. Ako to prvi naučite, to će vam dati prednost nad vršnjacima.

# 3: Nove mogućnosti

Tužna je stvarnost da se naša trenutna uloga neprestano mijenja. S vremenom dolaze i dodatne odgovornosti i mogućnosti za obavljanje novih zadataka. Pratite najnovije trendove u industriji, u najboljoj ste poziciji da iskoristite ove mogućnosti.

Tvrtke poput Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory i mnoge druge traže ljude vješte u najnovijim značajkama Hadoop 2, poput PREĐE.

# 4: Donesite bolje odluke

Dodatne informacije omogućit će vam donošenje utemeljenih izbora i bolje odluke. Pomoći će vam da prepoznate mogućnosti i dodate vrijednost strategiji vaše organizacije.

Hadoop 2 ima značajke koje povećavaju brzinu i smanjuju troškove. Predlaganje opcija za poboljšanje performansi i povećanje brzine definitivno može povećati produktivnost organizacije. Evo nekoliko značajki Hadoop-a 2 koje će koristiti organizaciji, a sugerirajući da će potaknuti i vašu karijeru.

  • Podrška za pokretanje Hadoopa na sustavu Microsoft Windows

  • Pojednostavljena distribucija MapReduce binarnih datoteka putem HDFS-a u YARN Distributed Cache.

  • Poboljšana podrška za nove aplikacije na YARN s poslužiteljem povijesti aplikacija i poslužiteljem vremenske trake aplikacija

  • Kompletna HTTPS podrška u HDFS-u

  • Integracija Kerberosa za YARN-ovu trgovinu vremenskih traka.

  • Podrška za hijerarhiju heterogene pohrane u HDFS-u.

  • Predmemorija u memoriji za HDFS podatke s centraliziranom administracijom i upravljanjem.

  • Pojednostavljena distribucija MapReduce binarnih datoteka putem HDFS-a u YARN Distributed Cache.

Postoji više od praktičnih razloga za stalno ažuriranje. Postoje i tehnički razlozi. Hadoop ima brojne značajke koje su korisne za organizacije. Ako ih detaljno pogledate, dobit ćete jasnu sliku o tome što je najpovoljnije.

Koje je najnovije ažuriranje u Hadoopu?

Svaki proizvod prolazi kroz različite faze izdanja i dolazi do različitih verzija. Hadoop nije iznimka i osmislio je Hadoop 2.0. Zaklada Apache iznijela je sljedeće verzije Hadoopa poput Hadoop 2.1.0, Hadoop 2.4.0 i dosegla Hadoop 2.5.1, što je najnovija verzija objavljena u rujnu 2014.

Zašto je objavljen Hadoop 2?

S novom verzijom dolaze dodane značajke i ispravljeni bugovi. Dakle, svaki put kada koristite određenu verziju Hadoopa i mislite da se određena značajka može dodati ili neke pogreške treba popraviti, obavještavate dečke iz Apache Foundation. Ovi momci zauzvrat rade na tome i daju vam bolji proizvod u sljedećoj verziji.

Hadoop 2 - Ne samo broj

Hadoop 2 nije samo najnovija verzija Hadoopa. Uglavnom je riječ o arhitekturi druge generacije. Arun Murthy, osnivač i arhitekt distributera Hadoop-a Hortonworks, inzistira da je razlika važna jer je količina ponovnog inženjeringa potrebna da bi se Hadoop preselio izvan serijske obrade i u svijet analitike u stvarnom vremenu.

Razgovarajmo o tome koliko se Hadoop 2.0 razlikuje od svog prethodnika Hadoop 1.0. Očito je da će kasnije izdana verzija biti superiornija od ranijeg izdanja. Slijede četiri glavna poboljšanja u Hadoop-u 2.0 u odnosu na Hadoop 1.x:

  • HDFS federacija - vodoravna skalabilnost NameNode

  • Visoka dostupnost NameNode - NameNode više nije jedna točka neuspjeha

  • PREĐA - Sposobnost obrade terabajta i petabajta podataka dostupnih u HDFS-u pomoću aplikacija koje nisu MapReduce poput MPI, GIRAPH

  • Upravitelj resursa - dijeli dvije glavne funkcionalnosti preopterećenog JobTrackera (upravljanje resursima i raspoređivanje / nadgledanje poslova) u dva odvojena demona: globalni upravitelj resursa i ApplicationMaster po aplikaciji

Postoje dodatne značajke kao što su Planer kapaciteta (Omogući podršku za više stanara u Hadoopu), Snimka podataka, Podrška za Windows, NFS pristup, što omogućuje povećano prihvaćanje Hadoopa u industriji za rješavanje problema s velikim podacima.

Hadoop 2.X vs Hadoop 1.X

Napravimo malu usporedbu i vidjet ćemo na koji je način Hadoop 2.0 bolji i razlikuje se od Hadoop-a 1.0

Zašto je Hadoop 2 preferiran u odnosu na Hadoop 1.0?

Hadoop 2.0 nudi poboljšanja performansi koja imaju koristi od srodnih tehnologija u Hadoop ekosustavu. Osim revolucionarnih značajki HDFS-a i arhitekture druge generacije (YARN), postoji još više i većih razloga za preferiranje Hadoop-a 2 nad Hadoop-om 1.0:

  • Hadoop 2 više nema jezična ograničenja. Znači, širok spektar profesionalaca sada može koristiti Hadoop.

  • S Hadoop 2 su prevladane prepreke poput nedostatka MapReduce kodera.

  • 2 puta brže od Hadoopa 1.0

  • 2 puta veći ROI sa postojećim hardverom.

  • S YARN-om je sučelje za programiranje aplikacija puno otvorenije i fleksibilnije.

  • Hadoop 2 proširuje mogućnosti korištenja Hadoopa u projektima velikih podataka.

  • S Hadoop 2, programeri sada mogu izvoditi širok spektar zadataka za drobljenje podataka, izvan Hadoopovog dosadašnjeg opsega skupne obrade.

  • Nudi nove mogućnosti upraviteljima informacija i rješava nedostatke u prethodnim verzijama.

  • Ovo novo izdanje ima jedinstvenu značajku izvođenja više radnih opterećenja na istom Hadoop klasteru.

  • Hadoop više nije ograničen na jednu značajku. Njegova se primjena sada širi izvan HDFS-a i MapReducea.

Ključne blagodati pređe

Svjesni smo da je YARN arhitektura druge generacije, idemo vidjeti što je čini tako sjajnom.

  • Skala

  • Novi modeli i usluge programiranja

  • Poboljšana uporaba klastera

  • Agilnost

  • Puno više od Jave

  • I još mnogo toga

Potražnja za Hadoop 2 vještinama

Organizacije sada pokreću ili eksperimentiraju s Hadoop-om 2. Zbog toga dolazi potreba za stručnjacima vještima u Hadoop-u 2. ​​Mnoge su organizacije već počele interno tražiti ljude da rade s Hadoop-om. Postoje jasne naznake da je YARN u porastu i da će na kraju zamijeniti potražnju za MapReduce vještinom.

Evo nekoliko pogleda na trenutnu i projiciranu potražnju za Hadoop vještinama:

  • Prema analitičarima iz Gartnera, Hadoop 2 je vitalni razvoj jer su velika poduzeća širom svijeta otkrila da je Hadoop mjenjač igara u upravljanju velikim podacima.

  • Prema Ericu Kavanaghu iz Bloor grupe, Hadoop 2.0 stekao je snagu među informatičkim radnicima koji žele prepirati Big Data.

  • Usvajanje Hadoop 2.0 i dalje je u porastu i sada ulazi u fazu zrelosti.

  • Organizacije su svjesne prednosti YARN i uzbuđene su zbog toga.

Evo kratkog pregleda otvorenih radnih mjesta za Hadoop 2.0 / YARN u Doista.com

Tko se seli na Hadoop 2 ili ga već ima?

Yahoo:

Yahoo! , vodeći u svemu što je Hadoop implementirao PREĐU (0.23.x). Prema Murthyju, Yahooov klaster s 35.000 čvorova sada obrađuje 130-150 radnih mjesta dnevno u usporedbi s 50-60 prije YARN-a.

Kada govori o zvjezdanoj izvedbi, Murthy citira: 'Kad imate 2x preko 35 000 do 40 000 čvorova, to je fenomenalno'. Također je dodao, 'Prilično je uvjerljiva priča reći CIO-u da ćete, ako samo nadogradite svoj softver s Hadoop 1 na Hadoop 2, na svojim poslovima vidjeti dvostruka poboljšanja protoka.'

stog i hrpa u javi

eBay:

eBay ima jedan od najvećih Hadoop klastera u industriji, gdje su podaci u petabajtima. Također su migrirali svoje klastere u Hadoop 2.

Zaključak:

Budući da je Hadoop 2 zreo i lakši za primjenu, čak i uvjeravaju skeptike, a sve više organizacija prelazi na Hadoop 2.0. Postoje valjani razlozi da se izbjegnu verzije 1.x. Ali s Hadoop-om 2, čak i nevjernici razmišljaju o njemu, jer se može koristiti za široku paletu namjena. Učeći Hadoop 2.0 i implementirajući ga za izvođenje izračuna na velikim podacima, otvorit ćete vrata tehnički naprednoj i financijski korisnoj karijeri.

Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.

Vezane objave:

Koliko je bitan Hadoop trening?