U ovo digitalno doba potreba za prikupljanjem podataka i njihovom analizom u stvarnom vremenu postala je gotovo obavezna, jer su donositelji odluka počeli shvaćati vrijednost podataka u stvarnom vremenu koji odražavaju trenutnu situaciju u poslovanju. To je uočeno u gotovo svakoj branši. Podaci u stvarnom vremenu sada su jedan od načina za kvantificiranje izvedbe i brzo poduzimanje potrebnih radnji. Zbog ovih razloga analitika u stvarnom vremenu stječe popularnost, a u mjesecima koji dolaze možemo očekivati ogroman pomak u Big Datau i Analyticsu, od skupne obrade do obrade gotovo u stvarnom vremenu. Apache projekti poput Kafke, Storma i Sparka i dalje su popularni što se tiče obrade streama. Tijekom godina, inženjeri su također počeli integrirati Kafku s Storm i Sparkom. Nadalje, Confluent, novi startup koji su osnovali osnivači Kafke, pojačava igru Kafka. To je stvorilo mnoštvo mogućnosti za karijeru u Apache Kafki širom svijeta.
Prije nego što krenemo prema ‘mesu’ teme, pogledajmo na brzinu o čemu je riječ Apache Kafka i čime se bavi.
Što je Apache Kafka?
Kafka je projekt posrednika poruka otvorenog koda koji je razvila Apache Software Foundation i napisan je na jeziku Scala. Kafkin cilj je pružiti jedinstvenu, visokopropusnu platformu s malim kašnjenjem za rukovanje feedovima podataka u stvarnom vremenu. Kafkin dizajn pretežno se temelji na zapisnicima transakcija.
Kada se koristi za pravi slučaj, Kafka ima jedinstvene atribute koji ga čine vrlo atraktivnom opcijom za integraciju podataka. Značajke poput skalabilnosti, particioniranja podataka, niske latencije i mogućnosti rukovanja velikim brojem različitih potrošača čine ga pogodnim za slučajeve upotrebe povezane s integracijom podataka.
Ostale namjene Kafke su praćenje aktivnosti web mjesta, operativne metrike, agregacija dnevnika i obrada toka.
implementacija hashmapa u java kodu
Popularnost Apachea Kafke
Kafka je toliko popularan da se nedavno pridružio klubu s četiri zareza nakon što je dnevno pogodio 1,1 bilijun poruka (1,100,000,000,000 - četiri zareza ... razumijete?). LinkedInovo raspoređivanje Apache Kafke premašilo je 1,1 bilijuna i daleko je najveće uvođenje Kafke u proizvodnju u bilo kojoj organizaciji.
Kafka je imao ozbiljan utjecaj na sposobnost LinkedIna da riješi podatke koji su prije bili nedostupni, ali su sada spontano dostupni za obradu. Podaci poput podataka o korisničkim aktivnostima i podataka dnevnika, koji prethodno nisu mogli biti prikupljeni u naslijeđenim sustavima LinkedIna, sada se lako prikupljaju pomoću Kafke. Kafka igra presudnu ulogu u oblikovanju LinkedInove infrastrukture, kao i za stotine drugih organizacija koje su prihvatile Kafku.
Dice je nedavno analizirao oglase za posao na mreži i utvrdio tehnološke vještine koje su porasle u pogledu potražnje. Rezultat je bio da je Kafka dospio u Top 10. Očito je da Kafkina vještina postaje vitalna.
Karijere Apache Kafke:
Pogledajmo trend zaposlenja za Kafku s globalnog ili svojevrsnog stajališta. Iako popis pripada samo Velikoj Britaniji i Sjedinjenim Državama, daje nam vrlo dobru ideju o tome kako je Kafka (Izvor: Indeed Job Trends)
Iz gornje slike vidljivo je da je Kafka prilično dobro prošao. Kafka je napredovao i ima više nego dvostruko veći broj radnih mjesta nego 2014. godine.
Sličan trend primijećen je i na popularnom portalu za zapošljavanje sa sjedištem u SAD-u.
Trendovi plata Apache Kafke:
Kafka je u posljednje vrijeme modna riječ kada je riječ o obradi u stvarnom vremenu. Budući da je potražnja velika i tehnologija kao takva dobro posluje, paket plaća za profesionalce s Kafkinim vještinama u rangu je s industrijskim standardima.
Prema Zaista, prosječna plaća profesionalca iz Kafke je 122.000 USD godišnje . To je 112% više od prosječnih plaća na drugim radnim mjestima. Trend plaća također ukazuje na stalan i zumirajući rast od početka 2015. godine koji je i dalje u porastu.
Sad kad smo ustanovili da je Apache Kafka ‘vruć’, pogledajmo tko treba imati ovu vještinu.
Tko bi trebao naučiti Apachea Kafku?
Kafka je neophodna vještina za one koji žele naučiti Kafka tehnike i toplo se preporučuje sljedećim profesionalcima:
- Programeri koji žele ubrzati svoju karijeru kao 'Kafka Big Data Developer'.
- Testiranje profesionalaca koji trenutno rade na sustavima čekanja i slanja poruka.
- Arhitekti velikih podataka koji bi željeli uključiti Kafku u svoj ekosustav.
Voditelji projekata uključeni u projekte povezane sa sustavima za razmjenu poruka.
Zaključak:
Apache Kafka postao je de facto standard za analitiku podataka u stvarnom vremenu, a LinkedIn nije jedina tvrtka koja koristi ogromne tokove podataka. S Kafkom možete biti sigurni da ćete se istaknuti u svojoj karijeri Big Data Analyticsa.
Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.
Povezani post: