Ako ste već iz IT industrija , toga morate biti svjesni Veliki podaci je govor dana. Bilo da je riječ o novim startup tvrtkama koje imaju inovativne poslovne modele ili se vaši kolege pridružuju tim startupovima iz nekog razloga današnjih zelenije pašnjake čini se da je Veliki podaci industrija.
Ako se pitate zašto, onda vam preporučujem da ovo pročitate do samog kraja jer ovo može biti samoistraživački blog koji će vas dovesti do onoga za što ste predodređeni.
Pa, zašto sve ovoHIPokolnim VELIKI PODACI?
Je li to samo još jedna domena koja će privremeno iskrcati izbjeglice sa svih ostalih domena? Ili će ovdje biti na duge staze?
Ako bih pretpostavio, rekao bih da, ne samo da će biti ovdje na duge staze, već će industrija velikih podataka biti u epicentru tehnološkog napretka.
Jer sve je okoPODACI!
Baš poput Suncadiže seodIstočnoisetoviuZapad, kontinuirana uporaba računalnih / neračunarskih uređaja rezultirat će izljevom neupravljivih podataka.
Kad ovi podaci prijeđu prag, a njima rukuje Excel ili bilo koji drugi sustav za upravljanje bazom podataka, mi ih nazivamo VELIKI PODACI .
Razmislite, koji ste zadnji proizvod kupili od Amazona? Koji može biti sljedeći proizvod koji biste mogli kupiti na temelju prošlih aktivnosti? Odgovori na takva pitanja pohranjuju se u Big Data.
alati koji se koriste u analitici velikih podataka
Postoji li trend rasta iza proizvoda? Ili, postoji li trend opadanja? Hoće li kupac kupiti 'Čarape' kad kupi 'Cipele'? To su pitanja za rješavanje poslovnih problema.
A, ova pitanja mogu biti lako odgovorio pomoću Analitika velikih podataka .
Napokon, kakva je korist od podataka, a kada niste analizirajući to?
Dakle, i Big Datapotpuno oAnalitika?Ne u potpunosti, ali Analytics je konačna nagrada.
Ostali glavni tokovi u Big Data suSkladištenjeiUpravljanje.
Ovdje kao profesionalci možete doprinijeti. Možete preuzeti ulogu bilo kojeg:
- Inženjer velikih podataka
- Arhitekt rješenja velikih podataka
I pobrinite se da su veliki podaci koji se generiraju uvijek dostupni i da se kasnije mogu koristiti za analitiku. Dakle, ovo nas dovodi do pitanja & hellip
Gdje se pohranjuju veliki podaci?
Može li se pohraniti uExcel datoteka? Može li se pohraniti usustav relacijskih baza podataka?
Kvragu ne!
Da je moglo biti, onda bi i bilo!
I da se svi zajedno zovu nešto drugačije. Možda nešto poputExcel-PodaciiliRDBMS-podaci: D
I to bi nas vratilo u KORAK 1 : - Zašto se velikim podacima ne može upravljati pomoću programa Excel? JerVeliki podaci su jednostavno prevrući da bi ih Excel mogao riješiti. Pa čak i drugi sustavi za upravljanje bazama podataka.
Pa, koja je alternativa?
Za rukovanje velikim podacima imamo HADOOP . Možda ste svjesni i ove riječi. Ali, možda se pitate, kako točno to djeluje?
Za početak, HADOOP je proizvod tvrtkeZaklada APACHE. Apache je američka neprofitna organizacija koja podržava razvoj softvera otvorenog koda.
Hadoop je definiran kao otvoreni programski okvir zasnovan na Javi koji podržava obradu i pohranu izuzetno velikih skupova podataka u distribuiranom računalnom okruženju.
Što Hadoop može, a Excel ne?
Obradite i razumite nestrukturirane podatke!Sa strukturiranim podacima koji su u tabličnom obliku ili na neki drugi način može se jednostavno riješiti. Excel to može, kao i bilo koji drugi RDBMS.
Ali kad se čitljivost smanji, a podaci su nestrukturirani, tu su veliki podacialata poput Hadoopapostići. Primjer nestrukturiranih podataka je syslog . Primjer slike je ispod.
Takvi se zapisnici definitivno ne mogu pretraživati pomoću programa Excel.
Hadoop, poput alata za velike podatke, može razumjeti podatke takvi kakvi jesu, iskopavanjem obrazaca i stvaranjem odnosa između različitih polja. A kad podaci jednom dobiju relativni dodir, jesuSpremno za analitiku.
Analitika je ono što će utjecati na poslovanje na organizaciju! Vaša će karijera u velikoj mjeri imati koristi od sudjelovanja u ovoj domeni velikih podataka.
duljina niza u javascriptu
' Mogu li to napraviti kao Hadoop-er? '
... možda je sljedeće pitanje na umu. I s pravom se misli, Big Data tržište je koje je vruće kao i uvijek i važno kao i uvijek.
Bez Hadoopa, tvrtke će se teško nositi s Big Dataom. Bez kvalificiranih stručnjaka poput vas, tvrtke će se teško nositi s Hadoopom.
Postoji izvještaj koji kaže da u ovoj domeni nedostaje talent. Značaj manjka na tržnici je, manje profesionalaca, ali velika potražnja. A ovo je na globalnoj razini i nije ograničeno na određenu geografiju.
Želite li brojeve?
DO McKinsey Global Institute studija navodi da će se SAD suočiti s nedostatkom oko 190 000 znanstvenika i 1,5 milijuna menadžera i analitičara koji mogu razumjeti i donositi odluke koristeći Big Data do 2018. godine.
Savjet za karijeru? Surfajte kad su oseke male!
Ali jesi li ograničen da samo Hadoop ?
Ne baš. Postoji niz alata za obradu velikih podataka, a Hadoop se smatra jednim od najboljih. Ali, ne svaki put!
Postoje trenuci kada Hadoop nije najbolje uklopljen. Na primjer, ako ste netehnička osoba koja nije baš dobra u pisanju programa MapReduce.
U takvim slučajevima možete koristitiTALEND, koji vam daje grafičko korisničko sučelje za ono što biste inače radili s MapReduceom.
Za pisanje jednostavnijih Java kodova možete koristitiSVINJA.
Ako želite pokretati upite slične SQL-u na velikim podacima, ondaKOŠNICAmože se koristiti.
Ako želite koristiti podatke pohranjene u NoSQL bazi podataka, tadaHBasemože se koristiti.
Za obavljanje analitike u stvarnom vremenu možete koristitiISKRA.
To su alati za velike podatke koji idu ruku pod ruku s Hadoop-om, no oni uopće ne zamjenjuju Hadoop. Oni su Hadoop dodaci za velike podatke.
Osim toga, postoji još nekoliko alata poput SQOOP, FLUME, OOZIE itd. Koji se mogu integrirati s Hadoop okvirom za rješavanje različitih poslovnih problema.
programiranje socket klijentskog poslužitelja u javi
Što industrija očekuje od vas kao stručnjaka za velike podatke?
Industrija je prijeko potrebna ARHITEKTI VELIKIH PODATAKA koji mogu izgraditi cjelovito rješenje za velike podatke za svoje organizacije. Arhitekti velikih podataka su oni koji imaju stručnost u svim gore spomenutim alatima.
Evo svjedočenja učenika Edureke o tečaj:
Postati počevši od Edurekinog treninga za certificiranje velikih podataka i Hadoopa koji učenicima pomaže da postanu stručnjaci za HDFS, pređu, MapReduce, svinju, košnicu, HBase, Oozie, Flume i Sqoop koristeći slučajeve upotrebe u stvarnom vremenu na maloprodaji, društvenim mrežama, zrakoplovstvu, turizmu, financijama .