MongoDB s Hadoop-om i srodnim tehnologijama velikih podataka



MongoDB s Hadoop-om i srodnim tehnologijama velikih podataka moćna je kombinacija koja nudi rješenje za složenu situaciju u analitici.

Relacijske baze podataka dugo su bile dovoljne za rukovanje malim ili srednjim skupovima podataka. Ali ogromna brzina rasta podataka čini tradicionalni pristup pohrani i pronalaženju podataka neizvedivim. Taj se problem rješava novijim tehnologijama koje mogu rukovati velikim podacima. Hadoop, Hive i Hbase popularne su platforme za rad s ovom vrstom velikih skupova podataka. NoSQL ili ne samo SQL baze podataka kao što je MongoDB pružaju mehanizam za pohranu i dohvat podataka u modelu dosljednosti gubitnika s prednostima poput:

  • Horizontalno skaliranje
  • Veća dostupnost
  • Brži pristup

MongoDB inženjerski tim nedavno je ažurirao MongoDB Connector za Hadoop kako bi imao bolju integraciju. To korisnicima Hadoop-a olakšava:





  • Integrirajte podatke iz MongoDB-a u stvarnom vremenu s Hadoop-om za dubinsku izvanmrežnu analitiku.
  • Konektor izlaže analitičku snagu Hadoopovog MapReducea aktivnim podacima aplikacije iz MongoDB-a, brže i učinkovitije utječući na vrijednost velikih podataka.
  • Connector predstavlja MongoDB kao datotečni sustav kompatibilan s Hadoop-om, omogućavajući MapReduceu posao da čita iz MongoDB-a izravno, bez da ga je prije kopirao u HDFS (Hadoop-ov datotečni sustav), čime uklanja potrebu za premještanjem terabajta podataka kroz mrežu.
  • Poslovi MapReducea mogu prosljeđivati ​​upite kao filtre, tako da se izbjegava potreba za skeniranjem cijelih zbirki, a može iskoristiti i bogate mogućnosti indeksiranja MongoDB-a, uključujući geo-prostorne, pretraživanje teksta, nizove, složene i rijetke indekse.
  • Čitajući iz MongoDB-a, rezultati poslova Hadoop-a mogu se također ispisati na MongoDB, kako bi podržali operativne procese u stvarnom vremenu i ad-hoc upite.

Slučajevi upotrebe Hadoopa i MongoDB-a:

Pogledajmo opis na visokoj razini kako se MongoDB i Hadoop mogu uklopiti u tipični hrp velikih podataka. Prvenstveno imamo:

kako naučiti pl sql
  • MongoDB koristi se kao 'Operativno' spremanje podataka u stvarnom vremenu
  • Hadoop za izvanmrežna skupna obrada i analiza podataka

Čitajte dalje da biste znali zašto i kako su MongoDB koristile tvrtke i organizacije kao što su Aadhar, Shutterfly, Metlife i eBay .



Primjena MongoDB-a s Hadoop-om u skupnom agregiranju:

U većini scenarija ugrađena funkcionalnost agregiranja koju pruža MongoDB dovoljna je za analizu podataka. Međutim, u određenim slučajevima može biti potrebno znatno složenije prikupljanje podataka. Ovdje Hadoop može pružiti moćan okvir za složenu analitiku.

datum tipa podataka u primjeru sql

U ovom scenariju:

  • Podaci se izvlače iz MongoDB-a i obrađuju u Hadoopu putem jednog ili više poslova MapReduce. Podaci se također mogu dobiti s drugih mjesta unutar ovih MapReduce poslova kako bi se razvilo rješenje za više podataka.
  • Izlaz iz ovih poslova MapReduce može se zatim vratiti natrag u MongoDB za naknadno postavljanje upita i za bilo kakvu analizu na ad-hoc osnovi.
  • Aplikacije izgrađene na vrhu MongoDB-a mogu stoga koristiti podatke iz batch analitike za predstavljanje krajnjem klijentu ili za omogućavanje ostalih nizvodnih značajki.

Hadoop Mongo DB agregacija



Primjena u skladištenju podataka:

U tipičnoj proizvodnoj postavci podaci aplikacije mogu se nalaziti u više spremišta podataka, svaka sa svojim jezikom upita i funkcionalnošću. Kako bi smanjio složenost u tim scenarijima, Hadoop se može koristiti kao skladište podataka i djelovati kao centralizirano spremište podataka iz različitih izvora.

što je anakonda za pythona

U ovoj vrsti scenarija:

  • Periodični MapReduce zadaci učitavaju podatke iz MongoDB-a u Hadoop.
  • Kad podaci iz MongoDB-a i drugih izvora postanu dostupni u Hadoopu, može se tražiti veći skup podataka.
  • Analitičari podataka sada imaju mogućnost korištenja MapReducea ili Pig-a za stvaranje poslova koji traže veće skupove podataka koji uključuju podatke iz MongoDB-a.

Tim koji radi iza MongoDB-a osigurao je da se svojom bogatom integracijom s tehnologijama velikih podataka, poput Hadoop-a, može dobro integrirati u Big Data Stack i pomoći u rješavanju nekih složenih arhitektonskih problema kada su u pitanju pohrana, preuzimanje, obrada, agregiranje i skladištenje podataka . Pratite naš sljedeći post o izgledima za karijeru za one koji se pridruže Hadoopu s MongoDB-om. Ako već radite s Hadoop-om ili samo preuzimate MongoDB, pogledajte tečajeve koje nudimo za MongoDB