Relacijske baze podataka dugo su bile dovoljne za rukovanje malim ili srednjim skupovima podataka. Ali ogromna brzina rasta podataka čini tradicionalni pristup pohrani i pronalaženju podataka neizvedivim. Taj se problem rješava novijim tehnologijama koje mogu rukovati velikim podacima. Hadoop, Hive i Hbase popularne su platforme za rad s ovom vrstom velikih skupova podataka. NoSQL ili ne samo SQL baze podataka kao što je MongoDB pružaju mehanizam za pohranu i dohvat podataka u modelu dosljednosti gubitnika s prednostima poput:
- Horizontalno skaliranje
- Veća dostupnost
- Brži pristup
MongoDB inženjerski tim nedavno je ažurirao MongoDB Connector za Hadoop kako bi imao bolju integraciju. To korisnicima Hadoop-a olakšava:
- Integrirajte podatke iz MongoDB-a u stvarnom vremenu s Hadoop-om za dubinsku izvanmrežnu analitiku.
- Konektor izlaže analitičku snagu Hadoopovog MapReducea aktivnim podacima aplikacije iz MongoDB-a, brže i učinkovitije utječući na vrijednost velikih podataka.
- Connector predstavlja MongoDB kao datotečni sustav kompatibilan s Hadoop-om, omogućavajući MapReduceu posao da čita iz MongoDB-a izravno, bez da ga je prije kopirao u HDFS (Hadoop-ov datotečni sustav), čime uklanja potrebu za premještanjem terabajta podataka kroz mrežu.
- Poslovi MapReducea mogu prosljeđivati upite kao filtre, tako da se izbjegava potreba za skeniranjem cijelih zbirki, a može iskoristiti i bogate mogućnosti indeksiranja MongoDB-a, uključujući geo-prostorne, pretraživanje teksta, nizove, složene i rijetke indekse.
- Čitajući iz MongoDB-a, rezultati poslova Hadoop-a mogu se također ispisati na MongoDB, kako bi podržali operativne procese u stvarnom vremenu i ad-hoc upite.
Slučajevi upotrebe Hadoopa i MongoDB-a:
Pogledajmo opis na visokoj razini kako se MongoDB i Hadoop mogu uklopiti u tipični hrp velikih podataka. Prvenstveno imamo:
kako naučiti pl sql
- MongoDB koristi se kao 'Operativno' spremanje podataka u stvarnom vremenu
- Hadoop za izvanmrežna skupna obrada i analiza podataka
Čitajte dalje da biste znali zašto i kako su MongoDB koristile tvrtke i organizacije kao što su Aadhar, Shutterfly, Metlife i eBay .
Primjena MongoDB-a s Hadoop-om u skupnom agregiranju:
U većini scenarija ugrađena funkcionalnost agregiranja koju pruža MongoDB dovoljna je za analizu podataka. Međutim, u određenim slučajevima može biti potrebno znatno složenije prikupljanje podataka. Ovdje Hadoop može pružiti moćan okvir za složenu analitiku.
datum tipa podataka u primjeru sql
U ovom scenariju:
- Podaci se izvlače iz MongoDB-a i obrađuju u Hadoopu putem jednog ili više poslova MapReduce. Podaci se također mogu dobiti s drugih mjesta unutar ovih MapReduce poslova kako bi se razvilo rješenje za više podataka.
- Izlaz iz ovih poslova MapReduce može se zatim vratiti natrag u MongoDB za naknadno postavljanje upita i za bilo kakvu analizu na ad-hoc osnovi.
- Aplikacije izgrađene na vrhu MongoDB-a mogu stoga koristiti podatke iz batch analitike za predstavljanje krajnjem klijentu ili za omogućavanje ostalih nizvodnih značajki.
Primjena u skladištenju podataka:
U tipičnoj proizvodnoj postavci podaci aplikacije mogu se nalaziti u više spremišta podataka, svaka sa svojim jezikom upita i funkcionalnošću. Kako bi smanjio složenost u tim scenarijima, Hadoop se može koristiti kao skladište podataka i djelovati kao centralizirano spremište podataka iz različitih izvora.
što je anakonda za pythona
U ovoj vrsti scenarija:
- Periodični MapReduce zadaci učitavaju podatke iz MongoDB-a u Hadoop.
- Kad podaci iz MongoDB-a i drugih izvora postanu dostupni u Hadoopu, može se tražiti veći skup podataka.
- Analitičari podataka sada imaju mogućnost korištenja MapReducea ili Pig-a za stvaranje poslova koji traže veće skupove podataka koji uključuju podatke iz MongoDB-a.
Tim koji radi iza MongoDB-a osigurao je da se svojom bogatom integracijom s tehnologijama velikih podataka, poput Hadoop-a, može dobro integrirati u Big Data Stack i pomoći u rješavanju nekih složenih arhitektonskih problema kada su u pitanju pohrana, preuzimanje, obrada, agregiranje i skladištenje podataka . Pratite naš sljedeći post o izgledima za karijeru za one koji se pridruže Hadoopu s MongoDB-om. Ako već radite s Hadoop-om ili samo preuzimate MongoDB, pogledajte tečajeve koje nudimo za MongoDB