Naredbe o košnicama s primjerima u HQL-u



Ovaj blog raspravlja o naredbama Hive s primjerima u HQL-u. IZRADI, PUSTI, ODREŽI, IZMIJENI, POKAŽI, OPIŠI, KORISTI, UČITAJ, UMETNI, PRIDRUŽI i još mnogo naredbi Hive

U ovom postu na blogu razgovarajmo o najboljim naredbama Hive s primjerima. Ove su naredbe Hive vrlo važne za postavljanje temelja .

Izašao je Edureka 2019 Tech Care Guide! Najpopularnije uloge u poslu, precizni putovi učenja, perspektive industrije i još mnogo toga u vodiču. preuzimanje datoteka sada.

Što je košnica?

Apache Hive je sustav skladišta podataka koji je izgrađen za rad na Hadoopu. Koristi se za postavljanje upita i upravljanje velikim skupovima podataka koji se nalaze u distribuiranoj pohrani. Prije nego što je postao projekt otvorenog koda Apache Hadoop, Hive je nastao na Facebooku. Pruža mehanizam za projektiranje strukture na podatke u Hadoopu i za traženje tih podataka pomoću jezika sličnog SQL-u koji se naziva HiveQL (HQL).





Hive se koristi jer su tablice u Hiveu slične tablicama u relacijskoj bazi podataka. Ako ste upoznati s SQL-om, to je šetnja. Mnogi korisnici mogu istovremeno ispitivati ​​podatke pomoću Hive-QL.

Što je HQL?

Hive definira jednostavan jezik upita sličan SQL-u za postavljanje upita i upravljanje velikim skupovima podataka koji se naziva Hive-QL (HQL). Jednostavan je za upotrebu ako ste upoznati s SQL jezikom. Hive omogućuje programerima koji su upoznati s jezikom da napišu prilagođeni okvir MapReduce kako bi izveli sofisticiraniju analizu.



Uporaba košnice:

1. Apache Hive distribuirana pohrana.

2. Košnica pruža alate koji omogućuju jednostavno izvlačenje / pretvaranje / opterećenje podataka (ETL)

3. Pruža strukturu različitih formata podataka.



4. Korištenjem Hive-a možemo pristupiti datotekama pohranjenim u Hadoop Distributed File System (HDFS se koristi za postavljanje upita i upravljanje velikim skupovima podataka koji se nalaze u njemu) ili u drugim sustavima za pohranu podataka, poput Apache HBase.

Ograničenja košnice:

& bull Hive nije dizajniran za internetsku obradu transakcija (OLTP), koristi se samo za internetsku analitičku obradu.

& bull Hive podržava prepisivanje ili hvatanje podataka, ali ne i ažuriranje i brisanje.

& bull U košnici podupiti nisu podržani.

c ++ goto oznaka

Zašto se košnica koristi unatoč svinje?

Slijede razlozi zbog kojih se košnica koristi usprkos dostupnosti svinje:

  • Hive-QL je deklarativni jezični redak SQL, PigLatin je jezik protoka podataka.
  • Svinja: jezik protoka podataka i okruženje za istraživanje vrlo velikih skupova podataka.
  • Košnica: distribuirano skladište podataka.

Komponente košnice:

Metastore:

Hive pohranjuje shemu tablica Hive u Metastore Hive. Metastore se koristi za čuvanje svih podataka o tablicama i particijama koje se nalaze u skladištu. Prema zadanim postavkama, metastore se pokreće u istom procesu kao i usluga Hive, a zadana Metastore je DerBy Database.

SerDe:

Serijalizator, Deserijalizator daje upute košnici kako obraditi zapis.

Naredbe košnice:

Jezik za definiciju podataka (DDL)

DDL izrazi koriste se za izgradnju i izmjenu tablica i drugih objekata u bazi podataka.

DDL naredba Funkcija
STVORITI Koristi se za stvaranje tablice ili baze podataka
POKAZATI Koristi se za prikaz baze podataka, tablice, svojstava itd
DOB Koristi se za promjene postojeće tablice
OPISATI Opisuje stupce tablice
SKRATITI Koristi se za trajno skraćivanje i brisanje redaka tablice
IZBRISATI Briše podatke tablice, ali se mogu vratiti

Idite na školjku Hive davanjem naredbe sudo hive i unesite naredbu 'stvoriti baza podataka ime> ’ stvoriti novu bazu podataka u košnici.

Stvorite Hive bazu podataka pomoću Hive naredbi

Da biste popisali baze podataka u skladištu košnica, unesite naredbu ' prikazuju baze podataka ’.

Baza podataka kreira se na zadanom mjestu skladišta košnica. U Clouderi, baza podataka o košnicama sprema se u / korisnik / košnica / skladište.

Naredba za upotrebu baze podataka je KORISTITI

Kopirajte ulazne podatke u lokalni HDFS pomoću naredbe copy from Local.

Kada stvorimo tablicu u košnici, ona se kreira na zadanom mjestu skladišta košnica. - “/ korisnik / košnica / skladište”, nakon stvaranja tablice možemo podatke s HDFS-a premjestiti u tablicu košnica.

Sljedeća naredba stvara tablicu s mjestom “/user/hive/warehouse/retail.db”

Bilješka : retail.db je baza podataka kreirana u skladištu košnica.

Opisati pruža informacije o shemi tablice.

Jezik za manipulaciju podacima (DML)

DML izjave koriste se za dohvaćanje, spremanje, izmjenu, brisanje, umetanje i ažuriranje podataka u bazi podataka.

Primjer :

LOAD, INSERT Izjave.

Sintaksa:

Učitaj podatke u put u tablicu [naziv tablice]

Operacija učitavanja koristi se za premještanje podataka u odgovarajuću tablicu košnica. Ako je ključna riječ lokalno je navedeno, tada će naredba za učitavanje dati put lokalnog sustava datoteka. Ako ključna riječ local nije navedena, moramo koristiti HDFS put datoteke.

Evo nekoliko primjera za naredbu LOAD data LOCAL

Nakon učitavanja podataka u tablicu košnica možemo primijeniti Izjave o manipulaciji podacima ili skupne funkcije za dohvaćanje podataka.

Primjer za brojanje broja zapisa:

Koristi se zbirna funkcija brojanja, broji ukupan broj zapisa u tablici.

Tablica 'izradi vanjsku':

The stvoriti vanjsko Ključna riječ koristi se za stvaranje tablice i pruža mjesto na kojem će se tablica stvarati, tako da Hive ne koristi zadano mjesto za ovu tablicu. An VANJSKI tablica ukazuje na bilo koje HDFS mjesto za pohranu, umjesto na zadanu pohranu.

Umetni naredbu:

The umetnuti naredba se koristi za učitavanje tablice podataka košnica. Umetci se mogu izvršiti u tablicu ili particiju.

kako podići nešto na moć u javi

& bull INSERT OVERWRITE koristi se za prepisivanje postojećih podataka u tablici ili particiji.

& bull INSERT INTO koristi se za dodavanje podataka u postojeće podatke u tablici. (Napomena: INSERT INTO sintaksa je rad iz verzije 0.8)

Primjer za naredbu 'Podijeljeno od' i 'Klasterirano od':

‘Podijeljeno od 'Koristi se za dijeljenje tablice na particiju i može se podijeliti u segmente pomoću' Grupirano prema ‘Zapovijedanje.

Kada umetnemo pogreške u bacanju podataka u košnici, način dinamičke particije je strog, a dinamička particija nije omogućena ( Jeff na web stranica dresshead ). Stoga moramo postaviti sljedeće parametre u školjku Hive.

postavi hive.exec.dynamic.partition = true

Da bi se omogućile dinamičke particije, prema zadanim je postavkama netačno

postavi hive.exec.dynamic.partition.mode = nonstrict

Dijeljenje vrši kategorija i može se podijeliti u segmente pomoću naredbe 'Clustered By'.

Izraz 'Ispuštanje tablice' briše podatke i metapodatke za tablicu. U slučaju vanjskih tablica, brišu se samo metapodaci.

Izraz 'Ispuštanje tablice' briše podatke i metapodatke za tablicu. U slučaju vanjskih tablica, brišu se samo metapodaci.

Učitajte podatke lokalne inpath 'aru.txt' u naziv tablice tablice, a zatim provjeravamo tablicu zaposlenika1 pomoću naredbe Select * from table name

Za brojanje broja zapisa u tablici pomoću Select računati(*) iz txnrecordsa

Zbirka:

Odaberite naziv (DISTINCT kategorija) iz naziva tablice

Ova će naredba brojati različitu kategoriju tablice 'cate'. Ovdje postoje 3 različite kategorije.

Pretpostavimo da postoji još jedna kategorija tablice gdje je f1 naziv polja kategorije.

Grupiranje:

Naredba grupe koristi se za grupiranje skupa rezultata u jedan ili više stupaca.

Odaberite kategoriju, zbroj (iznos) iz txt zapisa prema grupi

Izračunava iznos iste kategorije.

Rezultat jedne tablice sprema se u drugu tablicu.

Stvorite tablicu newtablename kao odabir * iz oldtablename

Pridružite se naredbi:

Ovdje je u imenu stvorena još jedna tablica ‘Mailovi’

Pridružite se operaciji :

Operacija pridruživanja izvodi se kombiniranjem polja iz dvije tablice pomoću vrijednosti zajedničkih za svaku.

koja je razlika između hashtable i hashmap

Lijevo vanjsko pridruživanje :

Rezultat lijevog vanjskog spajanja (ili jednostavno lijevog spajanja) za tablice A i B uvijek sadrži sve zapise 'lijeve' tablice (A), čak i ako uvjet pridruživanja ne pronađe nijedan odgovarajući zapis u 'desnoj' tablici (B).

Desno vanjsko pridruživanje :

Desni vanjski spoj (ili desni spoj) jako sliči lijevom vanjskom spoju, osim ako je postupak s tablicama obrnut. Svaki redak iz 'desne' tablice (B) pojavit će se u pridruženoj tablici barem jednom.

Potpuno pridruživanje :

Spojena tablica sadržavat će sve zapise iz obje tablice i popuniti NULL-ove za nedostajuće podudarnosti s obje strane.

Kad završimo s košnicom, možemo upotrijebiti naredbu quit za izlazak iz ljuske košnice.

Izlaz iz košnice

Košnica je samo dio velike zagonetke koja se naziva Big Data i Hadoop. Hadoop je puno više od puke košnice. Kliknite ispod da biste vidjeli koje biste još vještine trebali svladati u Hadoopu.

Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.

Vezane objave:

7 načina kako trening velikih podataka može promijeniti vašu organizaciju

Modeli podataka o košnici