Apache Hive jedan je od najvažnijih okvira u Hadoop ekosustavu, što ga pak čini vrlo presudnim za . Na ovom blogu naučit ćemo o instaliranju Apache Hive i Hive na Ubuntu.
Što je Apache košnica?
Apache košnica je infrastruktura skladišta podataka koja olakšava postavljanje upita i upravljanje velikim skupovima podataka koji se nalaze u distribuiranom sustavu za pohranu. Izgrađen je na vrhu Hadoopa, a razvio ga je Facebook. Košnica pruža način za upite podataka pomoću jezika upita sličnog SQL-u HiveQL (jezik upita za košnice).
Interno prevodilac prevodi HiveQL izjave u MapReduce poslovi, koji se zatim podnose na Hadoop okvir radi izvršenja.
Razlika između košnice i SQL-a:
Košnica izgleda vrlo slično tradicionalnoj bazi podataka sa SQL pristup. Međutim, jer Košnica temelji se na Hadoop i MapReduce postoji nekoliko ključnih razlika:
Kako je Hadoop namijenjen dugim uzastopnim skeniranjima i Košnica temelji se na Hadoop , očekivali biste da upiti imaju vrlo visoku latenciju. Znači da Košnica ne bi bilo prikladno za one aplikacije kojima je potrebno vrlo brzo vrijeme odziva, kao što možete očekivati od tradicionalne baze podataka RDBMS-a.
Konačno, Košnica zasnovan je na čitanju i stoga nije prikladan za obradu transakcija koja obično uključuje velik postotak operacija pisanja.
što je filtar konteksta u tablici
Instalacija košnice na Ubuntuu:
Slijedite korake u nastavku za instalaciju Apache košnica na Ubuntuu:
Korak 1: preuzimanje datoteka Katran košnice.
Naredba: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Korak 2: Izvadite katran datoteka.
Naredba: tar -xzf apache-hive-2.1.0-bin.tar.gz
Naredba: ls
Korak 3: Uredite '.Bashrc' datoteka za ažuriranje varijabli okoline za korisnika.
Naredba: sudo gedit .bashrc
Na kraju datoteke dodajte sljedeće:
# Postavite HIVE_HOME
izvoz HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
izvoz PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Također, provjerite je li postavljena i hadoop staza.
Pokrenite naredbu ispod kako bi promjene funkcionirale na istom terminalu.
Naredba: izvor .bashrc
Korak 4: Provjerite verziju košnice.
baci dvojnicu na int
Korak 5: Stvoriti Košnica direktoriji unutar HDFS . Imenik 'skladište' je mjesto za pohranu tablice ili podataka koji se odnose na košnicu.
Naredba:
- hdfs dfs -mkdir -p / korisnik / košnica / skladište
- hdfs dfs -mkdir / tmp
Korak 6: Postavite dozvole za čitanje / pisanje za tablicu.
Naredba:
U ovoj naredbi dajemo dozvolu za pisanje grupi:
- hdfs dfs -chmod g + w / korisnik / košnica / skladište
- hdfs dfs -chmod g + w / tmp
Korak 7: Postavi Hadoop put u h ive-env.sh
Naredba: cd apache-hive-2.1.0-bin /
Naredba: gedit conf / hive-env.sh
Postavite parametre kako je prikazano na donjoj snimci.
Korak 8: Uredi hive-site.xml
Naredba: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC string za povezivanje za JDBC metastore. Da biste koristili SSL za šifriranje / provjeru autentičnosti veze, u URL-u veze navedite SSL zastavu specifičnu za bazu podataka. Na primjer, jdbc: postgresql: // myhost / db? Ssl = true za postgres bazu podataka. hive.metastore.warehouse.dir / korisnik / košnica / skladište lokacija zadane baze podataka za skladište hive.metastore.uris Uštedni URI za udaljenu metastoru. Koristi ga klijent metastore za povezivanje s udaljenom metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Naziv klase upravljačkog programa za JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory klasa
9. korak: Prema zadanim postavkama, Hive koristi derbi baza podataka. Inicijalizirajte bazu podataka Derby.
Naredba: bin / schematool -initSchema -dbTip derbija
Korak 10 :Pokrenite Košnica.
Naredba: košnica
11. korak :Pokrenite nekoliko upita u ljusci Hive.
Naredba: prikazuju baze podataka
Naredba: stvoriti zaposlenika tablice (ID niza, niz imena, niza odjela) Polja odvojena formatom reda završena s '' pohranjena kao tekstualna datoteka
Naredba: pokazati tablice
Korak 12: Za izlazak iz Košnica:
Naredba: Izlaz
je magistar postdiplomskog studija
Sad kad ste završili s instalacijom Hive-a, sljedeći je korak naprijed isprobavanje naredbi Hive-a na ljusci Hive-a. Stoga naš sljedeći blog “ Naredbe o košnicama s primjerima u HQL-u ”Pomoći će vam svladati naredbe Hivea.
Vezane objave: