Instalacija Apache Hive na Ubuntuu

Na ovom blogu ćemo naučiti o instalaciji Apache Hive na Ubuntu i konceptima oko Hadoop Hive, Hive sql, Hive baze podataka, Hive servera i Hive instalacije.

Apache Hive jedan je od najvažnijih okvira u Hadoop ekosustavu, što ga pak čini vrlo presudnim za . Na ovom blogu naučit ćemo o instaliranju Apache Hive i Hive na Ubuntu.

Što je Apache košnica?

Apache košnica je infrastruktura skladišta podataka koja olakšava postavljanje upita i upravljanje velikim skupovima podataka koji se nalaze u distribuiranom sustavu za pohranu. Izgrađen je na vrhu Hadoopa, a razvio ga je Facebook. Košnica pruža način za upite podataka pomoću jezika upita sličnog SQL-u HiveQL (jezik upita za košnice).





Interno prevodilac prevodi HiveQL izjave u MapReduce poslovi, koji se zatim podnose na Hadoop okvir radi izvršenja.

Razlika između košnice i SQL-a:

Košnica izgleda vrlo slično tradicionalnoj bazi podataka sa SQL pristup. Međutim, jer Košnica temelji se na Hadoop i MapReduce postoji nekoliko ključnih razlika:



Kako je Hadoop namijenjen dugim uzastopnim skeniranjima i Košnica temelji se na Hadoop , očekivali biste da upiti imaju vrlo visoku latenciju. Znači da Košnica ne bi bilo prikladno za one aplikacije kojima je potrebno vrlo brzo vrijeme odziva, kao što možete očekivati ​​od tradicionalne baze podataka RDBMS-a.

Konačno, Košnica zasnovan je na čitanju i stoga nije prikladan za obradu transakcija koja obično uključuje velik postotak operacija pisanja.

što je filtar konteksta u tablici

Instalacija košnice na Ubuntuu:

Slijedite korake u nastavku za instalaciju Apache košnica na Ubuntuu:



Korak 1: preuzimanje datoteka Katran košnice.

Naredba: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

Korak 2: Izvadite katran datoteka.

Naredba: tar -xzf apache-hive-2.1.0-bin.tar.gz

Naredba: ls

Datoteka širenja košnice - Instalacija košnice - Edureka

Korak 3: Uredite '.Bashrc' datoteka za ažuriranje varijabli okoline za korisnika.

Naredba: sudo gedit .bashrc

Na kraju datoteke dodajte sljedeće:

# Postavite HIVE_HOME

izvoz HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
izvoz PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

Također, provjerite je li postavljena i hadoop staza.

Pokrenite naredbu ispod kako bi promjene funkcionirale na istom terminalu.

Naredba: izvor .bashrc

Korak 4: Provjerite verziju košnice.

baci dvojnicu na int

Korak 5: Stvoriti Košnica direktoriji unutar HDFS . Imenik 'skladište' je mjesto za pohranu tablice ili podataka koji se odnose na košnicu.

Naredba:

  • hdfs dfs -mkdir -p / korisnik / košnica / skladište
  • hdfs dfs -mkdir / tmp

Korak 6: Postavite dozvole za čitanje / pisanje za tablicu.

Naredba:

U ovoj naredbi dajemo dozvolu za pisanje grupi:

  • hdfs dfs -chmod g + w / korisnik / košnica / skladište
  • hdfs dfs -chmod g + w / tmp

Korak 7: Postavi Hadoop put u h ive-env.sh

Naredba: cd apache-hive-2.1.0-bin /

Naredba: gedit conf / hive-env.sh

Postavite parametre kako je prikazano na donjoj snimci.

Korak 8: Uredi hive-site.xml

Naredba: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC string za povezivanje za JDBC metastore. Da biste koristili SSL za šifriranje / provjeru autentičnosti veze, u URL-u veze navedite SSL zastavu specifičnu za bazu podataka. Na primjer, jdbc: postgresql: // myhost / db? Ssl = true za postgres bazu podataka. hive.metastore.warehouse.dir / korisnik / košnica / skladište lokacija zadane baze podataka za skladište hive.metastore.uris Uštedni URI za udaljenu metastoru. Koristi ga klijent metastore za povezivanje s udaljenom metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Naziv klase upravljačkog programa za JDBC metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory klasa

9. korak: Prema zadanim postavkama, Hive koristi derbi baza podataka. Inicijalizirajte bazu podataka Derby.

Naredba: bin / schematool -initSchema -dbTip derbija

Korak 10 :Pokrenite Košnica.

Naredba: košnica

11. korak :Pokrenite nekoliko upita u ljusci Hive.

Naredba: prikazuju baze podataka

Naredba: stvoriti zaposlenika tablice (ID niza, niz imena, niza odjela) Polja odvojena formatom reda završena s '' pohranjena kao tekstualna datoteka

Naredba: pokazati tablice

Korak 12: Za izlazak iz Košnica:

Naredba: Izlaz

je magistar postdiplomskog studija

Sad kad ste završili s instalacijom Hive-a, sljedeći je korak naprijed isprobavanje naredbi Hive-a na ljusci Hive-a. Stoga naš sljedeći blog “ Naredbe o košnicama s primjerima u HQL-u ”Pomoći će vam svladati naredbe Hivea.

Vezane objave:

Kako pokrenuti skripte za košnice?

Naredbe košnica

Uvod u Apache Hive