Apache Flink je platforma otvorenog koda za distribuirani stream i batch obradu podataka. Može raditi na sustavima Windows, Mac OS i Linux OS. U ovom postu na blogu razgovarajmo o tome kako lokalno postaviti Flink klaster. Po mnogočemu je sličan Sparku - ima API-je za obradu grafikona i strojnog učenja poput Apache Spark - ali Apache Flink i Apache Spark nisu potpuno isti.
Da biste postavili Flink klaster, na vašem sustavu mora biti instalirana java 7.x ili novija. Budući da sam na svom kraju instalirao Hadoop-2.2.0 na CentOS (Linux), preuzeo sam Flink paket koji je kompatibilan s Hadoop 2.x. Pokrenite naredbu ispod kako biste preuzeli Flink paket.
Naredba: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Otpakirajte datoteku da biste dobili direktorij flink.
Naredba: tar -xvf Preuzimanja / flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Naredba: ls
životni ciklus aktivnosti androida
Dodajte varijable okruženja Flink u datoteku .bashrc.
Naredba: sudo gedit .bashrc
Morate pokrenuti donju naredbu kako bi se promjene u .bashrc datoteci aktivirale
Naredba: izvor .bashrc
Sada idite u direktorij flink i pokrenite klaster lokalno.
Naredba: cd pozamašan-1.0.0
Naredba: bin / start-local.sh
Nakon što započnete klaster, moći ćete vidjeti pokrenut novi demon JobManager.
Naredba: jps
Otvorite preglednik i idite na http: // localhost: 8081 da biste vidjeli web korisničko sučelje Apache Flink.
Pokrenimo jednostavan primjer broja riječi koristeći Apache Flink.
poziv referencom u c ++
Prije pokretanja primjera instalirajte netcat na vaš sustav (sudo yum install nc).
Sada u novom terminalu pokrenite naredbu ispod.
Naredba: nc -lk 9000
Pokrenite donju naredbu u flink terminalu. Ova naredba pokreće program koji uzima stream podatke kao ulaz i izvodi operaciju broja riječi na tim stream stream podacima.
Naredba: bin / flink run examples / streaming / SocketTextStreamWordCount.jar –hostname localhost –port 9000
U web korisničkom sučelju moći ćete vidjeti posao u aktivnom stanju.
Pokrenite naredbu ispod u novom terminalu, ovo će ispisati podatke koji se struje i obrađuju.
Naredba: rep -f log / flink - * - voditelj posla - *. out
Sada idite na terminal gdje ste pokrenuli netcat i upišite nešto.
Onog trenutka kada pritisnete tipku enter na ključnoj riječi nakon što ste upisali neke podatke na netcat terminalu, na tim će se podacima primijeniti operacija broja riječi i izlaz će se ovdje ispisati (flinkov dnevnik posla menadžera) u roku od milisekundi!
U vrlo kratkom roku podaci će se strujati, obrađivati i ispisivati.
O Apacheu Flinku možete naučiti još mnogo toga. Dotaknut ćemo se i ostalih Flinkovih tema u našem nadolazećem blogu.
sličnosti između jave i javascripta
Imate pitanje za nas? Spomenite ih u odjeljku za komentare i javit ćemo vam se.
Vezane objave:
Apache Falcon: Nova platforma za upravljanje podacima za ekosustav Hadoop