U današnjem svijetu, podaci su glavni sastojak internetskih aplikacija i obično obuhvaća sljedeće:
- Posjeti stranici i klikovi
- Aktivnosti korisnika
- Događaji koji odgovaraju prijavama
- Aktivnosti na društvenim mrežama poput lajkova, dijeljenja i komentara
- Mjerni podaci specifični za aplikaciju (npr. Zapisnici, vrijeme učitavanja stranice, izvedba itd.)
Ovaj podaci se mogu koristiti za pokretanje analitike u stvarnom vremenu koji služe u razne svrhe, od kojih su neke:
- Isporuka reklama
- Praćenje abnormalnog ponašanja korisnika
- Prikazivanje pretraživanja na temelju relevantnosti
- Prikazivanje preporuka na temelju prethodnih aktivnosti
Problem: Prikupljanje svih podataka nije lako jer se podaci generiraju iz različitih izvora u različitim formatima
Riješenje: Jedan od načina rješavanja ovog problema je korištenje sustava za razmjenu poruka. Sustavi za razmjenu poruka pružaju besprijekornu integraciju distribuiranih aplikacija uz pomoć poruka.
Apache Kafka:
Apache Kafka distribuirani je sustav za razmjenu poruka s pretplatama, koji je izvorno razvijen u LinkedInu, a kasnije je postao dio Apache projekta. Kafka je brz, okretan, skalabilan i dizajniran.
Kafka arhitektura i terminologija:
Tema: Tok poruka koji pripada određenoj kategoriji naziva se temom
Producent: Proizvođač može biti bilo koja aplikacija koja može objaviti poruke na temu
Potrošač : Potrošač može biti bilo koja aplikacija koja se pretplaćuje na teme i troši poruke
Posrednik: Kafka klaster je skup poslužitelja od kojih se svaki naziva broker
postavljanje hadoopa na ubuntu
Kafka je skalabilna i omogućuje stvaranje više vrsta klastera.
- Klaster jednog brokera s jednim čvorom
- Klaster višestrukih brokera s jednim čvorom
- Višestruki čvorovi Klaster višestrukih brokera
Single Node Single Broker
Koja je uloga ZooKeepera?
Svaki Kafkin posrednik koordinira se s drugim Kafkinim posrednicima koristeći ZooKeeper. ZooKeeper usluga proizvođače i potrošače obavještava o prisutnosti novih brokera ili neuspjehu brokera u sustavu Kafka.
Višestruki brokeri s jednim čvorom
Više čvorova Višestruki brokeri
Kafka @ LinkedIn
kako postupati s popupom u selenu
LinkedIn Newsfeed pokreće Kafka
Preporuke LinkedIna pokreće Kafka
Obavijesti o LinkedInu pokreće Kafka
Bilješka: Osim toga, LinkedIn koristi Kafku za mnoge druge zadatke kao što su nadzor dnevnika, mjerni podaci o izvedbi, poboljšanje pretraživanja, između ostalog.
Tko još koristi Kafku?
DataSift: DataSift koristi Kafku kao sakupljač praćenja događaja i za praćenje potrošnje korisnikovih tokova podataka u stvarnom vremenu
Wooga: Wooga koristi Kafku za prikupljanje i obradu podataka praćenja iz svih njihovih Facebook igara (hostiranih kod različitih davatelja usluga) na središnjem mjestu
Spužvasta stanica: Spongecell koristi Kafku za pokretanje cjelokupnog analitičkog i nadzornog cjevovoda koji pokreće i realno vrijeme i ETL aplikacije
Loggly: Loggly je najpopularnije upravljanje dnevnicima temeljeno na oblaku. Koristi Kafku za prikupljanje dnevnika.
Usporedna studija: Kafka nasuprot ActiveMQ nasuprot RabbitMQ
Kafka ima učinkovitiji format za pohranu.U prosjeku svaka poruka ima 9 bajta u Kafki, naspram 144 bajta u ActiveMQ
I u ActiveMQ-u i u RabbitMQ-u posrednici održavaju stanje isporuke svake poruke upisivanjem na disk, ali u slučaju Kafke ne postoji upisivanje na disk, što ga čini bržim.
Širokim prihvaćanjem Kafke u proizvodnji, čini se da je obećavajuće rješenje za rješavanje problema iz stvarnog svijeta. Apache Kafka trening može vam pomoći da ispred analitičara u stvarnom vremenu napredujete. Započnite s vodičem za Apache Kafka ovdje .
Imate pitanje za nas? Molimo spomenite to u odjeljku za komentare i javit ćemo vam se.
Vezane objave: