Python nudi ogroman broj knjižnica za rad na velikim podacima. Također možete raditi - u smislu razvijanja koda - koristeći Python za velike podatke puno brže od bilo kojeg drugog programskog jezika. Ova dva aspekta omogućavaju programerima širom svijeta da prihvate Python kao jezik izbora za projekte velikih podataka. Da biste stekli detaljno znanje o Pythonu, zajedno s raznim aplikacijama, možete se prijaviti uživo s 24/7 podrškom i doživotnim pristupom.
Izuzetno je jednostavno rukovati bilo kojom vrstom podataka u pythonu. Utvrdimo to na jednostavnom primjeru. Iz donje snimke možete vidjeti da je vrsta podataka 'a' niz, a vrsta 'b' cijeli broj. Dobra vijest je da ne trebate brinuti o rukovanju tipom podataka. Python se već pobrinuo za to.
Sad je pitanje od milijun dolara Python s velikim podacima ili Java s velikim podacima?
koja je razlika između jquery i javascripta
Više bih volio Python svaki dan, s velikim podacima, jer u javi, ako napišete 200 redaka koda, mogu to učiniti u samo 20 redaka koda s Pythonom. Neki programeri kažu da je izvedba Jave bolja od Pythona, ali primijetio sam da kada radite s ogromnom količinom podataka (u GB, TB i više), izvedba je gotovo ista, dok je vrijeme razvoja manje kada rad s Pythonom na velikim podacima.
Najbolja stvar kod Pythona je što nema ograničenja na podatke. Možete obrađivati podatke čak i jednostavnim strojem kao što je robni hardver, prijenosno računalo, radna površina i drugi.
Python se može koristiti za pisanje programa i aplikacija Hadoop MapReduce za pristup HDFS API-ju za Hadoop pomoću paketa PyDoop
Jedna od najvećih prednosti PyDoopa je HDFS API. To vam omogućuje povezivanje s instalacijom HDFS-a, čitanje i pisanje datoteka i neometano dobivanje informacija o datotekama, direktorijima i svojstvima globalnog datotečnog sustava.
API MapReduce PyDoop-a omogućuje vam rješavanje mnogih složenih problema uz minimalne napore programiranja. Napredni koncepti MapReduce poput 'Brojila' i 'Čitači zapisa' mogu se implementirati u Pythonu pomoću PyDoop-a.
U primjeru u nastavku pokrenut ću jednostavan program za brojanje riječi MapReduce napisan na Pythonu koji broji učestalost pojavljivanja riječi u ulaznoj datoteci. Dakle, u nastavku imamo dvije datoteke - 'mapper.py' i 'reducer.py', obje napisane na pythonu.
Slika: mapper.py
Slika: reduktor.py
Slika: pokretanje zadatka MapReduce
što je paket u javi
Slika: izlaz
Ovo je vrlo osnovni primjer, ali kada pišete složeni program MapReduce, Python će smanjiti broj linija retka koda za 10 puta u odnosu na isti program MapReduce napisan na Javi.
Zašto Python ima smisla za znanstvenike podataka
Svakodnevni zadaci znanstvenika podataka obuhvaćaju brojne međusobno povezane, ali različite aktivnosti, poput pristupa i manipulacije podacima, izračunavanja statistike i stvaranja vizualnih izvještaja oko tih podataka. Zadaci također uključuju izgradnju prediktivnih i objašnjavajućih modela, ocjenu tih modela na dodatnim podacima, integriranje modela u proizvodne sustave, između ostalog. Python ima raznolik raspon biblioteka otvorenog koda za gotovo sve ono što Data Scientist radi prosječno dnevno.
SciPy (izgovara se „Sigh Pie“) ekosustav je otvorenog koda zasnovan na Pythonu za matematiku, znanost i inženjerstvo. Postoje mnoge druge knjižnice koje se mogu koristiti.
Presuda je: Python je najbolji izbor za korištenje s velikim podacima.
Imate pitanje za nas? Molimo navedite ih u odjeljku za komentare i javit ćemo vam se.
kako baciti dvostruko na int
Vezane objave: