Statistika za strojno učenje: Vodič za početnike



Ovaj članak o Statistici za strojno učenje sveobuhvatan je vodič o različitim konceptima i statistikama s primjerima.

Razumijevanje podataka i sposobnost stvaranja vrijednosti je vještina desetljeća. Strojno učenje jedna je od takvih temeljnih vještina koja pomaže tvrtkama da je ispune. Međutim, da biste započeli, morate pravilno izgraditi svoje temelje. Stoga ću u ovom članku pokriti nekoliko osnovnih pojmova i pružiti vam smjernice za započinjanje putovanja u strojnom učenju. Dakle, u ovom članku o statistici strojnog učenja raspravljat će se o sljedećim temama:

  1. Vjerojatnost
  2. Statistika
  3. Linearna algebra

Vjerojatnost i statistika za strojno učenje:





Što je vjerojatnost?

Vjerojatnost kvantificira vjerojatnost događaja. Na primjer, ako kotrljate poštenu, nepristranu umrijeti, tada je vjerojatnost da jedan okretanje je 1/6 . E sad, ako se pitate why? Tada je odgovor sasvim jednostavan!

To je zato što postoji šest mogućnosti i sve su podjednako vjerojatne (poštena smrt). Stoga možemo dodati 1 + 1 + 1 + 1 + 1 + 1 = 6. Ali, budući da nas zanima događaj gdje se pojavi 1 . Tamo je samo jedan način na koji se događaj može dogoditi. Stoga,



Vjerojatnost 1 pojavljivanja = 1/6

Sličan je slučaj sa svim ostalim brojevima jer su svi događaji jednako vjerojatni. Jednostavno, zar ne?

Pa, frekventistička definicija vjerojatnosti za ovaj primjer zvučala bi poput - vjerojatnost pojave 1 omjer je broja puta 1 okretanja prema ukupnom broju valjanja kockice ako je matrica valjana beskonačan broj puta.Kako ovo ima smisla?



Učinimo to zanimljivijim. Razmotrite dva slučaja - pet ste puta valjali kocku. U jednom slučaju slijed brojeva koji se pojavljuju je - [1,4,2,6,4,3]. U drugom slučaju dobivamo - [2,2,2,2,2,2]. Što mislite, koji je vjerojatniji?

Obje su podjednako vjerojatne. Čini se neobično zar ne?

Sada razmotrite još jedan slučaj u kojem je svih 5 rola u svakom slučaju neovisna . Znači, jedan kolut ne utječe na drugi. U prvom slučaju, kada se pojavilo 6, nije imalo pojma da su se pojavila 2 prije njega. Stoga je svih 5 koluta jednako vjerojatno.

Slično tome, ravni 2s u drugom slučaju mogu se shvatiti kao slijed neovisnih događaja. I svi su ti događaji jednako vjerojatni. Sve u svemu, budući da imamo iste kockice, vjerojatnost da će se određeni broj pojaviti u slučaju da je jedan isti kao i slučaj dva. Zatim, u ovom članku o statistici strojnog učenja, shvatimo taj pojam Neovisnost.

Neovisnost

Dva događaja Kaže se da su A i B neovisni ako pojava A ne utječe na događaj B . Na primjer, ako bacite novčić i bacite kockicu, ishod matrice nema utjecaja na to pokazuju li novčići glave ili repove. Također, za dva neovisna događaja A i B , vjerojatnost da se A i B mogu pojaviti zajedno . Tako na primjer, ako želite vjerojatnost da novčić pokazuje glave, a kockica pokazuje 3.

P (A i B) = P (A) * P (B)

Stoga je P = & frac12 (vjerojatnost okretanja glava gore) * ⅙ (vjerojatnost 3 okretanja gore) = 1/12

U prethodnom primjeru, za oba slučaja, P = ⅙ * ⅙ * ⅙ * ⅙ * ⅙ * ⅙.

pronađi maksimalan broj u nizu java

Sada razgovarajmo o događajima koji nisu neovisni. Uzmite u obzir sljedeću tablicu:

Pretilo Nije pretilo
Problemi sa srcemČetiri petpetnaest
Nema problema sa srcem1030

Snimljeno je istraživanje od 100 ljudi. 60 ih je imalo problema sa srcem, a 40 nije. Od 60 koji su imali problema sa srcem, 45 ih je bilo pretilo. Od 40 koji nisu imali problema sa srcem, 10 ih je bilo pretilo. Ako vas netko pita -

  1. Kolika je vjerojatnost srčanog problema?
  2. Kolika je vjerojatnost da imate problema sa srcem i ne budete pretili?

Odgovor na prva pitanja je jednostavan - 60/100. Za drugu bi to bilo 15/100. Sada razmislite o trećem pitanju - Osoba je izabrana slučajnim odabirom. Utvrđeno je da ima srčanu bolest. Kolika je vjerojatnost da je pretilan?

Sada razmislite o informacijama koje su vam date - Poznato je da on ima srčane bolesti. Stoga ne može biti iz četrdeset koji nemaju srčane bolesti. Postoji samo 60 mogućih opcija (gornji redak u tablici). Sada, među tim smanjenim mogućnostima, vjerojatnost da je pretilost je 45/60. Sad, kad ste znali, što su neovisni događaji, sljedeći u ovom članku o statistici za strojno učenje, razumijemo uvjetne vjerojatnosti.

Uvjetne vjerojatnosti

Da bismo razumjeli uvjetne vjerojatnosti, nastavimo našu raspravu gornjim primjerom. Status pretilosti i status oboljelog od srca nije neovisan. Da pretilost ne utječe na srčane probleme, tada bi broj pretilih i ne-pretilih slučajeva za ljude koji imaju srčane probleme bio jednak.

Također, dobili smo da osoba ima problema sa srcem i morali smo saznati vjerojatnost da je pretila. Dakle, vjerovatnoća je, u ovom slučaju, uvjetovana činjenicom da ima problema sa srcem. Ako je vjerojatnost da će se događaj A dogoditi uvjetovana događajem B, predstavljamo ga kao

P (A | B)

Sada postoji teorem koji nam pomaže izračunati ovu uvjetnu vjerojatnost. Zove se Bayesovo pravilo .

P (A | B) = P (A i B) / P (B)

Ovaj teorem možete provjeriti dodavanjem primjera o kojem smo upravo razgovarali. Ako ste do sada razumjeli, možete započeti sa sljedećim - Naivni Bayes . Koristi uvjetne vjerojatnosti za klasificiranje je li e-pošta neželjena pošta. Može obavljati mnoge druge klasifikacijske zadatke. Ali u osnovi je u srcu uvjetna vjerojatnost .

Statistika:

Statistika je koristi se za sažimanje i zaključivanje o velikom broju točaka podataka. U znanosti o podacima i strojnom učenju često ćete naići na sljedeću terminologiju

  • Mjere centralnosti
  • Raspodjela (posebno normalna)

Mjere centralnosti i mjere namaza

Srednje:

Mean je samo prosjek brojeva . Da biste saznali srednju vrijednost, morate zbrojiti brojeve i podijeliti ih s brojem brojeva. Na primjer, srednja vrijednost [1,2,3,4,5] je 15/5 = 3.

mean-statistics-for-machine-learning

Medijan:

Medijan je srednji element skupa brojeva kad su poredani rastućim redoslijedom. Na primjer, brojevi [1,2,4,3,5] poredani su uzlaznim redoslijedom [1,2,3,4,5]. Srednji je od njih 3. Stoga je medijan 3. Ali što ako je broj brojeva paran i stoga nema srednji broj? U tom slučaju uzimate prosjek dvaju najsrednjih brojeva. Za slijed od 2n brojeva u rastućem redoslijedu, prosjek n-te i (n + 1)thbroj za dobivanje medijane. Primjer - [1,2,3,4,5,6] ima medijan (3 + 4) / 2 = 3,5

Način rada:

Način je jednostavno najčešći broj u skupu brojeva . Na primjer, način rada [1,2,3,3,4,5,5,5] je 5.

Varijansa:

Varijansa nije središnja mjera. Mjeri kako se vaši podaci šire oko srednje vrijednosti . Kvantificira se kao

xje srednja vrijednost N brojeva. Uzmete bod, oduzmete srednju vrijednost i uzmete kvadrat ove razlike. Učinite to za svih N brojeva i prosječno ih izračunajte. Kvadratni korijen varijance naziva se standardna devijacija. Zatim, u ovom članku o statistici strojnog učenja, shvatimo normalnu distribuciju.

Normalna distribucija

Distribucija nam pomaže razumjeti kako se naši podaci šire . Primjerice, u uzorku dobi možemo imati više ljudi nego starijih odraslih, a time i manje vrijednosti dobi više od većih. Ali kako definiramo raspodjelu? Razmotrite primjer u nastavku

Os y predstavlja gustoću. Način ove distribucije je 30, jer je vrhunac, a time i najčešći. Također možemo locirati medijan. Medijan leži na točki na osi x gdje je pokrivena polovica područja ispod krivulje. Područje pod bilo kojom normalnom raspodjelom je 1 jer je zbroj vjerojatnosti svih događaja 1. Na primjer,

pronađi duljinu niza javascript

Medijana u gornjem slučaju je oko 4. To znači da je površina ispod krivulje prije 4 jednaka onoj nakon 4. Razmotrimo drugi primjer

Vidimo tri normalne raspodjele. Plava i crvena imaju isto značenje. Crvena ima veću varijancu. Stoga je rašireniji od plavog. No, budući da područje mora biti 1, vrh crvene krivulje kraći je od plave krivulje, da bi područje ostalo konstantno.

Nadam se da ste razumjeli osnovne statistike i normalne raspodjele. Sada, sljedeći u ovom članku o statistici strojnog učenja, naučimo o Linearnoj algebri.

Linearna algebra

Suvremena AI ne bi bila moguća bez Linearne algebre. Čini jezgru Duboko učenje a korišten je čak i u jednostavnim algoritmima poput . Bez daljnjeg odgađanja, krenimo.

Sigurno su vam poznati vektori. Oni su svojevrsni geometrijski prikazi u prostoru. Na primjer, vektor [3,4] ima 3 jedinice duž x osi i 4 jedinice duž y osi. Uzmite u obzir sljedeću sliku -

Vektor d1 ima 0,707 jedinica duž x osi i 0,707 jedinica duž y osi. Vektor ima 1 dimenziju. Nužno ima veličinu i smjer. Na primjer,

Gornja slika ima vektor (4,3). Njegova je magnituda 5, a s x osi iznosi 36,9 stupnjeva.

Što je matrica? Matrica je višedimenzionalni niz brojeva. Za što se koristi? Vidjet ćemo unaprijed. Ali prvo, pogledajmo kako se koristi.

Matrica

Matrica može imati mnogo dimenzija. Razmotrimo dvodimenzionalnu matricu. Ima redove (m) i stupce (n). Stoga ima m * n elemenata.

što je logger u javi

Na primjer,

Ova matrica ima 5 redaka i 5 stupaca. Nazovimo ga A. Stoga je A (2,3) unos u drugom redu i trećem stupcu koji je 8.

Sada, kad znate što je matrica, omogućuje nam da pogledamo različite operacije matrice.

Matrične operacije

Dodavanje matrica

Dvije matrice isti mogu se dodati dimenzije. Dodavanje se događa elementarno.

Množenje skalara

Matricu je moguće pomnožiti skalarnom veličinom. Takvo množenje dovodi do toga da se svaki unos u matricu pomnoži sa skalarom. Skalar je samo broj

Transpozicija matrice

Prenošenje matrice je jednostavno. Za matricu A (m, n), neka je A ’njezin transpozit. Zatim

A '(i, j) = A (j, i)

Na primjer,

Množenje matrica

Ovo je vjerojatno malo nezgodno od ostalih operacija. Prije nego što zaronimo u njega, definirajmo točkasti proizvod između dva vektora.

Uzmimo u obzir vektor X = [1,4,6,0] i vektor Y = [2,3,4,5]. Tada se umnožak između X i Y definira kao

X.Y = 1 * 2 + 4 * 3 + 6 * 4 + 0 * 5 = 38

Dakle, to je množenje i zbrajanje po elementima. Sada,razmotrimo dvije matrice A (m, n) i B (n, k), gdje su m, n, k dimenzije, a time i cijeli brojevi. Množenje matrica definiramo kao

U gornjem primjeru, prvi element proizvoda (44) dobiva se točkastim umnožakom prvog reda lijeve matrice s prvim stupcem desne matrice. Slično tome, 72 se dobiva točkasti umnožak prvog reda lijeve matrice s drugim stupcem desne matrice.

Imajte na umu da bi za lijevu matricu broj stupaca trebao biti jednak broju redaka u desnom stupcu. U našem slučaju umnožak AB postoji, ali ne i BA jer m nije jednako k. Za dvije matrice A (m, n) i B (n, k) definiran je umnožak AB, a dimenzija proizvoda je (m, k) (najveće vanjske dimenzije (m, n), (n, k ))). Ali BA nije definiran osim ako je m = k.

Ovime smo završili ovaj članak o Statistici za strojno učenje. Nadam se da ste razumjeli neke od žargona za strojno učenje. Ipak ovdje ne završava. Da biste bili sigurni da ste spremni za industriju, možete provjeriti Edurekine tečajeve o Data Scienceu i AI. Mogu se naći