Zvogëlimi i madhësisë Loginom Wiki. Zvogëlimi i madhësisë së Metoda e zvogëlimit të madhësisë së analizës së të dhënave

Në analizën komplekse statistikore të lëkurës, objekti përshkruhet nga një vektor, madhësia e të cilit është e mjaftueshme (ale është e njëjtë për të gjitha objektet). Protesta e njerëzve mund të jetë pa mesin e numrit të pikave në zonë. Analizoni blerjen e pikëve në hapësirën e parëndësishme edhe më të palosshme. Bezposredne Kjo është gjithçka e natyrshme - bazannya është një atmosferë e pasur me hapësirën e vogël, por "ju mund të mahniteni me to".

Krym pragnennya onochnostі, є y іnshі motivet për uljen e madhësisë. Ata burokratë, nga të cilët një vështrim i të kaluarës, nuk mund të mbërthehen, të privohen nga analiza statistikore. Në fakt, burimet janë të disponueshme për informacion rreth tyre. Në një mënyrë tjetër, si mund të sillet, nëse përfshihet në analizën e fuqisë së procedurave statistikore (rritje, rritje e variancës së vlerësimeve të parametrave dhe karakteristikave të rritjeve). Tom bazhano argëton zyrtarë të tillë.

E negociueshme me një shikim, ulje e madhësisë së prapanicës për analizën e regresionit për parashikimin e shitjes, duke parë podrozdili 3.2.3. Në radhë të parë, një numër dimrash të pavarur dimëror nga 17 në 12. Në një mënyrë tjetër, ndërtoj një faktor të ri - funksionin linear të 12 faktorëve të hamendësuar, i cili është më i bukuri për parashikimet e zakonshme për parashikimet e përgjithshme të shitjeve. Mund të thuhet se, si rezultat, madhësia e bimës ndryshoi nga 18 në 2. Dhe mungesa e një faktori të pavarur në vetvete (i prezantuar në seksionin 3.2.3 të kombinimit të linjës), ai një ugar - shumë shitjet.

Kur analizoni dhuratat e pasura dhe dinjitoze, bëni shenjë të shikoni jo një, por një bimë të pajetë, një filiz në një mënyrë që lëkundet katrorin dhe ugarin. Për këtë, është e qartë se ka një rënie në pastrimin në formulën sulmuese. I është dhënë bagatovymirnu vibirk. Është e nevojshme të kalohen disa nga vektorët në dimensionin më të vogël, për të maksimizuar strukturën e të dhënave, nëse është e mundur, të mos konsumoni informacion, por të përfitoni nga të dhënat. Zavdannya të konkretizohet në ndërfaqen e lëkurës me një metodë specifike të reduktimit të dimensionit.

Metoda e komponentit kryesorє Një nga metodat më shpesh vicioze për zvogëlimin e madhësisë. Ideja kryesore e shtyllës është se në kohën e fundit, në të kaluarën, ekziston rozeta më e madhe në ato ditë. Ndaloni vibratorin që të ruhet me vektorë, si në të njëjtën mënyrë me një vektor X = (x(1), x(2), … , x(n)). Qartë kombinimet e linjave

Y(λ (1), λ (2), ..., λ ( n)) = λ (1) x(1) + λ (2) x(2) +… + λ ( n)x(n),

λ 2 (1) + λ 2 (2) +… + λ 2 ( n) = 1.

Këtu vektori λ = (λ (1), λ (2), ..., λ ( n)) shtrihuni në një sferë të vetme në n-hapësirë ​​e kësaj bote.

Në mënyrën e komponentëve kryesorë, është e nevojshme të dihet prodhimi maksimal, tobto. e njëjta λ, në një maksimum të caktuar të variancës së vlerës së rënies Y(λ) = Y(λ (1), λ (2), ..., λ ( n)). Todi vektori λ specifikon komponentin e parë të kokës dhe sasinë Y(λ) është projeksioni i vektorit të rënies X në komponentin e parë të kokës.

Pastaj, duke përdorur termat e algjebrës lineare, shikoni hiperplanin n-hapësirë ​​e kësaj bote, pingul me komponentin e parë të kokës dhe projektuar në të gjithë zonën e të gjithë elementëve vibrues. Madhësia e zonës është 1 mensha, madhësia e zonës është më e ulët.

Në rastin e hiperhapësirës së analizuar, procedura përsëritet. Një i ri e di drejtpërdrejt më roskidu, tobto. komponenti i kokës së mikut. Pastaj shihni zonën pingul me dy komponentët e parë të kokës. Madhësia Її për 2 mensha, madhësia më e ulët e hapësirës endacake. Dal - fillimi i përsëritjes.

Për një vështrim në algjebrën lineare, do të shoh për nxitjen e një baze të re në n-hapësira e kësaj bote, ortet e komponentëve kryesorë.

Dispersion, i cili formon lëkurën komponent të ri të kokës, mensha, më të ulët për pjesën e përparme. Zazvychay zupinyayutsya, nëse ka mensha për detyra. Yaksho vidibrano k komponentët e kokës, pastaj tse do të thotë, n- Hapësirë ​​e kësaj bote në distancën ku duhet shkuar k- bote, tobto. madhësia e shpejtësisë n- më parë k, praktikisht nuk përputhej me strukturën e fitoreve .

Për një analizë vizuale të të dhënave, shpesh ndodh që të kryhet projeksioni i vektorëve të jashtëm në zonën e dy komponentëve të parë kryesorë. Ju mund të shihni strukturën e të dhënave, mund të shihni grupime kompakte të objekteve dhe vektorëve, të cilët mund të shihen lehtësisht.

Metoda e komponentit të kokës є një nga tre metodat analiza faktoriale. Bazuar në algoritmet për analizën e faktorëve, informacioni shpjegohet, por të gjithë ata do të mund të kalojnë në një bazë të re nga n-hapësirë ​​e kësaj bote. Është e rëndësishme të kuptohet "faktori navantazhennya", pasi është mbërthyer për të përshkruar rolin e faktorit të jashtëm (ndryshimit) në vektorin e formuluar të këndimit nga një bazë e re.

Një ide e re kundër metodës së komponentëve të kokës është se, në bazë të ditës, ka një problem me zhvillimin e zyrtarëve në grup. Në një grup, ju mund të bashkoni faktorët, kështu që mund të shtoni hyrje shtesë në elementët e një baze të re. Për shkak të grupit të lëkurës, rekomandohet të keni një përfaqësues. Një mënyrë për të zëvendësuar zgjedhjen e një përfaqësuesi me një shteg rruzare është të formohet një faktor i ri, i cili është thelbësor për grupin për t'u parë. Zvogëlimi i hapësirës bëhet para orës së kalimit në sistemin e zyrtarëve - nga përfaqësues të grupeve. Shihen zyrtarë të tjerë.

Procedura e përshkruar mund të zgjidhet jo pa analizë të faktorëve shtesë. Idesya në lidhje me analizën e grupimit të markës (burokratët, zmіnnikh). Për rosbitt, shenja e një grupi mund të vendoset duke përdorur algoritme të analizës së grupimeve. Mjafton të futet dukshmëria (bota e afërsisë, treguesi i dukshmërisë) dhe shenjat. Eja Xі Kanë- dy shenja. Dukshmëria d(X, Y) midis tyre, mund të shihni për korrelacione shtesë të performancës vibruese:

d 1 (X, Y) = 1 – r n(X, Y), d 2 (X, Y) = 1 - ρ n(X, Y),

de r n(X, Y) - koeficienti linear vibrues i korrelacionit të Pearson-it, ρ n(X, Y) - koeficienti vibrues i korrelacionit të rangut të Spirman-it.

Bagatomirne shkalyuvannya... Në pamjet fitimtare (vizitat e afërsisë, treguesit e dukshmërisë) d(X, Y) shenja mіzh Xі Kanë klasa e madhe e metodave të shkallës bagatovymirnogo. Ideja kryesore e një klase të metodave të poligoneve në një objekt të caktuar lëkure është një pikë e hapësirës gjeometrike (quajmë dimensionet 1, 2 ose 3), koordinatat e së cilës shërbejnë si vlera e faktorëve latent (latent), si p.sh. për të përshkruar në mënyrë adekuate fushëveprimin. Në të njëjtën kohë, ka disa objekte që duhet të zëvendësohen nga një ndërmjet pikave - përfaqësuesit e tyre. Pra, të dhënat për ngjashmërinë e objekteve - në formën e pikave, të dhënat për kryqëzimin - në kujtesën e pikave.

Praktikuesit mësojnë një numër të modele të reja shkallë të madhe. Të gjithë ata kanë problemin e vlerësimit të dimensionalitetit të vërtetë të hapësirës faktoriale. Problemin do ta shikoj me ndihmën e përpunimit të të dhënave për shtimin e objekteve me ndihmën e shkallëzimit metrik.

Hajde є n ob'єktіv Rreth(1), Rreth(2), …, O(n), për bastet e lëkurës Rreth(i), O(j) bota është dhënë s(i, j). Vvazhaєmo, shho zavzhd s(i, j) = s(j, i). Numrat në këmbë s(i, j) nuk është i rëndësishëm për përshkrimin e algoritmit robotik. Erë e keqe mund të refuzohej ose nga bezposrednim vimir, ose nga ekspertët zëvendësues, ose nga mënyra e llogaritjes së përshkrimit të karakteristikave, për arsyen.

Shikoni në hapësirën Euklidiane n about'n'kt_v mayut buty u paraqit në konfigurim n pikë, për më tepër, si bota e afërsisë së pikave-përfaqësuese d(i, j) midis pikave. Faza e paraqitjes së informacionit për numrin e pikëve dhe numrin e pikëve që do të paraqitet duhet të fillojë me mënyrën e vendosjes së matricave për detaje || s(i, j) || se vidstane || d(i, j) ||. Ngjashmëria metrike funksionale e ma viglyad

Konfigurimi gjeometrik duhet të zgjidhet në mënyrë që S funksionale të arrijë vlerën më të vogël.

Respekt. Shkalla jometrike zëvendëson afërsinë e vetë afrimit dhe afërsinë e vetë pamjes, afërsinë e rendit në afrimin e pakuptimtë të afërsisë dhe mungesën e pamjes. Funksioni i zëvendësimit S analoge të koeficientëve të renditur të korrelacionit të Spirmen dhe Kendal. Me fjalë të tjera, nuk është një shkallë metrike për të dalë jashtë shkallës, por bota është afër shkallës.

Lëreni hapësirën Euklidiane të maє razmirnist m... Minimumi i katrorit të mesit të faljes është i dukshëm

,

marrja minimale e të gjitha konfigurimeve të mundshme n pikë në m-hapësirë ​​botërore Euklidiane. Është e mundur të tregohet se analiza e minimumit është e arritshme në ditën e konfigurimit. Zrozumіlo, karrierës kur rritet m vlera e α m ndryshon në mënyrë monotonike (më saktë, jo rritja). Mund të më tregosh për m > n- 1 fitore dorivnyuє 0 (yaksho s(i, j) Është një metrikë). Për një rritje të mundësive të një interpretimi të shijshëm, ka shumë hapësirë ​​në hapësirën e hapur. Megjithatë, madhësia duhet të vibrohet në mënyrë që pikat të përfaqësojnë objekte pa gjëra të mëdha. Ushqimi Winikak: si të vibroni në mënyrë optimale madhësinë, tobto. numri natyror m?

Në kufijtë e përcaktimit të analizës së të dhënave, pamja e bazuar e ushqimit, pevne, memece. Gjithashtu, është e nevojshme të përshtatet sjellja α m në modelet e qeta. Afërsia Yaksho miri s(i, j) є në vlera të ulëta, të cilat mund të gjenden në "hapësirën e drejtë" m 0 (i, ndoshta, si numri i parametrave), atëherë është e mundur në stilin klasik matematiko-statistikor të vendosni një vlerësim të paracaktuar m 0, shukati per vleresime te mundshme etj.

Për një kohë të gjatë, do të ketë modele imovirnіsnі. E pranueshme, ukti є në pika në hapësirën Euklidiane të hapësirës k, de k për të përfunduar të madhen. Ata që janë "spravzhnya razmіrnіst" m 0 do të thotë që të gjitha pikat shtrihen në dimensionin e dimensionit m 0. I pranueshëm për vlerën, numri i pikave që duhen parë është një dridhje nga një shpërndarje normale rrethore me një dispersion σ 2 (0). Tse do të thotëє, scho ob'єkti Rreth(1), Rreth(2), …, O(n) є janë ngjitur në nëngrupin e vektorëve të poshtëm, lëkura e të cilit do të jetë jak ζ (1) e(1) + ζ (2) e(2) +… + ζ ( m 0)e(m 0), de e(1), e(2), … , e(m 0) - baza ortonorale në hapësirë ​​të madhe m 0, në të cilat shtrihen pikat, dhe ζ (1), ζ (2), ..., ζ ( m 0) - katrorë në total në të njëjtën kohë me vlerat normale të z ochikuvannya matematikore) ajo variancë σ 2 (0).

Dy modele të refuzimit të botës së afërsisë janë të dukshme s(i, j). Të parët prej tyre s(i, j) shihen nga Euklidiani nga këndvështrimi përmes atyre pikave nga pikat e krijuara. Eja s(1),s(2), … , s(n) - Afishohen pikat. Todi

s(i, j) = d(c(i) + ε( i), c(j) + ε( j)), i, j = 1, 2, … , n,

de d- Evklidova tregohet midis pikave në k-hapësira e botës, vektorët ε (1), ε (2), ..., ε ( n) є dridhje nga një rozetë normale rrethore në k-hapësirë ​​botërore me shanse matematikore zero dhe matricë të trashë σ 2 (1) Unë, de Unëështë një matricë e vetme. Me fjalë të tjera, ε ( i) = η (1) e(1) + η (2) e(2) + ... + η ( k)e(k), de e(1), e(2), …, e(k) Është një bazë ortonormale për k-hapësira e kësaj bote, dhe (η ( i, t), i= 1, 2, ..., n, t= 1, 2, ..., k) - numri i vlerave të pavarura, në total, të ngjashme të të njëjtit lloj me llogaritje matematikore zero dhe variancë σ 2 (1).

Në modelin tjetër, krijimi mbivendoset pa mesin në vetë ekranin:

s(i, j) = d(c(i), c(j)) + ε( i, j), i, j = 1, 2, … , n, i ≠ j,

de (ε ( i, j), i, j = 1, 2, … , n) - janë të pavarura në rangun e vlerave normale nga llogaritjet matematikore) dhe varianca σ 2 (1).

Për robotët, tregohet se për të dy modelet e formuluara minimumi i katrorit të mesit të varrit α m at n→ ∞ konvergojnë jmovіrno në

f(m) = f 1 (m) + σ 2 (1) ( k – m), m = 1, 2, …, k,

Në një gradë të tillë, funksioni f(m) vijë në intervalet, për më tepër, në intervalin e parë, menshak shvidshe, jo në anën tjetër. Zvidsey viplivaє, statistika të karrierës

є një vlerësim i mundshëm i m 0 .

Nga e njëjta, nga teoria iMovіrnіsіnіy e rekomandimit të viplivі - si një vlerësim i madhësisë së hapësirës faktoriale vikoristovuvati m*. Në mënyrë domethënëse, një rekomandim i ngjashëm u formulua si heuristik nga një prej krijuesve të shkallës gjenerike nga J. Kruskal. Vіn vіhodіv nëse informacioni i shkallës praktike fitimtare të eksperimenteve në shkallë të gjerë dhe numerike. Teoria imovirnisna lejoi rekomandimin obruntuvatie euristik.

Fjalë kyçe

Abstrakt statistika shkencore nga matematika, autori i robotikës shkencore - Oleksandr Ivanovich Orlov, Evgen Veniaminovich Lutsenko

Një nga "pikat e rritjes" statistikat e aplikuaraє metodat e zvogëlimit të hapësirës së të dhënave statistikore. Erë gjithnjë e më shpesh vikoristoyutsya për analizën e homazheve nga doslіdzhennya specifike të aplikuara, për shembull, sociologjike. Metodat më premtuese të zvogëlimit të madhësisë janë qartë të dukshme. Metoda e komponentit kryesorє Një nga metodat më shpesh vicioze për zvogëlimin e madhësisë. Për një analizë vizuale të të dhënave, shpesh ndodh që të kryhet projeksioni i vektorëve të jashtëm në zonën e dy komponentëve të parë kryesorë. Ju mund të shihni strukturën e të dhënave, mund të shihni grupime kompakte të objekteve dhe vektorëve, të cilët mund të shihen lehtësisht. Metoda e komponentit kryesor¢ një nga metodat analiza faktoriale... Ide e re në Porіvyannі z komponentët kryesorë Në këtë rast, në bazë të zgjedhjes së opsioneve, ekzistojnë faktorë në grup. Zyrtarët do të bashkohen në një grup, në mënyrë që të bëjnë hyrje shtesë mbi elementët e një baze të re. Për shkak të grupit të lëkurës, rekomandohet të keni një përfaqësues. Një mënyrë për të zëvendësuar zgjedhjen e një përfaqësuesi me një shteg rakete është të formohet një faktor i ri, i cili është qendror për grupin, për t'u kujdesur. Zvogëlimi i hapësirës bëhet para orës së kalimit në sistemin e zyrtarëve - nga përfaqësues të grupeve. Shihen zyrtarë të tjerë. Në vizitat fitimtare (bota e afërsisë, treguesit e vizionit) dhe shenjat dhe njohuritë, një klasë e madhe metodash shkallë të madhe... Ideja kryesore e një klase të metodave të poligoneve në një objekt të caktuar lëkure është një pikë e hapësirës gjeometrike (quajmë dimensionet 1, 2 ose 3), koordinatat e së cilës shërbejnë si vlera e faktorëve latent (latent), si p.sh. për të përshkruar në mënyrë adekuate fushëveprimin. Yak prapanicë e ruajtjes së modelit imovinno-statistikor dhe rezultateve të statistikave të tributeve jo-numerike, aftësia për të vlerësuar madhësinë e hapësirës së homazheve në shkallë të madhe, i propozuar më herët nga Farbal nga Mirkuvanët Heuristic U shikuan një numër robotësh vlerësimi i madhësisë së modeleve(Në analizën e regresionit dhe në teorinë e klasifikimit). Duke pasur parasysh informacionin rreth algoritmeve për zvogëlimin e madhësisë së hapësirës në analizën e automatizuar të sistemit-kognitive.

Të ngjashme me ato vepra shkencore të matematikës, autori i robotikës shkencore - Oleksandr Ivanovich Orlov, Evgen Veniaminovich Lutsenko

• Metodat matematikore në sociologji për dyzet e pesë shkëmbinj

• Diversiteti i objekteve në natyrë jo numerike

• Vlerësimi i parametrave: vlerësimet e njëhershme janë më të mira se vlerësimet maksimale të gjasave

• Statistikat e aplikuara - pamje perspektive

  2016 / Oleksandr Orlov

• Perspektivat për zhvillimin e statistikave aplikative dhe teorike

  2016 / Oleksandr Orlov

• Çiftimi i teoremave të kufirit dhe metoda Monte Carlo

  2015 / Oleksandr Orlov

• Rreth zhvillimit të statistikave të objekteve të natyrës jo numerike

  2013 / Oleksandr Orlov

• Pikat e rritjes së metodave statistikore

  2014 / Oleksandr Orlov

• Rreth mjeteve të reja matematikore premtuese për kontroll

  2015 / Oleksandr Orlov

• Shihni pafundësinë e nderimeve statistikore

  2014 / Oleksandr Orlov

Një nga statistikat e aplikuara për "periudhat e rritjes" janë metodat e reduktimit të dimensionit të të dhënave statistikore. Erë є vikarians miqësore në analizën e të dhënave në kërkime specifike të aplikuara, si sociologjia. Ne hetojmë metodat më premtuese përpara se të zvogëlojmë dimensionalitetin. Komponentët e sipërm janë një nga metodat më dërrmuese, e cila mund të ngrijë deri në një ndryshim në dimension. Për analizën vizuale të të dhënave, vicorians hartojnë vektorët origjinalë në planet e dy komponentëve të parë kryesorë. Emërtoni strukturat є mbani mend qartë, grupimet kompakte me shkëlqim të lartë të vektorëve ob'ktyv dhe okree-roztovanny. Komponentët kryesorë janë metoda e analizës së një faktori. Analiza e faktorëve të idesë së re në krahasim me komponentët kryesorë të metodës është se, në bazë të ngarkesave, faktorët ndahen në grupe. Për një grup faktorësh, faktori i ri kombinohet me ndikim të ngjashëm në elementët e bazës së re. Ky është një grup i madh me një përfaqësues. Mësova se si e vlerësojnë orën e ditës viconati vibirkov, i cili është një faktor i ri, i cili është qendror për grupin në të ushqyerit. Një ndryshim në dimension ndodh gjatë kalimit në një sistem faktorësh, siç janë përfaqësuesit e grupeve. Fabrika tjetër u hodh. Distanca Vikoristovuchi (matjet e afërsisë, treguesit e dallimeve) tiparet mіzh і klasa e gjerë bazohen në metodat e shkallëzimit shumëdimensional. Ideja kryesore e kategorisë së metodave є Danimarka është rreth'єkt, si pika e hapësirës gjeometrike (thirrja e dimensionit 1, 2, ose 3), pasi koordinatat janë vlerat e majës (latente) faktorë, si për të lëvizur, në mënyrë që të jetë e nevojshme të nënkuptojë subjektin. Zbatimi i modelimit probabilist dhe statistikor dhe rezultatet e statistikave të të dhënave jonumerike, ne justifikojmë konsistencën e vlerësuesve të dimensionit të të dhënave në shkallëzimin shumëdimensional, të propozuar më parë nga Kruskal nga konsideratat heuristike. Erërat renditen në rreshtin e dimensionit të viteve të fundit të modeleve (në analizën e regresionit dhe në teorinë e klasifikimit). Ne gjithashtu japim disa informacione rreth algoritmeve për zvogëlimin e dimensionalitetit në analizën e automatizuar të sistemit-kognitive

Teksti i Robotikës Shkencore me temën "Metodat për zvogëlimin e hapësirës së të dhënave statistikore"

UDC 519.2: 005.521: 633.1: 004.8

01.00.00 Fizikë Matematikë

METODAT PËR ZGJIDHJEN E MADHËSISË NË HAPËSIRËN E TË DHËNAVE STATISTIKORE

Oleksandr Orlov

Doktor i Shkencave Ekonomike, Doktor i Shkencave Teknike, Kandidat i Shkencave Fizike dhe Matematikore, Profesor

RISC BRSH-kodi: 4342-4994

Teknik shtetëror i Moskës

universiteti im. jo. Bauman, Rusi, 105005,

Moskë, rruga 2-a Baumanskaya, 5, [email i mbrojtur] T

Lutsenko Evgen Veniaminovich Doktor i Ekonomisë, Kandidat i Shkencave Teknike, Profesor i RISC BRSH-kodi: 9523-7101 Universiteti Shtetëror Agrare Kuban, Krasnodar, Rusi [email i mbrojtur] com

Një nga pikat e rritjes së statistikave të aplikuara është një metodë e zvogëlimit të madhësisë së të dhënave statistikore. Erë gjithnjë e më shpesh vikoristoyutsya për analizën e homazheve nga doslіdzhennya specifike të aplikuara, për shembull, sociologjike. Metodat më premtuese të zvogëlimit të madhësisë janë qartë të dukshme. Metoda e komponentit të kokës është një nga metodat më të zakonshme të zvogëlimit të dimensioneve. Për një analizë vizuale të të dhënave, shpesh ndodh që të kryhet projeksioni i vektorëve të jashtëm në zonën e dy komponentëve të parë kryesorë. Ju mund të shihni strukturën e të dhënave, mund të shihni grupime kompakte të objekteve dhe vektorëve, të cilët mund të shihen lehtësisht. Metoda e komponentëve kryesorë është një nga metodat e analizës së faktorëve. Një ide e re kundër metodës së komponentëve të kokës është se, në bazë të ditës, ka një problem me zhvillimin e zyrtarëve në grup. Në një grup, ju mund të bashkoni faktorët, kështu që mund të shtoni hyrje shtesë në elementët e një baze të re. Për shkak të grupit të lëkurës, rekomandohet të keni një përfaqësues. Një mënyrë për të zëvendësuar zgjedhjen e një përfaqësuesi me një shteg rakete është të formohet një faktor i ri, i cili është qendror për grupin, për t'u kujdesur. Zvogëlimi i hapësirës bëhet para orës së kalimit në sistemin e zyrtarëve - nga përfaqësues të grupeve. Shihen zyrtarë të tjerë. Në vizitat fitimtare (afrimi i afërsisë, treguesit e dukshmërisë) dhe shenjave dhe njohurive, ekziston një klasë e madhe metodash në shkallë komplekse. Ideja kryesore e një klase metodash për poligonet në një objekt të caktuar lëkure është një pikë e hapësirës gjeometrike (ndryshoni madhësinë prej 1, 2 ose 3), koordinatat e së cilës janë vlerat e faktorëve latente, të cilët në total përshkruajnë në mënyrë adekuate

UDC 519.2: 005.521: 633.1: 004.8

Fizika dhe shkencat matematikore

METODAT E REDUCIMIT TË DIMENSIONIT TË HAPËSIRËS SË TË DHËNAVE STATISTIKE

Orlov Alexander Ivanovich

Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,

Universiteti Teknik Shtetëror i Moskës Bauman, Moskë, Rusi

Lutsenko Eugeni Veniaminovich Dr. Sci.Econ., Cand.Tech.Sci., Profesor RSCI SPIN-kodi: 9523-7101

Universiteti Shtetëror Agrare Kuban, Krasnodar, Rusi

[email i mbrojtur] com

Një nga statistikat e aplikuara për "periudhat e rritjes" janë metodat e reduktimit të dimensionit të të dhënave statistikore. Erë є vikarians miqësore në analizën e të dhënave në kërkime specifike të aplikuara, si sociologjia. Ne hetojmë metodat më premtuese përpara se të zvogëlojmë dimensionalitetin. Komponentët kryesorë janë një nga metodat më të rëndësishme, e cila mund të ngrijë deri në një ndryshim në dimension. Për analizën vizuale të të dhënave, vicorians hartojnë vektorët origjinalë në planet e dy komponentëve të parë kryesorë. Emërtoni strukturat є mbani mend qartë, grupimet kompakte me ndriçim të lartë të vektorëve ob'ktyv dhe pothuajse vizualë. Komponentët kryesorë - metoda e analizës së një faktori. Analiza e faktorëve të idesë së re në krahasim me metodën e komponentëve kryesorë është se, në bazë të ngarkesave, faktorët ndahen në grupe. Për një grup faktorësh, faktori i ri kombinohet me ndikim të ngjashëm në elementët e bazës së re. Ky është një grup i madh me një përfaqësues. Mësova se si e vlerësojnë orën e ditës viconati vibirkov, i cili është një faktor i ri, i cili është qendror për grupin në të ushqyerit. Një ndryshim në dimension ndodh gjatë kalimit në një sistem faktorësh, siç janë përfaqësuesit e grupeve. Fabrika tjetër u hodh. Distanca e fitores (proporcioni i parametrave, treguesit e ndryshimit) midis orizit dhe klasave kryesore - bazuar në metodat e shkallëzimit shumëdimensional. Ideja kryesore e kategorisë së metodave є Danimarka është rreth'єkt, si pika e hapësirës gjeometrike (thirrja e dimensionit 1, 2, ose 3), pasi koordinatat janë vlerat e majës (latente) faktorë, si për të lëvizur, në mënyrë që të jetë e nevojshme të nënkuptojë subjektin. Zbatimi i modelimit probabilist dhe statistikor dhe rezultatet e statistikave të të dhënave jo-numerike, ne justifikojmë konsistencën e vlerësuesve të

ob'єkt. Prapa jak i ruajtjes së modelit perandorak-statistikor dhe rezultateve të statistikave të tributeve jo-numerike, aftësia për të vlerësuar madhësinë e hapësirës së haraçit përcaktohet nga shkalla në shkallë të gjerë, e propozuar më parë nga Farbal nga bota hebraike. Një numër robotësh janë parë nga vlerësimi i dimensioneve të modeleve (në analizën e regresionit dhe teorinë e klasifikimit). Duke pasur parasysh informacionin rreth algoritmeve për zvogëlimin e madhësisë së hapësirës në analizën e automatizuar të sistemit-kognitive.

Fjalët kyçe: MATEMATIKA, STATISTIKA E APLIKUARA, STATISTIKA MATEMATIKE, PIKAT MOSHORE, METODA E KOMPONENTËVE TË KOKËS, ANALIZA E FAKTORËVE, BAGATOMIRNE SHKALYUVANYA, OTSINYUVANYANYUYANYANYUZDIULYANI

dimensioni i të dhënave në shkallëzimin shumëdimensional, të cilat janë propozuar më parë nga Kruskal nga konsideratat heuristike. Erërat renditen në rreshtin e dimensionit të viteve të fundit të modeleve (në analizën e regresionit dhe në teorinë e klasifikimit). Ne gjithashtu japim disa informacione rreth algoritmeve për zvogëlimin e dimensionalitetit në analizën e automatizuar të sistemit-kognitive

Fjalët kyçe: MATEMATIKA, STATISTIKA E APLIKUARA, STATISTIKA MATEMATIKE, PIKAT E RRITJES, ANALIZA E KOMPONENTIT KRYESOR, ANALIZA E FAKTORËVE, SHKALLIMI SHUMËDIMENSIONAL, VLERËSIMI I DIMENSIONIT TË TË DHËNAVE, MESIM DIMELIM

1. Hyrje

Yak nënkuptonte një nga "pikat e rritjes" të statistikave të aplikuara - metodën e zvogëlimit të hapësirës së të dhënave statistikore. Erë gjithnjë e më shpesh vikoristoyutsya për analizën e homazheve nga doslіdzhennya specifike të aplikuara, për shembull, sociologjike. Metodat më premtuese të zvogëlimit të madhësisë janë qartë të dukshme. Ashtu si prapanica e ruajtjes së modelit imovinous-statistikor dhe rezultateve të statistikave të tributeve jonumerike, përcaktohet aftësia për të vlerësuar madhësinë e hapësirës, ​​e propozuar më parë nga Farbal nga botët euristike.

Në analizën komplekse statistikore të lëkurës, objekti përshkruhet nga një vektor, madhësia e të cilit është e mjaftueshme (ale është e njëjtë për të gjitha objektet). Protesta e njerëzve mund të jetë pa mesin e numrit të pikave në zonë. Analizoni blerjen e pikëve në hapësirën e parëndësishme edhe më të palosshme. Bezposredne Kjo është gjithçka natyrale є bazhannya shkojnë si një vibirka bagatovymirnaya në madhësi të vogël

çudi." Për shembull, një tregtar mund ta bëjë atë me dorë, skіlki є tipe te ndryshme Sjellja e atyre që janë të lumtur (që të shohin segmentet në treg) dhe që vetë (me autoritetet) janë të lumtur të hyjnë në to.

Krym pragnennya onochnostі, є y іnshі motivet për uljen e madhësisë. Ata burokratë, nga të cilët një vështrim i të kaluarës, nuk mund të mbërthehen, të privohen nga analiza statistikore. Në radhë të parë, informacioni rreth tyre do të plotësohet me financat, orët e ekipit, burimet e personelit. Në një mënyrë tjetër, si mund të sillet, nëse përfshihet në analizën e fuqisë së procedurave statistikore (rritje, rritje e variancës së vlerësimeve të parametrave dhe karakteristikave të rritjeve). Tom bazhano argëton zyrtarë të tillë.

Kur analizoni dhuratat e pasura dhe dinjitoze, bëni shenjë të shikoni jo një, por një bimë të pajetë, një filiz në një mënyrë që lëkundet katrorin dhe ugarin. Për këtë, është e qartë se ka një rënie në pastrimin në formulën sulmuese. I është dhënë bagatovymirnu vibirk. Është e nevojshme të kalohen disa nga vektorët në dimensionin më të vogël, për të maksimizuar strukturën e të dhënave, nëse është e mundur, të mos konsumoni informacion, por të përfitoni nga të dhënat. Zavdannya të konkretizohet në ndërfaqen e lëkurës me një metodë specifike të reduktimit të dimensionit.

2. Metoda e komponentëve kryesorë

Fitoni një nga metodat më shpesh vicioze të zvogëlimit të madhësisë. Ideja kryesore e shtyllës është se në kohën e fundit, në të kaluarën, ekziston rozeta më e madhe në ato ditë. Mos lejoni që vibratori të grumbullohet me vektorë, por në të njëjtën mënyrë me vektorin X = (x (1), x (2), ..., x (n)). Kombinimet e linjave të lehta për t'u kuptuar

7 (^ (1), X (2),., L (n)) = X (1) x (1) + X (2) x (2) + ... + l (n) x (n) ,

X2 (1) + X2 (2) + ... + X2 (n) = 1. Këtu vektori X = (X (1), X (2), ..., X (n)) shtrihet në të vetmen sferë n -hapësirë ​​notimi.

Në mënyrën e komponentëve kryesorë, është e nevojshme të dihet drejtpërdrejt në maksimum rozkidu, tobto. gjithashtu X, për të cilin maksimumi i variancës së vlerës së rënies është 7 (X) = 7 (X (1), X (2), ..., X (n)). Vektori Todi X është komponenti fillestar i kokës, dhe vlera 7 (X) është projeksioni i vektorit të rënies X në komponentin e parë të kokës.

Më pas, duke përdorur termat e algjebrës lineare, shikoj hiperhapësirën në hapësirën e botës n, pingul me komponentin e parë të kokës, dhe projektoj në të gjithë hapësirën e madhe të të gjithë elementëve vibrues. Madhësia e zonës është 1 më pak, më pak madhësia e zonës.

Në rastin e hiperhapësirës së analizuar, procedura përsëritet. Një i ri e di drejtpërdrejt më roskidu, tobto. komponenti i kokës së mikut. Pastaj shihni zonën pingul me dy komponentët e parë të kokës. Madhësia Її për 2 mensha, madhësia më e ulët e hapësirës endacake. Dal - fillimi i përsëritjes.

Me një vështrim të algjebrës lineare, do të shoh për induksionin e një baze të re në hapësirën e botës n, disa prej të cilave janë komponentë bazë.

Dispersion, i cili formon lëkurën komponent të ri të kokës, mensha, më të ulët për pjesën e përparme. Zazvychay zupinyayutsya, nëse ka mensha për detyra. Merret te komponentët kryesorë, që do të thotë se nga hapësira n-dimensionale, kalohet në hapësirën k-dimensionale, tobto. shpejtësia razmіrnіst z p-to, praktikisht që nuk përputhet me strukturën e haraçit wihіdnyh.

Për një analizë vizuale të të dhënave, shpesh ndodh që të kryhet projeksioni i vektorëve të jashtëm në zonën e dy komponentëve të parë kryesorë. Thirrni

Struktura e të dhënave është qartë e dukshme, shihen grupime kompakte të objekteve dhe rrethinave.

3. Analiza faktoriale

Metoda e komponentit të kokës është një nga metodat e analizës së faktorëve. Algoritmet e analizës faktoriale janë përcaktuar nga algoritmet, në mënyrë që ato të shkojnë në një bazë të re në hapësirën e jashtme n-botë. Është e rëndësishme të kuptohet "faktori navantazhennya", pasi është mbërthyer për të përshkruar rolin e faktorit të jashtëm (ndryshimit) në vektorin e formuluar të këndimit nga një bazë e re.

Një ide e re kundër metodës së komponentëve të kokës është se, në bazë të ditës, ka një problem me zhvillimin e zyrtarëve në grup. Zyrtarët do të bashkohen në një grup, në mënyrë që të bëjnë hyrje shtesë mbi elementët e një baze të re. Për shkak të grupit të lëkurës, rekomandohet të keni një përfaqësues. Një mënyrë për të zëvendësuar zgjedhjen e një përfaqësuesi me një shteg rruzare është të formohet një faktor i ri, i cili është thelbësor për grupin për t'u parë. Zvogëlimi i hapësirës bëhet para orës së kalimit në sistemin e zyrtarëve - nga përfaqësues të grupeve. Shihen zyrtarë të tjerë.

Procedura e përshkruar mund të zgjidhet jo pa analizë të faktorëve shtesë. Idesya në lidhje me analizën e grupimit të markës (burokratët, zmіnnikh). Për rosbitt, shenja e një grupi mund të vendoset duke përdorur algoritme të analizës së grupimeve. Mjafton të futet dukshmëria (bota e afërsisë, treguesi i dukshmërisë) dhe shenjat. Nekhai X dhe U - dy shenja. Dallimi d (X, Y) midis tyre mund të tregohet për koeficientët vibrues shtesë të korrelacionit:

di (X, Y) = 1 - \ rn (X, Y) \, d2 (X, Y) = 1 - \ pn (X, Y) \, de rn (X, Y) - Efiçenca lineare vibruese e korrelacionit të Pirsonit , pn (X, Y) - koeficienti vibrues i korrelacionit të rangut të Spirman.

4. Shkalla Bagatomirne.

Në pikëpamjet fitimtare (bota e afërsisë, treguesit e dukshmërisë) d (X, Y) dhe shenjat e X dhe Në studimet ekziston një klasë e madhe metodash në shkallë të gjerë. Ideja kryesore e një klase të metodave të poligoneve në një objekt të caktuar lëkure është një pikë e hapësirës gjeometrike (quajmë dimensionet 1, 2 ose 3), koordinatat e së cilës shërbejnë si vlera e faktorëve latent (latent), si p.sh. për të përshkruar në mënyrë adekuate fushëveprimin. Sa herë që ka shumë objekte, njëri duhet të zëvendësohet me një ndërmjet dy pikave - përfaqësuesit e tyre. Pra, të dhënat për ngjashmërinë e objekteve - në formën e pikave, të dhënat për kryqëzimin - në kujtesën e pikave.

5. Problemi i vlerësimit të drejtësisë së hapësirës së faktorëve

Analiza praktike e të dhënave sociologjike ka një sërë modelesh të ndryshme të shkallëve të ndryshme. Të gjithë kanë problem të vlerësojnë drejtësinë e hapësirës faktoriale. Problemin do ta shikoj me ndihmën e përpunimit të të dhënave për shtimin e objekteve me ndihmën e shkallëzimit metrik.

Nekhai є n ob'єktіv 0 (1), O (2), ..., O (n), bast lëkure ob'єktіv 0 (/), O (j) është dhënë bota e їх vetive s (ij) . Vazhaєmo, s (i, j) = s (j, i). Ecja përreth e numrave s (ij) nuk është e rëndësishme për përshkrimin e algoritmit robotik. Erë e keqe mund të refuzohej ose nga bezposrednim vimir, ose nga ekspertët zëvendësues, ose me anë të llogaritjes për sukupnistu të karakteristikave përshkruese, për arsyen.

Në hapësirën Euklidiane, n objekte të fajit përfaqësohen nga një konfigurim prej n pikash, për më tepër, si bota e afërsisë së pikave-përfaqësuese në arkitekturën e pamjes Euklidiane d (i, j)

midis pikave. Faza e shfaqjes së secilës prej numrit të pikave dhe numrit të pikave, që ato përfaqësojnë, përcaktohet nga rruga e matricave të majta të detajeve || I (,) || atë të funksionit SM-Metric

i = £ | * (/,]) - d (/, M

Konfigurimi gjeometrik duhet të zgjidhet në mënyrë që S funksionale të arrijë vlerën më të vogël.

Respekt. Shkalla jometrike zëvendëson afërsinë e vetë afrimit dhe afërsinë e vetë pamjes, afërsinë e rendit në afrimin e pakuptimtë të afërsisë dhe mungesën e pamjes. Zëvendësoni funksionin S me analoge të funksioneve të renditjes së korrelacionit Spirmen dhe Kendal. Me fjalë të tjera, nuk është një shkallë metrike për të dalë jashtë shkallës, por bota është afër shkallës.

Lëreni hapësirën Euklidiane të madhësisë së vogël të t.Minimumi i katrorit të mesit të varrit

de minimumi merr të gjitha konfigurimet e mundshme të pikave në botën e hapësirës Euklidiane. Është e mundur të tregohet se analiza e minimumit është e arritshme në ditën e konfigurimit. Është e qartë se në rritje, vlera e at ndryshon në mënyrë monotonike (më saktë, jo rritje). Mund të tregohet se për m> n - 1 fitoi derën 0 (që është një metrikë). Për një rritje të mundësive të një interpretimi të shijshëm, ka shumë hapësirë ​​në hapësirën e hapur. Megjithatë, madhësia duhet të vibrohet në mënyrë që pikat të përfaqësojnë objekte pa gjëra të mëdha. Ushqimi Vinikak: si të vibroni në mënyrë optimale hapësirën në hapësirë, tobto. numri natyror m?

6. Modele dhe metoda për vlerësimin e madhësisë së hapësirës së dhënë

Në kufijtë e përcaktimit të analizës së të dhënave, pamja e bazuar e ushqimit, pevne, memece. Gjithashtu, është e nevojshme të përshtatet sjellja në modelet inteligjente të qeta. Sapo afërsia s (ij) є në sasi të vogla, ngritja e së cilës qëndron në "shkëputjen e vërtetë" etj.

Për një kohë të gjatë, do të ketë modele imovirnіsnі. E pranueshme, u'kti є njolla në hapësirën Euklidiane të hapësirës derisa të jetë e madhe. Ato që janë "madhësia e duhur" për rrugën m0, do të thotë se të gjitha pikat shtrihen në thellësinë e zonës m0. I pranueshëm për vlerën, numri i pikave që duhen parë është një dridhje nga një shpërndarje normale rrethore me një shpërndarje rreth (0). Tse do të thotë, 0 (1), 0 (2), ..., O (n) є nga vektorët vip jo të afërt, nga të cilët do të jenë jak

Z (1) e (1) + Z (2) e (2) + ... + Z (m0) e (m0), de e (1), e (2), ..., e (m0) - një bazë ortonormale për një dimension të gjerë m0, në të cilin qëndrojnë pikat, dhe Z (1), Z (2), Z (m0) janë të pavarura në rangun e të njëjtave vlera normale me llogaritjet matematikore 0 (0).

Dy modele të afërsisë mund të shihen s (ij). Në të parën prej tyre, s (ij) shihen nga këndvështrimi Euklidian dhe nga këndvështrimi përmes atyre nga këndvështrimi. Shkoni me (1), me (2), ..., c (n) - pikat për t'u parë. Todi

s (i, j) = d (c (i) + e (i), c (j) + s (/)), ij = 1, 2, ..., n,

de j - Euklidiani shfaqet midis pikave në botën e hapësirës, ​​vektorët e (1), e (2), ..., e (n) janë një dridhje nga një shpërndarje normale rrethore në botën e hapësirës me zero matematikore. shanset dhe matricat e matricës së fshehtë (1) /, de I-singly. Me fjale te tjera,

f (0 = n (1) f (1) + P (2) f (2) + ... + q (k) në (k), de f (1), f (2), ..., e (k) është një bazë ortonormale në hapësirën botërore, a [μ ^^), i = 1, 2, ..., n ,? = 1, 2, ..., k) - prevalenca e pavarur në të njëjtën kohë me të njëjtën madhësi me llogaritje matematikore zero dhe variancë rreth (1).

Në modelin tjetër, krijimi mbivendoset pa mesin në vetë ekranin:

Kch) = d (Φ \ CI)) + £ (YX і = 1, 2., n, i Φ j,

de і, për më tepër, intervali i parë fitoi menshaє shvidshe, jo tjetrin. Zvidsey viplivaє, statistika të karrierës

m * = Arg minam + 1 - 2 e mëngjesit + an-x)

є me një vlerësim të dobishëm të madhësisë së vërtetë m0.

Gjithashtu, sipas teorisë së vipliving, rekomandohet se si të vlerësohet madhësia e hapësirës faktoriale vikoristovuvati m *. Në mënyrë domethënëse, një rekomandim i ngjashëm u formulua si heuristik nga një prej krijuesve të shkallës gjenerike nga J. Kruskal. Vіn vіhodіv nëse informacioni i shkallës praktike fitimtare të eksperimenteve në shkallë të gjerë dhe numerike. Teoria imovirnisna lejoi rekomandimin obruntuvatie euristik.

7. Vlerësimi i madhësisë së modelit

Sapo të jetë e mundur të krijohet një familje, të zgjerohet, për shembull, të vlerësohen hapat e një polinome, atëherë është e natyrshme të futet termi "madhësia e modelit". Autori i kësaj statistike duhet të gjurmojë një numër robotësh nga vlerësimi i madhësisë së modelit, si dhe nga zbatimi i plotë i robotëve nga vlerësimi i madhësisë së hapësirës të dhënë nga shikuesi.

Persha një robot i tillë është një viconan nga autori i një serie statistikash nga një orë në Francë në 1976. Ata kanë një vlerësim të madhësisë së modelit në regresion, dhe vlerësimi i hapit të polinomit është në gjendje të reduktuar, kështu që falshmëria përshkruhet nga polinomi. Vlerësimi i plumbit shihet në literaturë, por i është atribuar me pompozitet autorit të kësaj statistike, të cilit i është hequr pushteti, duke u ngritur në kohë, por nuk është e mundur, por duke ditur kufijtë gjeometrikë. Gjithashtu, është e mundur të vlerësohet madhësia e modelit të regresionit, dhe ai do të përhapet dhe përditësohet në statistika. Cikli Tsey ka përfunduar robotin, për t'u hakmarrë për një sërë sqarimesh.

Publikimi ekstrem për të gjithë temën përfshin diskutimin e rezultateve të rritjes së efikasitetit në teoremat e kufirit që kam adoptuar me metodën Monte Carlo.

Analogjia për metodologjinë për vlerësimin e madhësisë së modelit në problemin e ndarjes së shumave (pjesë e teorisë së klasifikimit) janë paraqitur në statistikë.

Madhësia e modelit vlerësohet në një shkallë të madhe duke përdorur robotë. Në robotët cich, u krijua një sjellje kufitare në metodën e komponentëve bazë (me një teori shtesë asimptotike të sjelljes, zgjidhjet e bimëve statistikore ekstreme).

8. Algoritme për zvogëlimin e përmasave në analizën e automatizuar të sistemit-kognitive

Në analizën e automatizuar sistem-kognitive (ASK-analizë), një metodë tjetër e zvogëlimit të përmasave zbatohet në sistemin "Eidos". Verërat e përshkrimeve për robotët në razdilakh 4.2 "Përshkrimi i algoritmeve për operacionet bazë njohëse të analizës së sistemit (BCOSA)" dhe 4.3 "Algoritmet e detajuara për BCOSA (Analiza ACS)". Ndoshta një përshkrim i shkurtër i dy algoritmeve - BKOSA-4.1 dhe BKOSA-4.2.

BKOSA-4.1. "Abstraksioni i faktorëve (ulja e madhësisë së hapësirës semantike të faktorëve)"

Për shkak të metodës shtesë të ditëve të fundit (algoritmi iterativ), për mendjet kufitare të caktuar, madhësia e fushës së atributeve do të ulet pa një ndryshim të thjeshtë në sasinë e parave. Kriteri për përmirësimin e procesit iterativ është arritja e njërës prej mendjeve kufitare.

BKOSA-4.2. "Abstraksioni i klasave (zvogëlimi i madhësisë së hapësirës semantike të klasave)"

Për metodën shtesë të ditëve të fundit (algoritmi iterativ) për mendjet kufitare të caktuar, madhësia e hapësirës së klasave do të ulet pa një ndryshim të thjeshtë në shumën e parave. Kriteri për përmirësimin e procesit iterativ është arritja e njërës prej mendjeve kufitare.

Të gjithë algoritmet reale janë këtu, të implementuara në sistemin "Eidos" të të njëjtit version, i cili u realizua në kohën e përgatitjes së robotit (2002 rik): http: //lc.kubagro .ru / aidos / aidos02 / 4.3 . htm

Thelbi i algoritmeve është si më poshtë.

1. Merrni pak informacion mbi vlerat e faktorëve në lidhje me transferimin e objektit në stacion, i cili u tregohet klasave.

2. Të rritet vlera e vlerës së zyrtarit për diferencimin e objektit për klasat. Vlera e lartë - ndryshueshmëria e çmimeve të vlerave informative të zyrtarëve (disa prej tyre janë të pasura në mënyrë të ndryshueshme: pamja mesatare është nga pamja e mesme, e mesme kuadratike dhe të tjerët.). Përveç kësaj, duket se nëse në faktorin domethënës në mes ka pak informacion për përshtatshmërinë dhe jo për përshtatshmërinë e objektit me klasën, atëherë vlera nuk është edhe më e vlefshme, por aq e vlefshme.

3. Të rritet vlera e shkallëve përshkruese për diferencimin e objekteve për klasa. Në robotët Є.V. Lutsenko synon mesin e vlerave të gradimeve të shkallës.

4. Është e mundur të kryhet Pareto-optimizimi i vlerës së faktorëve dhe shkallëve përshkruese:

Vlerat e faktorëve (gradacionet e shkallëve përshkruese) renditen sipas rendit të uljes së vlerës dhe shihen nga modelet, vlerat më të ulëta, pasi zbret drejt e deri në 45 ° të shtrembër Pareto;

Faktorët (përshkrimet e shkallës) renditen në rendin e uljes së vlerës dhe shihen nga modelet, vlerat më të mira, pasi shkon djathtas dhe poshtë në 45 ° të shtrembër Pareto.

Nëpërmjet pafundësisë së hapësirës, ​​të nxitur në shkallët përshkruese, ajo fjalë për fjalë zvogëlohet me ndihmën e vizualizimit të shkallëve të sakta midis tyre, tobto. nga dita, tse orthonormuvannya hapësirë ​​në metrikën e informacionit.

Tsey mund të përsëritet, shumë. buti іteratsіynim, me një version i ri Në sistemin "Eidos", përsëritjet hapen manualisht.

Në mënyrë të ngjashme, hapësira e informacionit të klasave është ortonormale.

Shkallët e këtij gradimi mund të jenë numerike (d.m.th., vlerat e intervalit ndryshojnë), dhe ato mund të jenë tekstuale (rendore dhe nominale).

Në një rang të tillë, me ndihmën e algoritmeve BKOSA (ASK-analiza), madhësia e hapësirës zvogëlohet sa më shumë me informacionin minimal të dytë.

Për analizën e të dhënave statistikore në statistikat e aplikuara, është zbërthyer një nivel i ulët i algoritmeve të optimizimit. Deri në fund të statistikave, mos përfshini një përshkrim të të gjithë zhvillimit të algoritmeve të tilla.

Letërsia

1. Orlov A.I. Pikat e rritjes së metodave statistikore // Hedgehog politematik elektronik revistë shkencore Universiteti Shtetëror Agrare Kuban. 2014. Nr 103. S. 136-162.

2. Farkal J. Ndërlidhja ndërmjet shkallëve të ndryshme dhe analizës së grupimeve // ​​Klasifikimi dhe analiza e grupimeve. M: Svit, 1980.S. 20-41.

4. Harman G. Suchasny analiza faktoriale... M: Statistika, 1972.489 f.

5. Orlov A.I. Shënime nga teoria e klasifikimit. / Sociologji: metodologji, metoda, modele matematikore... 1991. Nr 2. F.28-50.

6. Orlov A.I. Rezultatet themelore të teorisë matematikore të klasifikimit // Revista politematike e shkencave elektronike të zbukuruara të Universitetit Shtetëror Agrare Kuban. 2015. Nr 110. S. 219-239.

7. Orlov A.I. Metodat matematikore të teorisë së klasifikimit // Revista politematike e shkencës elektronike e zbukuruar e Universitetit Shtetëror Agrare Kuban. 2014.Nr.95, faqe 23 - 45.

8. Teriokhina A.Yu. Analiza e të dhënave me metodat e shkallëzimit në shkallë të gjerë. -M: Nauka, 1986.168 f.

9. Reverse V. T. Analiza tipologjike jolineare e informacionit social dhe ekonomik: Metoda matematikore dhe numerike. - L .: Nauka, 1983.176 f.

10. Tyurin Yu.M., Litvak B.G., Orlov A.I., Satarov G.A., Shmerling D.S. Analiza e informacionit jo numerik. M .: Naukova Rada Akademia e Shkencave SRSR іf problem kompleks "Kibernetika", 1981. - 80 f.

11. Orlov A.I. Një vështrim bruto i statistikave të objekteve në natyrë jo numerike // Analiza e informacionit jonumerik në shkencat shoqërore. - M: Shkencë, 1985.S. 58-92.

12. Orlov A.I. Shpërndarja kufitare e një vlerësimi të numrit të funksioneve bazë në regresion // Analiza statistikore e aplikuar e Bagatovimirny. Shënime hyrëse mbi statistikat, v.33. - M: Nauka, 1978.S. 380-381.

13. Orlov A.I. Vlerësimi i madhësisë së modelit në regresion // Algoritmi të sigurta nga ana programore analiza statistikore e aplikuar Vcheni shënime mbi statistikat, v.36. - M: Nauka, 1980.S. 92-99.

14. Orlov A.I. Asimptotika e vlerësimeve të ndryshme të madhësisë së modelit në regresion // Statistikat e aplikuara. Shënime hyrëse mbi statistikat, v. 45. - M: Nauka, 1983.S. 260-265.

15. Orlov A.I. Rreth vlerësimit të polinomit të regresionit // Laboratori i fabrikës. Diagnostifikimi i materialeve. 1994.Vëllimi 60. nr 5. S.43-47.

16. Orlov A.I. Ushqimi Deyaky imovirni i teorisë së klasifikimit // Statistikat e aplikuara. Shënime hyrëse mbi statistikat, v. 45. - M: Nauka, 1983.S. 166-179.

17. Orlov A.I. Mbi zhvillimin e artikujve nga objekte jonumerike // Dizajni i Eksperimenteve dhe Analiza e të Dhënave: Trendet dhe Rezultatet e reja. - M .: ANTAL, 1993. F.52-90.

18. Orlov A.I. Metoda e zvogëlimit të madhësisë // Dodatok 1 në librin: Tolstova Yu.M. Bazat e shkallës së gjerë: Navchalny posibnik për universitetet. - M .: Vidavnistvo KDU, 2006 .-- 160 f.

19. Orlov A.I. Asimptotika e zgjidhjeve të ndërmarrjeve statistikore ekstreme // Analiza e tributeve jo-numerike në recetat sistemike. Zbirnik prats. Vip. 10. - M: Instituti Shkencor Paraardhës Gjithë Bashkimi për Dozat Sistemike, 1982, f. 412.

20. Orlov A.I. Modeli organizativ dhe ekonomik: punonjës: rreth 3 vjet. Pjesa 1: Statistika pa fjalë. - M: Lloji i MDTU im. jo. Bauman. - 2009 .-- 541 f.

21. Lutsenko Є.V. Sistemi i automatizimit-analiza njohëse në menaxhimin e objekteve aktive (teoria e sistemit të informacionit dhe ruajtja e sistemeve ekonomike ekzistuese, social-psikologjike, teknologjike dhe organizative-teknike) -Krasnodar: KubDAU. 2002 .-- 605 f. http://elibrary.ru/item.asp?id=18632909

1. Orlov A.I. Tochki rosta statisticheskich metod // Politematicheskij setevej jelektronny nauchny zhurnal Kubanskogogosudarstvennogo agrarnogo universiteta. 2014. Nr 103. S. 136-162.

2. Kruskal J. Ndërlidhja ndërmjet shkallëve të ndryshme dhe analizës së grupimeve // ​​Klasifikimi dhe analiza e grupimeve M .: Mir, 1980. S.20-41.

3. Kruskal J.B., Wish M. Shkallëzimi shumëdimensional // Seria e letrave të Universitetit Sage: Aplikime cilësore në shkencat sociale. 1978. nr 11.

4. Harman G. Analiza e faktorit fat. M .: Statistika, 1972.489 s.

5. Orlov A.I. Shënime mbi teorinë e klasifikimit. / Sociologija: metodologji, metodi, matematicheskie modeli. 1991. Nr 2. S.28-50.

6. Orlov A.I. Burimet themelore të teorisë matematikore të klasifikimeve // ​​Revista shkencore elektronike e rrjetit polimatik të Universitetit Bujqësor Shtetëror Kuban. 2015. Nr 110. S. 219-239.

7. Orlov A.I. Metodat matematikore të teorisë së klasifikimit // Revista shkencore elektronike e rrjetit politematik të Universitetit Shtetëror Agrare Kuban. 2014. Nr 95. S. 23 - 45.

8. Terehina A.Ju. Analiza e të dhënave me metodat e një shkalle shumëdimensionale. - M: Nauka, 1986.168 s.

9. Perekrest V.T. Analiza topologjike jolineare e metodave sociale "informacioni i ri ekonomik: lajmet matematikore dhe klinike". - L .: Nauka, 1983.176 s.

10. Tjurin Ju.N., Litvak B.G., Orlov A.I., Satarov G.A., Shmerling D.S. Analiz nechislovoj informacii. M .: Këshilli Shkencor në RSSS për problemet komplekse "Kibernetika", 1981. - 80 f.

11. Orlov A.I. Pikëpamjet e përgjithshme mbi statistikat e objekteve në natyrën jo-njerëzore // Analiza e informacionit jo-njerëzor në shkencat shoqërore. - M .: Nauka, 1985. S. 58-92.

12. Orlov A.I. Baza e numrit të funksioneve themelore në regresion nuk u shpërnda në të njëjtën mënyrë.

13. Orlov A.I. Qendra për zhvillimin e modeleve në regresion // Mbulimi algoritmik dhe programatik i analistit kryesor statistikor. Shkencëtarët për picki sipas statistikave, t.36. - M .: Nauka, 1980. S. 92-99.

14. Orlov A.I. Asimptotika nekotoryh ocenok razmernosti modeli në regresion // Prikladna statistika. Vçeni zapiski sipas statistikës, t.45. - M .: Nauka, 1983. S. 260-265.

15. Orlov A.I. Mbi përcaktimin e polinomës së regresionit // Laboratori i fabrikës. Diagnostifikimi i materialeve. 1994. T. 60. nr 5. S.43-47.

16. Orlov A.I. Disa pyetje të mundshme teorii klasifikacii / / Prikladna statistika. Vçeni zapiski sipas statistikës, t.45. - M .: Nauka, 1983. S. 166-179.

17. Orlov A.I. Mbi zhvillimin e artikujve nga objekte jonumerike // Dizajni i Eksperimenteve dhe Analiza e të Dhënave: Trendet dhe Rezultatet e reja. - M .: ANTAL, 1993. R. 52-90.

18. Orlov A.I. Metodat për zvogëlimin e madhësisë // Shtojca 1 e librit: Tolstova Yu.N. Shkalla kryesore shumëdimensionale: Metoda arsimore për universitetet. - M .: Izdatel "stvo KDU, 2006. - 160 s.

19. Orlov A.I. Asimptotika reshenij jekstremal "them statisticheskich zadach // Analiz nechislovych dannych v sistemnyh issledovaniyah. Sbornik trudov. Vyp.10. - M .: Vsesojuznyy shkencore issledovatel" skijitut sisantemnys inst.dovaniyah Isle.

20. Orlov A.I. Modeli organizativ-yoekonomichee: uchebnik: v 3 ch. Chast "1: Nechislovaja statistika. - M .: Izd-vo MGTU im. N. Je. Baumana. - 2009. - 541 s.

21. Lucenko E.V. Automatizimi i analizës sistemore-kognitive në menaxhimin e objekteve aktive (teoria e sistemit të informacionit dhe ruajtjes së informacionit në para-ekonomike, social-psikologjike, teknologjike). 605 s. http://elibrary.ru/item.asp?id=18632909

Reduktimi i të dhënave

Në teknologjitë analitike, për të zvogëluar madhësinë e të dhënave të dhëna, procesi i konvertimit në formë konsiderohet më manuali për analizën dhe interpretimin. Thirrni atë për të arritur në rakhunok të ndryshimit їх obsyagu, shenjën e shpejtë kіlkostі vikoristovuvanih dhe kuptimin rozmaittya їkh.

Shpesh, analiza e të dhënave është e pakuptueshme, nëse era e keqe është e neveritshme për të përfaqësuar parregullsinë dhe rregullsinë e proceseve të mëparshme të biznesit. Arsyet për këtë mund të jenë mungesa e kujdesit, prania e shenjave, të cilat shihen në sutat e autoriteteve të objekteve. Në një tsiom vipadku ngec zbagachennya danih.

Një rënie në madhësinë e hapësirës ngec në prototipin vypadku, nëse është dhënë më lart. Përparësia e testit është se, nëse analiza mund të bëhet me të njëjtin nivel efikasiteti dhe saktësie, dhe aq më e vogël është madhësia e të dhënave. Kjo lejon përshpejtimin e frekuencës së llogaritjes së vitratit për zgjidhjen e detyrave, gjenerimin e të dhënave dhe rezultateve nga analizat më të interpretuara dhe më të ndjeshme për koristuvach.

Shpejtësia e numrit është një paralajmërim për ata që do të qëndrojnë të ndenjur, pasi zgjidhja e cilësisë poroze mund të reduktohet në vibruese menshy obsyagu, duke kaluar vetë numrin e atyre kohërave vitrati. Është veçanërisht e rëndësishme për algoritmet që nuk shkallëzohen, nëse shpejtësia e numrit të rekordeve është e vogël, të prodhojë një sutta vigrash në vitratet e orës numerike.

Një numër i shpejtë nënkupton një ndjenjë të sjelljes së tody, nëse informacioni është i nevojshëm për një version të qartë të ndërmarrjes, për të përfituar nga një numër i caktuar shenjash dhe është e nevojshme të vikorstovuvatyh usi. Është veçanërisht e rëndësishme për shenjën e korrelacionit. Për shembull, shenjat "Vіk" dhe "Përvoja e robotëve", në thelb, mbajnë pikërisht atë informacion, që njëra prej tyre mund të ndizet.

Mënyra më efektive për të shpejtuar numrin e shenjave është analiza e faktorëve dhe metoda e komponentëve kryesorë.

Shpejtësia e shkathtësisë është një shenjë e një sensi, për shembull, pasi saktësia e paraqitjes së të dhënave është dërrmuese dhe ndryshimi i kuptimit të të folurit mund të jetë fitimtar pa humbur cilësinë e modelit. Por në të njëjtën kohë, do të ketë një ndryshim në vëllimin e kujtesës, mënyrën e kujdesit për dhuratat dhe numrin e vitrateve.

Duke pasur parasysh shumë para, të refuzuara si rezultat i një ndryshimi të shpejtë, nuk jam i sigurt për ndonjë stil tjetër informacioni, sepse është i nevojshëm për zgjidhjen e detyrave për shkak të një saktësie të caktuar dhe një numri të shpejtë herë.

Një model analitik, i motivuar mbi bazën e një grupi të shpejtë të dhënash, është më i thjeshtë për përpunim, zbatim dhe inteligjencë, por modeli motivohet nga një grup i jashtëm.

Vendimi për metodën vibruese të përshpejtimit të matjes bazohet në njohuritë e prillit për veçoritë e veçanta të stafit të virgjër dhe rezultatet, si dhe ndërlidhjen e orëve dhe burimet llogaritëse.

Mashinne navchannya - tse nuk sho іnshe, si zona e navchannya, pasi lejon kompjuterët të "lexojnë", si njerëz, pa pasur nevojë për një program të qartë.

Gjithashtu, modeli nuk parashikohet: parashikimi i modelit është një proces i tërë që na lejon të parashikojmë rezultatet në bazë të parashikuesve të veprimeve. Numri i parashikuesve është i rëndësishëm për funksionet, të cilat përfshihen në grupin e rezultatit të mbetur, pra në rezultatin e modelit.

Si e ndryshon madhësinë e hapësirës?

Ndër punonjësit e klasifikimit të pajisjeve të makinerive, shpesh ka zyrtarë edhe më të bollshëm, të cilët kanë frikë të kenë frikë nga klasifikimi i mbetur. Qytetarët nuk janë të rëndësishëm, ata quhen shenja. Me më shumë funksione, vizualizimi më i palosshëm i setit trenuval dhe pratsyuvati mbi të. Në disa raste, ka një numër të madh të funksioneve të ndërlidhjes, edhe mbi botën. Algoritmet Tse de për ndryshimin e madhësisë së hapësirës hyjnë në grup. Ndryshimi i madhësisë është çmimi i ndryshimit të numrit të vlerave të analizuara me anë të një grupi ndryshimesh bazë. Ju mund të zgjidhni nga një shumëllojshmëri specialitetesh dhe specialitetesh.

Pse ndryshimi në hapësirë ​​është më i rëndësishëm se një vegël makine dhe modeli parashikues?

Prapa në mënyrë intuitive e frikshme e ndryshimit të zhdoganimit mund të diskutohet me ndihmën e një krijimi të thjeshtë të klasifikimit të postës elektronike, është e nevojshme të postë elektronike spam chi ni. Ju mund të përfshini numër i madh funksioni, për shembull, ekziston një fletë e vogël elektronike, një titull, një fletë elektronike, një fletë elektronike, një shabllon, etj. Megjithatë, disa nga këto funksione mund të ndryshohen, mund të sillen në një karakteristikë kryesore, erën e ofendimit. nga organet e brendshme lidhet me një botë të lartë. Pra, ne mund të ndryshojmë disa nga funksionet e punonjësve të tillë. Problemi i një klasifikimi të parëndësishëm është i rëndësishëm për t'u kuptuar, pasi ai mund të krijohet në një hapësirë ​​të thjeshtë dy-dimensionale, dhe një detyrë njëdimensionale - në një linjë të thjeshtë. Udhëzimi poshtë të vegjëlve është një koncept vizual, hapësira e parëndësishme nënkuptohet se janë dy hapësira të të njëjtit lloj, dhe nëse duket se era e keqe është e ndërlidhur, numri i shenjave mund të ndryshohet edhe më shumë.

Komponentët e ndryshimit të madhësisë

Ekzistojnë dy komponentë të ndryshimit të pastrimit:

• Parametrat e dridhjeve: Në të njëjtën kohë, ka shumë informacione për grupin e funksioneve dimërore, të cilat mund të reduktohen në më pak se numri i funksioneve, pasi mund të jeni fitimtar për modelimin e problemit. Emri përfshin tre mënyra:
  1. Filtro
  2. copëtim
  3. vprovazheniy
• Shenja e Viluchennya:Çmimi i një ndryshimi nga një hapësirë ​​e madhe në një hapësirë ​​më të ulët, në një hapësirë ​​me një numër më të ulët. rosmіrіv.

Mënyra e ndryshimit të madhësisë

Metodat Rizni, si të aplikoni për një ndryshim në madhësi, përfshijnë:

• Analiza e komponentit kryesor (PCA)
• Analiza Diskriminuese Lineare (LDA)
• Analiza e diskriminimit të përdorimit (GDA)

Ndryshimi në madhësi mund të jetë ose linear, ose jo-linear, që bie në metodën vicioze. Metoda kryesore lineare, rangjet e analizës së komponentëve kryesorë, ose PCA, diskutohen më poshtë.

Analiza e komponentëve kryesorë

Metoda cei u krijua nga Karl Pirson. Fito pratsyuє për mendjen, dua që haraçi në pafundësinë e epokës më të lartë të imagjinohet në dan në hapësirën e hapur të botës së poshtme, shpërndarja e haraçit në hapësirën e hapur të botës së poshtme është fajtore për maksimumin. .

Vera përfshin fillimin e sezonit:

• Qëndroni me matricën tinëzare të homazheve.
• Numëroni vektorët e fuqisë së matricës.
• Vektorët Vlasny, bazuar në vlerat më të fuqishme, do të jenë në gjendje të rinovojnë pjesën më të madhe të variancës së tributeve të kaluara.

Gjithashtu, ne kemi humbur më pak vektorë të fuqisë, dhe në këtë proces, një deyak mund të kishte humbur para. Por gjëja më e rëndësishme është njohja e fajit të marrjes në dorë të vektorëve të pushtetit, të cilët janë bërë të tepërt.

Ndryshimi i madh në madhësi

• Tse ndihmë shtesë nga danikh i ngjeshur, і, і, іtzhe, ndryshoni hapësirën për zberіgannya.
• Tse zmenshuє ora e llogaritjes.
• Gjithashtu ju ndihmon të shihni funksione të tepërta, të tilla si є.

Ndryshime jo të plota në madhësi

• Tse mund të sjellë për të kënduar haraç.
• PCA ka një tendencë të njohë si korrelacionet lineare ashtu edhe fituesit, por ndonjëherë nuk është e nevojshme.
• PCA është krenare për fatin e keq në rastin e mesatares dhe marzhit të dështimit për grupin e homazheve.
• Mund të mos jemi fisnikë, pasi përbërësit kryesorë kanë zbritur në prakticitet, rregullat e gishtit të madh do të ngecin.

Qia statcha nadana Ananney Uberoy... Nëse dëshironi GeeksforGeeks ose nëse dëshironi të shtoni hyrjet tuaja, mund të shkruani gjithashtu një artikull për ndihmë. [email i mbrojtur] Mrekullohuni me artikullin tuaj, paraqituni në faqen kryesore të GeeksforGeeks dhe ndihmojini ata të çuditshëm.