Funzioni Rstudio

Informazioni sul documento

Università: Politecnico di Milano
Corso di laurea: Management Engineering
Materia: Business Data Analys
Anno accademico: 2023-2024
Classificazione: Appunti · Altro
Formato originale: PDF
Testo: Testo ricercabile

Cosa trovi in questo materiale

Materiale universitario di Business Data Analys per il corso di Management Engineering presso Politecnico di Milano. Il documento tratta: Materiale per esame TEST D’IPOTESI ERRORE di 1° TIPO = probabilità di RIFIUTARE un’ipotesi nulla VERA == significatività ERRORE DI 2° TIPO = probabilità di NON RIFIUTARE un’ipotesi nulla FALSA # NON sono l’uno l’inverso dell’altro # si possono ridurre entrambi agendo sulla…

Qualità dell’importazione: il testo è stato estratto direttamente dal documento originale.

Contenuti estratti dal documento

Passaggi rappresentativi riconosciuti nelle diverse parti del materiale. Il testo completo resta presente nella pagina per la ricerca, mentre l’anteprima compatta rende più semplice la lettura.

Pagina 1

Materiale per esame TEST D’IPOTESI ERRORE di 1° TIPO = probabilità di RIFIUTARE un’ipotesi nulla VERA == significatività ERRORE DI 2° TIPO = probabilità di NON RIFIUTARE un’ipotesi nulla FALSA # NON sono l’uno l’inverso dell’altro # si possono ridurre entrambi agendo sulla dimensione campionaria, poiché si agisce sulla variabilità statistica # DEFINIZIONE di p-value:è il più piccolo livello di significatività per cui si rifiuta l’ipotesi nulla POTENZA = probabilità di RIFIUTARE un’ipotesi nulla FALSA → POT = 1 – ERR_2° TEST SULLA MEDIA DI OSSERVAZIONI mu = mean(*dati*) s2 = var(*dati*) N = length(*dati*) deviazione standard = s → varianza = s^2 s2p = (1 / (nX + nY -2) * ( (nX-1)*s2X + (nY-1)*s2Y)) • t = (muX – muY) / (sqrt (s2p* (1/nX + 1/nY))) • pval <- 2 *(1 – pt( abs(t), nX+nY-2) # anche in caso si utilizzino queste formule ci si basa sulle ipotesi di gaussianità # VARIANZE UGUALI → NON si calcola s_pooled, ma direttamente la statistica t # CONFIDENZA 95% → QUANTILE di riferimento: qt(0.95, df=nX+nY-2) Oppure direttamente → t.test (*datiX*, *datiY*) # La distribuzione della statistica test varia e seconda del fatto che le varianze delle due popolazioni siano note o meno. → VERO, la definizione della statistica test e la sua distribuzione dipendono dal fatto che le varianze siano note (z test) o meno (S pooled e t test) Verifica della media di diverse popolazioni, differenti in base alla categoria IPOTESI da verificare: normalità, omoschedasticità/omogeneità delle varianze 1. Normalità → tapply (*var_oss*, *categoria*, shapiro.test) p-value alto 2. Omogeneità varianze → bartlett.test (*var_oss* ~ *categoria*) p-value alto TEST STATISTICO → ANOVA ➔ Anova = aov (*var_oss* ~ *categoria*) ; summary (anova) o Valore della statistica test = F-value o P-value alto → la…

Pagina 5

• ACC = (misclass_table [1,1] + misclass_table [2,2]) / dim (*dati*) [1] • APER = 1 – ACC # errore di classificazione • Prec = TP/(TP+FP) # precision # L’errore del classificatore stimato dalla tabella di confusione in figura rappresenta una stima ottimistica dell’errore di classificazione su un test set indipendente RIDGE e LASSO REGRESSION library (glmnet) BISOGNA PORRE I DATI IN FORMA DI MATRICE • data_matrix = model.matrix (*output* ~ *input*, data=data)[,-1] Inizializzazione del vettore dei lambda: lambda = 10^seq(-4, 2, by = 0.2) [esempio] • RIDGE: ridge_model = glmnet (*input*, *output*, lambda=lambda, alpha=0) cv_ridge = cv.glmnet (*input*, *output*, lambda=lambda, alpha=0, nfolds=*n*) • LASSO: lasso_model = glmnet (*input*, *output*, lambda=lambda, alpha=1) cv_lasso = cv.glmnet(*input*, *output*, lambda=lambda, alpha=1, nfolds=*n*) Valori di lambda che ci interessano: o best_lam = cv$lambda.min o reg_lam = cv$lambda.lse Trovare l’indice corrispondente al lambda cercato • ind = which (cv$lambda == best_lam) coefficient associati al best_lam → coef (ridge_model) [ , ind] Stima dell’errore in cross-validazione corrispondente al best_lam ➔ cv_err = model_lasso_cv$cvm[ind_best] # le covariate i cui coefficienti che si avvicinano subito zero sono da considerarsi poco significative ALBERI DI REGRESSIONE E CLASSIFICAZIONE library (tree) Tra I due cambia solo che su quelli di regressione la variabile output è numerica mentre su quelli di classificazione è categorica # sono metodi di learning supervisionato # Un albero di classificazione prevede il valore della variabile dipendente come la modalità più frequente che capita nella regione (nodo terminale) tree _model= tree (*output* ~ *input*, data=*dati*) summary (tree_model) plot (tree_model) • PREVISIONE…

Pagina 9

# soprattutto nei casi in cui i clusters non sono ben definiti, i vari tipi di linkage possono potenzialmente portare a risultati molto diversi tra loro. # single linkage • Riesce a maneggiare forme non ellittiche • È sensibile al rumore e agli outliers # complete linkage • Meno sensibile agli outlier • Tende a rompere i cluster molto grandi • Risulta biased in presenza di cluster globulari A questo punto si identifica il numero di cluster dal dendrogramma, a seconda del tratto verticale più lungo • Calcolo nuovi cluster → hmod_1 = cutree (hmod, 3) ; table (hmod_1) Coordinate centroidi 1. tapply (data$*variabile*, hmod_1, mean) [coordinate x ] dopo va ripetuto per le altre coordinate 2. METODO MIGLIORE c1 = db_new[hmod==1,] ; colMeans(c1) [tutte le coordinate del 1 centroide] c2 = db_new[hmod==2,] ; colMeans(c2)

Pagina 13

Link della rete → E(g) ; numero di link → ecount(g) → Peso dei link → E(g)$weight Altre richieste # Quante mail sono state mandate dal nodo 13 al nodo 49? → g[13,49] # Quali sono i primi 5 link uscenti dal nodo 8 e quante mail vengono scambiate in questi link? → g[8,c(1:5)] # Qual è l’outdegree pesato (o out-strength) del nodo in posizione 67? → sum(g[67,]) # Qual è l’indegree pesato (o in-strength) del nodo in posizione 67? → sum(g[,67]) # Densità del grafo → graph.density(g) ➔ La densità confronta la rete effettiva con una rete completamente connessa con lo stesso numero di nodi della rete effettiva ➔ Rete completamente connessa: tutti i nodi hanno distanza 1 da ogni altro ➔ Densità_non diretto = 2*n_link / (n_nodi*(n_nodi – 1 )) # Numero di componenti connesse → components(g)$no # Diametro=cammino corto + lungo della rete→ diameter(g) ; # Lunghezza media dei cammini più corti → average.path.length(g) # Clustering coefficient → transitivity(g, type=”local”) ➔ Grado medio della rete non direzionata = 2*n_link/n_nodi Distribuzione di grado e forza della rete Grado della rete: • Indegree: degree ( g , mode=”in”) • Outdegree: degree (g , mode=”out”) • Degree: degree ( g , mode=”all”) Grado della rete non direzionata → vengono tenuti solo i link che hanno entrambe le direzioni ➔ Degree( as.undirected(g), mode=”all”) Normalizzazione del grado tra 0 e 1 → aggiunta di : normalized=TRUE Tuttavia, l’opzione normalized non distingue tra reti direzionate e non direzionate e applica sempre il solito fattore di normalizzazione (n − 1). Il risultato è che il grado normalizzato ha un intervallo di valori tra 0 e 2. ➔ Bisogna dividere per 2 tutti i gradi → es. degree = degree/2 Grado pesato / forza della rete: le funzioni sono identiche al grado, ma si utilizza strength…

Pagina 17

MCCRARY Sorting test → ipotesi nulla: assenza di discontinuità (p basso→ RIFIUTO) REQUISITI DI ENDOGENEITA’, RILEVANZA e ESCLUSIVITA’ ➔ problema di endogeneità: una variabile indipendente è correlata con il termine di errore ➔ esclusività: spesso non è verificabile poiché bisogna escludere ogni possible effetto di z su y, che non derivi da x1 CONFOUNDER → CONTROLLARE COLLIDER → NON CONTROLLARE In un approccio a variabili strumentali (IV) bisogna: • Scegliere uno strumento correlato al trattamento → RILEVANZA • Scegliere uno strumento NON correlato con le variabili non osservabili → ESOGENEITA’ o L’esogeneità può essere verificata solo teoricamente • Scegliere uno strumento NON correlato con la varibile outcome → ESCLUSIVITA’ o Se NON abbiamo campioni molto numerosi, strumenti deboli possono generare grandi bias → non si riduce la dimensione del campione in caso di strumenti deboli # Si supponga di addestrare un classificatore binario basato sulla regressione logistica. Allora all’aumentare del threshold (soglia) → La sensitivity diminuisce ; la specificity aumenta

Anteprima

Prima pagina del documento.