Mathematica Engineering - Modelli e Metodi dell'Inferenza Statistica

Formulario

Etc

Alessandro Marco Cesare Moneta Formulario MODELLI E METODI DELL’INFERENZA STATISTICA Serie notevoliCalcolo combinatorioTrasformazioni lineari distribuzioni Chi quadro Relazione tra le distribuzioni comuni Stimatori campionariSgami integrali Controllare che non ci si possa ricondurre a una densità di probabilità o un valore atteso o una varianza noti Verificare parità e disparità della funzione Utilizzare la formula nota per il calcolo di Utilizzare la formula per i cambi di variabili Distribuzioni notevoli Funzione densità di probabilitàFunzione di ripartizione Dipende da h Trovare la legge di una variabile Statistica testSufficiente sufficientesufficientesufficiente funzione biunivoca sufficiente Famiglia esponenziale Metodo di verifica visto che il supporto dipende da Si riscrive la densità discreta o continua in modo tale da soddisfare la definizione minimalesufficiente sufficiente Se la funzione densità non si fattorizza come non è sufficiente con sufficiente e minimale non è sufficiente sufficiente e minimale sufficientesufficientesufficiente non sufficiente Una statistica sufficiente non è unica Per trovare una funzione g(T) che non è identicamente nulla per cui il valore atteso è nullo si usa: rapporto tra minimo e massimo differenza tra minimo e massimo rapporto tra due differenze diverse Completa completa contiene almeno un aperto di sufficiente e completa (per la funzione di x trovata) Annullamento su tutto il suo supporto della funzione non completa È solo funzione della statistica Se per ogni g quando vale l’ipotesi allora vale che la probabilità che sia nulla g(T) è uguale a 1 allora la statistica è completa L’immagine di tutte le funzioni w completacompleta per qualche t Variabile aleatoria X non completa (ammette funzione g tale che se allora X non ammetterà statistiche complete biunivoca non minimale Se non vale Lehmann - Scheffé la statistica può essere sufficiente ma non minimale Minimale Cerco qual è la funzione T del campione casuale tale che il rapporto tra le densità valutate in due diverse realizzazioni è indipendente da theta e il valore restituito dalla funzione T delle due osservazioni è uguale minimale funzione biunivoca minimalesufficiente e completaminimale È meno forte avere una statistica ordinata piuttosto che tutto il campione, quindi ogni volta che dovrei avere x = y sfrutto la statistica d’ordine sufficiente e minimale completa Scrivo l’integrale del valore atteso, derivo e poi semplifico, se ottengo Statistiche note sufficiente Stima puntuale Metodo dei momentiMetodo della massima verosimiglianza Calcolo i momenti teorici k-esimi con k = 1, ..., NValuto il numero N di parametri da stimare Sostituisco i parametri con gli stimatori Eguaglio i momenti teorici ai momenti campionari Risolvo il sistema ed esplicito gli stimatori Controllo che il campione sia iidCalcolo la funzione logaritmo della verosimiglianzaCalcolo la funzione verosimiglianza Calcolo la derivata parziale rispetto ad ogni parametro della funzione log-likelihood La derivata trovata è lo stimatore che massimizza la verosimiglianza Controllo che il campione sia iid Cerco i punti stazionari della derivata Metodo con conti Rappresento il grafico della funzione verosimiglianza con come variabile indipendente Valuto in che posizione si trova il massimo Il punto di massimo trovato è lo stimatore che massimizza la verosimiglianza Metodo con grafico Proprietà di invarianza degli MLE Questa proprietà non vale per lo stimatore del metodo dei momenti, per trovare la funzione dello stimatore del metodo dei momenti dobbiamo trovare la funzione del parametro che ci interessa scritta in funzione del momento k-esimo che ci serve e poi sostituire quest’ultimo con la media campionaria alla k Scrivo la funzione indicatrice in L in funzione del parametro al posto che di Se non esiste un unico massimo allora il massimo è un punto qualunque tra quelli di massimo Se non sono iid moltiplico le diverse leggi delle diverse variabili aleatorie Uno stimatore deve essere funzione solo del campione Se sto cercando più stimatori e ne trovo uno in funzione di un parametro da stimare allora a questo dovrò sostituire lo stimatore di quel parametro Lo stimatore di massima verosimiglianza è quello che restituisce la probabilità più alta di ottenere quel valore di x prendo il valore di per cui ho massima Densità funzione dello stimatore discreto I valori di x sono fissati / presi come dati Questa proprietà non vale anche per (due stimatori MLE insieme) Applichiamo il metodo dei momenti e troviamo invece che Controllo se i punti stazionari trovati sono punti di massimo globale (eventualmente faccio la derivata seconda della log likelihood) Metodo per trovare l’UMVUE Stimatore UMVUE UMVUE Disuguaglianza di Cramer - RaoTeorema di Rao - Blackwell Se l’UMVUE esiste è unico Cerco W statistica sufficiente, minimale e completaSe W è anche non distorto allora esso stesso è l’UMVUE Informazione di Fisher Il supporto del campione casuale non dipende da Si può scambiare derivata e integrale Limite di Cramer - Rao T stimatore non distorto e W statistica sufficiente stimatore perstimatore non distorto Solitamente si trova tramite la famiglia esponenziale Errore quadratico medio stimatore migliore rispetto a Non distorsione o correttezza Stimatore non distorto o corretto Per trovare uno stimatore non distorto posso correggere un altro stimatore distorto (moltiplicando per una variabile, sommando valori, ...) Valutazione dello stimatore T Se non è così non vale la disuguaglianza di CR Solitamente si può esprimere il limite di Cramer-Rao come la varianza di X moltiplicata per un coefficiente Non è detto che il limite di Cramer-Rao venga raggiunto dall’UMVUE: è un limite inferiore Non sempre è possibile ordinare gli stimatori tramite il loro MSE Ho T non distorto per cui vale limite di Cramer-Rao T è l’UMVUE, anche se l’UMVUE potrebbe non raggiungere il limite di Cramer-Rao Cerco W sufficiente, minimale e completaSe W non è non distorto allora cerco T non distorto Trovo l’UMVUE come Per esprimere il valore atteso condizionato devo procedere per casi dando un valore generico alla variabile aleatoria condizionante Solitamente si trova tramite la famiglia esponenziale Solitamente si trova moltiplicando per un coefficiente che si trova calcolando il valore atteso dello stimatore W Stimatori noti UMVUEUMVUE Test d’ipotesi rifiuto H0 Ipotesi Regione criticaRegione di accettazione Test del rapporto di verosimiglianza StatisticaRegione critica DecisioneAccettoAccetto Ipotesi effettivamente vera Errore di Iº tipoErrore di IIº tipo Rifiuto H0 veraAccetto H0 falsa Errori probabilità di commettere errore di Iº tipo se 1 - probabilità di commettere errore di secondo tipo se Parametri accettabili Dipendono molto dal tipo di esperimento però! Statistica tramite statistica sufficiente Statistica LRT basata su T Statistica LRT Funzione potenza del test Per trovare alfa e beta bisogna riscrivere la regione critica in funzione dei valori del campione casuale poiché di questo si conosce la legge, per fare ciò bisogna riscrivere la regione critica valutando com’è fatta la funzione lambda (tramite uno studio di funzione) Il sup si trova derivando la likelihood Se bisogna calcolare alfa di una regione critica divisa in due si divide in due alfa e si assegna metà della dimensione a ciascuna parte della regione critica Trovare il test significa trovare la regione critica Potenza di un test contro va calcolatoPer trovare la regione critica si valuta la funzione della statistica che esce dal likelihood ratio test e si fa uno studio di funzione per vedere qual è la condizione sulla statistica per avere Test non distorto se Test non distorto Un test è UMP nella classe C se funzione potenza associata a un generico test della classe C Metodi per costruire un test UMP Lemma di Neymann - Pearson Livello di un test Test di livellose Impostare il livello di test con unione tra due intervalli Test unione - intersezioneTest intersezione - unione Costruzione della regione critica Imposto le due regioni pari ad ciascuna Imposto la somma delle probabilità dei due intervalli pari ad e la simmetria tra le due soglie (vedi es. 8 ese 4) Il test che trovo con (2) è UMP e l’intervallo di confidenza associato è il minimo Ipotesi non sempliciIpotesi semplici Caso 1Caso 2Caso 3 Calcolo la Rc con NP su un test del tipo con Se la regione trovata non dipende da allora il test unilatero è definito dalla stessa Rc Calcolo la Rc con NP su un test del tipo con Se la regione trovata non dipende da allora il test unilatero è definito dalla stessa Rc Sfrutto la teoria dei test unione intersezione La regione critica è l’unione delle regioni dei due casi precedenti, quindi per impostare il giusto livello devo scegliere i due test di livello Imposto il livello scegliendo il k (o la costante) tale per cui ho Se ho una funzione complicata devo fare uno studio di funzione per capire quando è maggiore o minore della costante Dimensione di un test Test di dimensione se Test UMP (test più potente) Test unione - intersezioneTest intersezione - unione Costruzione della regione critica Teorema di Karlin - Rubin Controllo che la legge di T abbia rapporto di likelihood monotonoVerifico di avere un test del tipo Cerco statistica sufficiente per Legge continua Controllo che sia non decrescente in t Verifico che Legge discreta Controllo che sia non decrescente in t Conoscendo la formula della regione critica calcolo la costante impostando il livello Se ho rapporto di likelihood monotono decrescente costruisco la regione critica con -T Se ho ipotesi invertite avrò regione critica con verso invertito (con