Lineárna regresia 2

Tento kurz je pokračovaním kurzu lineárnej regresie 1. Kým v predošlom kurze sme si dopodrobna rozobrali základný nástroj - metódu najmenších štvorcov, teraz budeme pracovať viacej do šírky. Uvidíme množstvo rôznych štatistických metód a tento kurz má ambíciu pokryť veľkú paletu aplikácií, aby ste sa vedeli v praxi dobre orientovať.

Základnou učebnicou je kniha Extending Linear Models with R (ELMwR), ktorá pokrýva okolo 80% obsahu kurzu.

Cvičenia bude viesť Dr. Michaela Mihoková.

Súbory

• Tu je môj starší text, ktorý budem tu a tam upravovať. Budem Vám samozrejme vďačný, za akúkoľvek spätnú väzbu. Tento text je písaný veľmi koncentrovane a je len pomôckou, silne odporúčam čítať originálne zdroje.
• Webstránka http://lukaslaffers.github.io/linreg2 bude obsahovať všetky relevantné informácie týkajúce tohoto kurzu.

ELMwR prvé vydanie, ELMwR druhé vydanie

R z prednášky:

Úvod a zhrnutie LMwR na príklade volebných dát z US štátu Georgia v 2000

Maximum likelihood

Binomické dáta (z prvej edície ELMwR)

Dáta typu počet

Kontingenčné tabuľky

Multinomické dáta

GLM všeobecne

Neparametrická regresia

Bootstrap

Kvantilová regresia (dataset lowbwt.xls)

Zovšeobecnené aditívne modely

Náhodné lesy

R cvičenia:

Intro

Binomické dáta Riešenie

Binomické dáta2 Riešenie

Count dáta Riešenie

Kontingenčné tabuľky Riešenie

Multinomické dáta + GLM Riešenie

Neparametrická regresia Riešenie

Bootstrap Riešenie

Kvantilová regresia Riešenie

Zovšeobecnené aditívne modely Riešenie

Náhodné lesy Riešenie

Domáce úlohy:

link na odovzdávanie

DU1 DU2 DU3 DU4 DU5 DU6 DU7 DU8 DU9

DÚ6-dáta DÚ7-článok

Misc:

Úvod do Maximum likelihood (prvých 15 slajdov)

Challenger katastrofa (populárna prednáška): video prednášky, slajdy, Feynman

Rozvrh

• 13 týždňov (9. február – 8. máj, kalendárne týždne 7–19)
• Pondelok 9:50 – 12:05 F237 Prednáška/Cvičenie (Lukáš Lafférs)
• Streda 12:15 – 13:40 F237 Cvičenia (Dr. Michaela Mihoková)

Osnova kurzu

• Úvod – zhrnutie lineárnych regresných modelov, kompletný príklad.
• Modely pre binárne dáta – typy problémov, linková funkcia a pravdepodobnosť, štatistická inferencia, interpretácia, prospektívny/retrospektívny výber, mierka vhodnosti modelu, overdispersion, párovanie.
• Modely pre dáta typu počet – typy problémov, štatistická inferencia, interpretácia, overdispersion, Poissonovo rozdelenie a negatívne binomické rozdelenie, modely so zvýšeným počtom nulových hodnôt.
• Kontingenčné tabuľky – nominálne vs ordinálne dáta, 2x2 tabuľky, výberové schémy, IxJ tabuľky, test nezávislosti faktorov, singular value decomposition, párované pozorovania, trojrozmerné tabuľky a Simpsonov paradox, ordinálne dáta.
• Multinomiálne dáta – multinomiálny logit, nezávislosť irelevantných alternatív, hierarchické modely, modely ordinálnej odpovede – proportional odds model, ordered probit model, proportional hazard model.
• Generalizované lineárne modely (GLM) – rozdelenie a linková funkcia, iteratívne prevažované metódy najmenších štvorcov, testy hypotéz – vhodnosť modelu, vnorené modely, diagnostika, ďalšie GLM – gamma regresia a inverzná gaussovská regresia, quasi-GLM.
• Neparametrická regresia – parametrové vs neparametrické vs semiparametrické modely, kernelové odhady, Nadaraya-Watsonov odhad, splajny – bázy funkcií, prirodzené splajny, vyhladzovacie splajny, lokálne polynómy, vlnky, výber modelu.
• Bootstrap – rozdelenie výberového súboru, myšlienka bootstrapu, testy hypotéz v lineárnych regresných modeloch, teória, korekcia biasu, testy hypotéz, príklady, intervaly spoľahlivosti, alternatívy k bootstrapu.
• Kvantilová regresia – stredná hodnota vs kvantil, účinky na rozdelenie, kvantilová regresia ako optimalizačný problém, kvantilový účinok liečby, príklady.
• Zovšeobecnené aditívne modely (GAM) – aditívne modely ako kompromis medzi parametrovým a neparametrickým modelom, backfitting algoritmus, alternujúce podmienené očakávania, kanonické korelácie, stabilizácia rozptylu, multivariačné adaptívne regresné splajny.
• Metóda náhodných lesov - klasifikačný a regresný strom, výhody/nevýhody, krížová validácia

Konzultačné hodiny

Podľa dohody. Ste srdečne vítaní (naozaj)!

Odporúčaná literatúra

Povinná

• Faraway, J. Extending the Linear Model with R: Generalized Linear, Mixed Effects and Nonparametric Regression Models, Chapman & Hall/CRC, 2006.
• Faraway, J. Linear Models with R, Chapman & Hall, 2005.

Doplnková

• Korn, Ralf, Elke Korn, a Gerald Kroisandt. Monte Carlo Methods and Models in Finance and Insurance, CRC Press, 2010.
• Frees, E. Regression Modeling with Actuarial and Financial Applications, CUP, 2009.
• Frees, E. Longitudinal and Panel Data: Analysis and Applications in Social Sciences, CUP, 2004.
• Agresti, Alan. Foundations of Linear and Generalized Linear Models, John Wiley & Sons, 2015.
• Cameron, A. Colin, a Pravin K. Trivedi. Microeconometrics: Methods and Applications, Cambridge University Press, 2005.
• Efron, Bradley, a Robert J. Tibshirani. An Introduction to the Bootstrap, CRC Press, 1994.
• Hansen, Bruce E. Lecture Notes on Nonparametrics, Lecture Notes, 2009.
• Koenker, Roger, a Kevin Hallock. Quantile Regression: An Introduction, Journal of Economic Perspectives, 15(4):43–56, 2001.

Hodnotenie

• 30 % – priebežné hodnotenie (domáce úlohy a priebežná skúška v 2/3 kurzu)
• 70 % – záverečná skúška