京都大学 京都大学

Statistical Systems Theory

Numbering Code G-LAS12 80009 LJ54 Year/Term 2022 ・ First semester
Number of Credits 2 Course Type Lecture
Target Year Graduate students Target Student For science students
Language Japanese Day/Period Wed.1
Instructor name Shimodaira, Hidetoshi (Graduate School of Informatics Professor)
HONDA JUNYA (Graduate School of Informatics Associate Professor)
Outline and Purpose of the Course 確率モデルを通してデータから推測，予測，決定を行うための統計的手法や，その数理的側面を解説する．特に，前半では情報量規準によるモデル選択やリサンプリング法について，後半ではバンディットアルゴリズムによる動的意思決定法について扱う．
Course Goals ・新たな応用問題に統計科学の手法を適用できるようになる．
・新たな統計科学の手法を発展させる基礎力を身につける．
Schedule and Contents 第１回：線形回帰モデル，最小２乗法，確率モデルと最尤法，尤度原理，モデルの包含関係（担当：下平）
第２回：尤度比検定，赤池情報量規準AIC，エントロピー，カルバック・ライブラ情報量（担当：下平）
第３回：幾何的なイメージ，最適パラメータと射影，KL情報量の展開，ピタゴラスの定理，MLEと射影，一致性（担当：下平）
第４回：最尤推定量の漸近正規性，フィッシャー情報行列，予測分布，損失，リスクの導出（担当：下平）
第５回：情報量規準TICの導出，AICの導出（担当：下平）
第６回：クロスバリデーション，ベイズ情報量規準（担当：下平）
第７回：AICのばらつき，ブートストラップ，モデル選択の検定，多重比較，モデル選択のシミュレーションとブートストラップ確率，マルチスケール・ブートストラップ（担当：下平）
第８回：離散分布の大偏差原理，タイプの理論，条件付き極限定理（担当：本多）
第９回：連続分布の大偏差原理，Cramerの定理（担当：本多）
第１０回：Sanovの定理，KL情報量の解釈（担当：本多）
第１１回：指数型分布族，共役事前分布，事後分布の導出（担当：本多）
第１２回：バンディット問題，UCBアルゴリズムとトンプソンサンプリング，リグレットの下界と上界（担当：本多）
第１３回：線形バンディット問題，ロジスティックモデル，ラプラス近似（担当：本多）
第１４回：バンディット問題の応用，最適腕識別，ガウス過程，ベイズ最適化（担当：本多）
第１５回：ディスカッション（担当：下平，本多）
定期試験は実施しない
Evaluation Methods and Policy 講義で説明する基本的な概念についての理解をレポートにもとづいて評価する．
Course Requirements None
Study outside of Class (preparation and review) 講義で学ぶだけでなく，実際のデータ解析を試みること．
下平の担当部分について2020年度講義の動画と資料をpandaで参照すること．
Textbooks Textbooks/References 資料配布等する．
References, etc. モデル選択 予測・検定・推定の交差点 (統計科学のフロンティア 3), 下平英寿, (岩波書店), ISBN:4000068431, 本講義準拠．
統計学への確率論、その先へ―ゼロからの測度論的理解と漸近理論への架け橋, 清水 泰隆, (内田老鶴圃), ISBN:4753601250, やや高度．統計的漸近理論で必要となるオーダー表記なども説明されている．
統計モデルと推測 (データサイエンス入門シリーズ), 松井 秀俊，小泉 和之, (講談社), ISBN:4065178029, 基本事項のまとめ，確認によい．
情報量規準 (シリーズ・予測と発見の科学) , 小西・北川, (朝倉書店), ISBN:4254127820, 良い本 だが，本講義とは導出のながれと記号がことなるので，レポート作成時などは注意が必要．
赤池情報量規準AIC―モデリング・予測・知識発見, 赤池・甘利・北川・樺島・下平, (共立出版), ISBN:4320121902, 考え方の参考になるかも．
バンディット問題の理論とアルゴリズム, 本多淳也, 中村篤祥, (講談社サイエンティフィク), ISBN:9784061529175
PAGE TOP