授業ノート・
ビデオのある講義

 
現在位置: ホーム シラバス集(2017年度) 情報学研究科 知能情報学専攻(専攻専門科目) 3165000 Pattern Recognition, Adv.

3165000 Pattern Recognition, Adv.

シラバスID g_inf_4701
開講年度・開講期 前期
授業形態 講義
対象学生 Graduate
使用言語 英語
曜時限 水2
教員
  • 河原 達也(情報学研究科)
  • 川嶋 宏彰(情報学研究科)
  • 吉井 和佳(情報学研究科)
  • LIANG,Xuefeng(情報学研究科)
授業の概要・目的 The course introduces fundamentals of pattern recognition, clustering methods with several distance measures, and feature extraction methods. It gives a review of state-of-the-art classifiers such as Gaussian Mixture Models (GMM), Hidden Markov Models (HMM) and Neural Networks (NN) and also the learning theory which includes Maximum Likelihood Estimation (MLE), Bayesian learning and Deep learning. It also focuses on modeling and recognition of sequential patterns.

本講義では、パターン認識の基礎、距離尺度とクラスタリング、特徴抽出などについて概説する。その上で、より高度な識別器(GMM、HMM、DNNなど)と学習規範 (最尤推定、ベイズ学習、深層学習など)について紹介する。時系列パターンのモデル化・認識についてもとりあげる。
到達目標 To learn the basic methodology and a variety of techniques of pattern recognition and apply them to the own research topics.

パターン認識に関する基本的な方法論と様々な技術を修得するとともに、自らの研究課題等に対して応用できる能力を身につける。
授業計画と内容 Following topics will be addressed with two or three weeks for each.

1. Clustering
Clustering is a method that automatically groups unlabeled data. Standard clustering techniques, such as the k-means method, are explained along with commonly-used distance measures.

2. Statistical Feature Extraction
Standard techniques of statistical feature extraction, such as PCA (Principal Component Analysis) and subspace methods are reviewed.

3. Modeling and Recognition of Sequential Patterns
First, state-space methods for sequential pattern modeling such as Kalman Filter and Particle Filter are reviewed. Then, two standard classification methods of DP (Dynamic Programming) matching and HMM (Hidden Markov Models) are explained.

5. Maximum Likelihood Estimation and Bayesian Learning
Standard Maximum Likelihood Estimation (MLE) based on the EM (Expectation-Maximization) algorithm for training GMM (Gaussian Mixture Models) and HMM is explained. Then, Bayesian learning including variational Bayes and Gibbs sampling is introduced.

6. Discriminative Model and Deep Learning
Discriminative models for pattern recognition, including DNN (Deep Neural Network), SVM (Support Vector Machines), Logistic Regression model are explained. A variety of applications of deep learning are also reviewed.

以下のトピックについて、各々2~3週で講義を行う。

1.クラスタリング
ラベルがないデータをまとめて自動的に分類するためのクラスタリングに関して、k-平均法などの典型的な手法や、その際に用いられる距離尺度を紹介する。

2.統計的特徴抽出
文字認識や画像認識などで用いられる統計的特徴抽出について、主成分分析や部分空間法などの代表的手法を紹介する。

3.時系列パターンのモデル化と認識
まず、時系列パターンの状態空間モデルであるカルマンフィルタやパーティクルフィルタについて紹介する。次に、音声やジェスチャなどの時系列パターンを認識するための代表的な手法であるDPマッチング、HMMについて解説する。

4.最尤推定とベイズ学習
混合正規分布モデル(GMM)やHMMなどを学習する際の基盤である最尤推定とEMアルゴリズムについて解説する。その上で、変分ベイズやギブスサンプリングなどのベイズ学習についても紹介する。

6.識別モデルと深層学習
より識別指向の機械学習・パターン認識手法であるDNN(ディープニューラルネットワーク)、SVM(サポートベクトルマシン)、ロジスティック回帰モデルなどについて解説する。その上で、深層学習の種々の展開について紹介する。
成績評価の方法・観点及び達成度 Grading will be determined by submitted reports; the questions will be given by individual lecturers during the course.
講義中に提示するレポート課題により行う。
履修要件 特になし
授業外学習(予習・復習)等 Lecture materials will be provided via PandA CMS.
講義資料はPandA CMSで配布する。
参考書等
  • Pattern Classification (パターン識別), Duda, Hart, Stork, (John Wiley & Sons, 2001),
  • Pattern Recognition and Machine Learning (パターン認識と機械学習), C.M. Bishop, (Springer-Verlag, 2006),
  • The Elements of Statistical Learning (統計的学習の基礎), Hastie, Tibshirani, Friedman, (Springer, 2009),
  • Deep Learning, Ian Goodfellow, Yoshua Bengio, and Aaron Courville., (MIT Press, 2016),
  • 続・わかりやすいパターン認識, 石井, 上田, (オーム社, 2014),