授業ノート・
ビデオのある講義

 

Pattern Recognition, Adv.

シラバスID g_inf_3777
開講年度・開講期 前期
授業形態 講義
対象学生 Graduate
使用言語 英語
曜時限 水2
教員
  • 河原 達也(情報学研究科)
  • 松山 隆司(情報学研究科)
  • 川嶋 宏彰(情報学研究科)
  • LIANG,Xuefeng(情報学研究科)
授業の概要・目的 We first explain fundamentals of pattern recognition, clustering methods with several distance measures, and feature extraction methods. We then introduce advanced classifiers such as HMM and DNN and also related topics of machine learning theory, which includes MLE, MDL and Bayesian learning. We also focus on modeling and recognition of sequential patterns.

まず、パターン認識系に関する基礎、距離尺度とクラスタリング、特徴抽出などについて概説する。その上で、より高度な識別器(HMM, DNNなど)と学習規範 (最尤推定、MDL基準、ベイズ学習など)について紹介する。 特に、時系列パターンのモデル化・認識についてとりあげる。
到達目標 To learn the basic methodology and a variety of techniques of pattern
recognition and apply them to the own research topics.

パターン認識に関する基本的な方法論と様々な技術を修得するとともに、自ら
の研究課題等に対して応用できる能力を身につける。
授業計画と内容 Following topics will be addressed with two or three weeks for each.

1. Computational Schemes of Pattern Recognition
Definitions of “signal,” “symbol,” and “pattern,” which are often used in an intuitive way, are defined from the viewpoint of computation. Then, several fundamental schemes of computation for pattern recognition are introduced with examples.

2. Clustering
Clustering is a method that automatically groups unlabeled data. Standard clustering techniques, such as the k-means method, are explained along with commonly-used distance measures.

3. Statistical Feature Extraction
Standard techniques of statistical feature extraction, such as PCA (Principal Component Analysis) and subspace methods are reviewed.

4. Modeling and Recognition of Sequential Patterns
First, state-space methods for sequential pattern modeling such as Kalman Filter and Particle Filter are reviewed. Then, two standard classification methods of DP (Dynamic Programming) matching and HMM (Hidden Markov Models) are explained.

5. Maximum Likelihood Estimation and Bayesian Learning
For training GMM (Gaussian Mixture Models) and HMM, Maximum Likelihood Estimation (MLE) based on the EM (Expectation-Maximization) algorithm is introduced. Other training criteria, including MDL (Minimum Description Length), MAP estimation and Bayesian learning, are also reviewed.

6. Discriminative Model
Discriminative models for pattern recognition, including DNN (Deep Neural Network), SVM (Support Vector Machines), Logistic Regression model, and CRF (Conditional Random Fields), are reviewed.

以下のトピックについて、各々2~3週で講義を行う。

1.情報科学的認識論
情報科学の立場から、「信号」、「記号」、「パターン」の定義を行い、パターン認識機能を実現するための計算機構について講述する。

2.クラスタリング
ラベルがないデータをまとめて自動的に分類するためのクラスタリングに関して、k-平均法などの典型的な手法や、その際に用いられる距離尺度を紹介する。

3.統計的特徴抽出
文字認識や画像認識などで用いられる統計的特徴抽出について、主成分分析や部分空間法などの代表的手法を紹介する。

4.時系列パターンのモデル化と認識
まず、時系列パターンの状態空間モデルであるカルマンフィルタやパーティクルフィルタについて紹介する。次に、音声やジェスチャなどの時系列パターンを認識するための代表的な手法であるDPマッチング、HMMについて解説する。

5.最尤推定とベイズ学習
混合正規分布モデル(GMM)やHMMなどを学習する際の基盤である最尤推定とEMアルゴリズムについて解説する。また最尤推定以外の学習規範(MDL・MAP・ベイズ学習など)についても紹介する。

6.識別モデル・トピックモデル
より識別指向の機械学習・パターン認識手法であるDNN(ディープニューラルネットワーク)、SVM(サポートベクトルマシン)、ロジスティック回帰モデル、CRF(条件付き確率場)などについて紹介する。
成績評価の方法・観点及び達成度 Grading will be determined by submitted reports; the questions will be given by individual lecturers during the course.
講義中に提示するレポート課題により行う。
履修要件 特になし
授業外学習(予習・復習)等 Lecture materials will be provided via PandA CMS.
講義資料はPandA CMSで配布する。
参考書等
  • Pattern Classification (パターン識別), Duda, Hart, Stork, (John Wiley & Sons, 2001),
  • Pattern Recognition and Machine Learning (パターン認識と機械学習), C.M. Bishop, (Springer-Verlag, 2006),
  • The Elements of Statistical Learning (統計的学習の基礎), Hastie, Tibshirani, Friedman, (Springer, 2009),
  • 続・わかりやすいパターン認識, 石井, 上田, (オーム社, 2014),
  • 情報の組織化, 岩波講座マルチメディア情報学 Vol. 2(2000), 長尾, 松山, 杉本, 佐藤, 麻生, (岩波書店),