松山 隆司（教授）
喜多 一（教授）

人間の知的活動のモデルとして様々な知能型システムが提案されている．この講義では，複雑な問題における最適解を求めるための手法として，状態空間の探索による問題解決，対戦ゲームソフトウェアの構成法および分枝限定法を講述するとともに，例題からの学習を行うニューラルネットワークの教師あり学習，教師なし学習，強化学習について基本的事項と応用例を講述する．

第8回 例題からの学習の３つの様式 (教師有り学習，教師無し学習，強化学習) について基本的な考え方を紹介する。
第9回 試行錯誤を通じて報酬を最大化する行動を自律的に獲得する強化学習問題について述べるともに、強化学習における遅延報酬の問題を定式化する基礎となるマルコフ決定問題と動的計画法による接近法、とくにValue Iteration 法について解説する。
第10回 強化学習の代表的手法であるとともにマルコフ決定問題に対する動的計画法の学習版と位置づけられるQ-学習法について解説する。
第11回 教師有り学習により入出力関係を学習する応用に用いられるニューラルネットワークである多層パーセプトロン (MLP) について、その構成と動作を解説し、入出力関係の実現において多層性と非線形性が重要な役割を果たすことを論じる。
第12回 多層パーセプトロン (MLP) の教師あり学習を最適化問題として定式化し、これを勾配法で解くことを説明するとともに、MLPの構造を用いて勾配を計算する誤差逆伝搬学習を解説する。
第13回 与えられたデータと予め規定されたデータ間の類似性からデータの分類を獲得する教師なし学習の代表的手法である自己組織化マップについて、その構成と動作を解説するとともに簡単な応用例を示す。

状態空間の探索による問題解決 (3回)
多くの知的活動は，オペレータによってシステムの状態を変化させ，目的とする状態にたどり着くプロセスとしてモデル化できる．ここでは，８パズルなど簡単な例を使って，状態空間の表現法と各種の状態空間探索アルゴリズムを紹介する．

対戦ゲーム (2回)
２人で行う対戦ゲームでは，よりよい手を選ぶために先読みが必要となる．ここでは，対戦ゲームの進行状況をゲームの木によって表現し，よりよい手を選ぶための探索アルゴリズムを紹介する．

分枝限定法 (2回)
分枝限定法は，各種の制約条件の下で評価関数を最適化する解を効率的に探索するための（メタ）アルゴリズムである．ここでは，具体的な例を基にしてその基本的考え方を説明する．

AND-OR木の探索 (2回)
問題を幾つかの部分問題に分割し，部分問題間の論理的関係をAND-OR木として表す方法およびAND-OR木で表された状態空間の探索アルゴリズムを講述する．

ニューラルネットワークの教師あり学習 (3回)
例題から入出力関係を学習するシステムとしてニューラルネットワークの代表的構成法である多層パーセプトロンとその学習法である誤差逆伝播学習法について，その基礎となる最小自乗法，勾配法による非線形最適化などを含めて講義する．

ニューラルネットワークの教師なし学習 (1回)
入力データを内部の規範に基づき自動分類する教師なし学習について，その基本的な考え方と代表的な方式である自己組織化マップについて，構成法，学習法，応用を紹介する．

動的計画法と強化学習 (2回)
報酬や罰に基づき行動を獲得する手法である強化学習について，とくに多段階の行動の獲得のための学習アルゴリズムであるQ-学習法を中心に，システム最適化の重要な技法である動的計画法との関連を含めて講義する．

[予備知識]
計算機ソフトウェアおよびシステム最適化の知識を必要とする．

教科書
西川，北村 : ニューラルネットワークと計測制御, 朝倉書店, 1995

上坂，尾関 : パターン認識と学習のアルゴリズム, 文一総合出版, 1990

Simon Haykin : Neural Networks, Macmillan Pub. Co., 1994

喜多 : ニューラルネットワーク, 共立出版, 2001

杉原他編 : アルゴリズム工学, 共立出版, 2001

R. Sutton, A. Barto (三上，皆川訳）: 強化学習, 森北出版, 2000