情報符号理論続論(数理)

科目ナンバリング U-ENG29 39142 LJ55
U-ENG29 39142 LJ72
U-ENG29 39142 LJ10
開講年度・開講期 2022 ・ 後期
単位数 2 単位 授業形態 講義
配当学年 対象学生
使用言語 日本語 曜時限 火3
教員 小渕 智之 (情報学研究科 准教授)
本多 淳也 (情報学研究科 准教授)
授業の概要・目的 情報の蓄積および伝達に関わる基礎理論である情報理論について講義する.科目「情報符号理論」の内容を踏まえ,本講義では連続値確率変数のエントロピー,ガウス通信路,レート歪み理論,ユニバーサル符号化などの事項を取り上げる.また,ネットワーク情報理論などのより進んだ話題についても紹介する.
到達目標 講義で扱う情報理論の諸概念について,講義中に紹介する例題やレポート課題として設定する問題等に対して適切に解答できる程度の理解を達成することを目指す.
授業計画と内容 導入(1回)
情報エントロピー,相互情報量,情報源符号化,通信路符号化などの基礎概念を確認する.

連続値確率変数に対する情報理論(3回)
無線通信や計測などの場面を想定すると,連続値をとる確率変数に対する理論が必要である.連続値確率変数に対する微分エントロピーを導入し,具体的な例としてガウス通信路を取り上げ,その情報伝送能力について議論する.

レート歪み理論(4回)
情報の劣化をある程度許容すると,劣化を許容しない場合と比較してより効率的にデータ圧縮が可能である.劣化を許容した場合の情報圧縮に関する理論であるレート歪み理論について講述する.

学習到達度の中途確認(1回)
これまでの講義の内容について,レポートなどを通じて学習到達度の中途確認を行うとともに,質疑や問題解説を通じてフィードバックを行う.

情報理論と統計(4回)
タイプの理論を導入し,ユニバーサル情報圧縮,大偏差理論,仮説検定などへの応用について講述する.

ネットワーク情報理論(1回)
情報通信技術の発展の普及により,一対一の情報のやりとりを超えて,ネットワークを介した多対多の情報のやりとりを議論する必要性が高まっている.そのような状況を議論するネットワーク情報理論の基礎について講述する.

学習到達度の確認(1回)
これまでの講義の内容についての学習到達度の確認,講義に関わる疑問点の解決,さらなる学習への助言などを行う.
成績評価の方法・観点 学期中に適宜指示するレポートおよび期末試験の両方の成績にもとづいて評価する.
履修要件 基礎的な確率論の知識,および科目「情報符号理論」の内容に関する知識を前提とする.統計学やマルコフ連鎖の知識があれば望ましい.
授業外学習(予習・復習)等 科目「情報符号理論」の内容に関する知識を前提とするため,授業に先立って適宜復習しておくことが望ましい.各回の講義に際して,教科書の該当部分に目を通しておくとよい.講義内容の復習には,教科書の章末問題が活用できる.
教科書 Elements of Information Theory, 2nd ed., T. M. Cover and J. A. Thomas, (Wiley-Interscience), ISBN:9780471241959, 学内から電子ブックにアクセスできる.また,日本語訳が共立出版から出版されている.
参考書等 講義の中で適宜紹介する.
PAGE TOP