情報理論(情報理論1)のシラバス情報

科目名称
Course title(Japanese)
情報理論 科目番号
Course number
14ISICN301
科目名称(英語)
Course title(English)
Introduction to Information Theory
授業名称
Class name
情報理論(情報理論1)
教員名 柳田 昌宏
Instructor
開講年度学期 2022年度 前期
Year/Semester
曜日時限 火曜1限
Class hours
開講学科
Department
理学部第一部 応用数学科
外国語のみの科目
(使用言語)
Course in only foreign
languages (languages)
-
単位
Course credit
2.0 授業の主な実施形態
Main class format
対面授業/On-site class
概要
Descriptions
情報理論の基礎を学ぶ。
目的
Objectives
情報理論の導入部から情報源符号化定理までを理解する。情報数理に関して「3つの学問領域を基盤とする最先端の多様な専門教育」(カリキュラム・ポリシーより)を行い、「3つの学問領域を体系的かつ統合的に理解できる能力」(ディプロマ・ポリシーより)を身に付ける。
到達目標
Outcomes
最適符号の平均符号語長について説明できる。情報源符号化定理について説明できる。ハフマン符号について説明できる。
履修上の注意
Course notes prerequisites
アクティブ・ラーニング科目
Teaching type(Active Learning)
課題に対する作文
Essay
- 小テストの実施
Quiz type test
ディベート・ディスカッション
Debate/Discussion
- グループワーク
Group work
-
プレゼンテーション
Presentation
- 反転授業
Flipped classroom
その他(自由記述)
Other(Describe)
-
準備学習・復習
Preparation and review
前回の授業範囲を教科書・ノート等を用いて復習することにより、理解が不十分な箇所が無いようにする(2時間程度)。次回の授業範囲を教科書を用いて予習することにより、必要な予備知識に不足が無いようにする(2時間程度)。
成績評価方法
Performance grading
policy
毎回の課題により評価する。
学修成果の評価
Evaluation of academic
achievement
・S:到達目標を十分に達成し、極めて優秀な成果を収めている
・A:到達目標を十分に達成している
・B:到達目標を達成している
・C:到達目標を最低限達成している
・D:到達目標を達成していない
・-:学修成果の評価を判断する要件を欠格している

・S:Achieved outcomes, excellent result
・A:Achieved outcomes, good result
・B:Achieved outcomes
・C:Minimally achieved outcomes
・D:Did not achieve outcomes
・-:Failed to meet even the minimal requirements for evaluation
教科書
Textbooks/Readings
・教科書を使用する場合は、MyKiTS(教科書販売サイト)から検索・購入可能ですので以下のURLにアクセスしてください。
https://gomykits.kinokuniya.co.jp/tokyorika/
 
・Search and purchase the necessary textbooks from MyKiTS (textbook sales site) with the link below.
https://gomykits.kinokuniya.co.jp/tokyorika/
参考書・その他資料
Reference and other materials
T.M.コバー・J.A.トーマス 「情報理論 -基礎と広がり-」共立出版
G.A.ジョーンズ・J.M.ジョーンズ「情報理論と符号理論」丸善出版
授業計画
Class plan
1. 導入
本講義で扱う内容の概要を理解する。

2. エントロピー
エントロピーの意味とその非負性について理解する。

3. エントロピーの凸性
多変数関数の凸性について理解する。
エントロピーの凸性と最大値について理解する。

4. Jensenの不等式と対数和の不等式
Jensenの不等式と対数和の不等式について理解する。

5. ダイバージェンス
ダイバージェンスの意味とその非負性、凸性について理解する。
エントロピーとの関係について理解する。

6. 同時エントロピーと条件付きエントロピー
同時エントロピーと条件付きエントロピーの意味について理解する。
エントロピーのチェイン則について理解する。

7. 相互情報量
相互情報量の意味について理解する。
同時エントロピー、条件付きエントロピーとの関係について理解する。

8. ブロック符号
ブロック符号とその分類について理解する。

9.一意分節可能符号
一意分節可能性について理解する。

10. 語頭符号
語頭符号とその木表現について理解する。

11. Kraftの不等式
Kraftの不等式について理解する。
与えられた符号語長をもつような語頭符号の構成法について理解する。

12. 最適符号
最適符号の平均符号語長の上界について理解する。
情報源符号化定理を導出できるようになる。

13. Huffman符号
Huffman符号の構成法と最適性について理解する。

14. 算術符号(1)
Shannon–Fano–Elias符号について理解する。

15. 算術符号(2)
算術符号について理解する。
教職課程
Teacher-training course
本科目は、教育職員免許状取得(教科:情報)に必要な教科に関する科目の「情報通信ネットワーク(実習含む)」区分に該当します。
ただし、教科に関する科目区分については、入学年度により異なるため、各自、入学年度または適用となる年度の学修簿により確認をしてください。 
実務経験
Practical experience
-
教育用ソフトウェア
Educational software
-
備考
Remarks
9914614
CLOSE