シラバス参照
|
シラバス参照
|
| 講義概要/Course Information |
| 科目基礎情報/General Information |
| 授業科目名 /Course title (Japanese) |
情報理論 | ||
|---|---|---|---|
| 英文授業科目名 /Course title (English) |
Information Theory | ||
| 科目番号 /Code |
ELE503f ELE503g | ||
| 開講年度 /Academic year |
2020年度 | 開講年次 /Year offered |
3 |
| 開講学期 /Semester(s) offered |
前学期 | 開講コース・課程 /Faculty offering the course |
情報理工学域 |
| 授業の方法 /Teaching method |
講義 | 単位数 /Credits |
2 |
| 科目区分 /Category |
専門科目 | ||
| 開講学科・専攻 /Cluster/Department |
Ⅱ類 | ||
| 担当教員名 /Lecturer(s) |
川端・八木 | ||
| 居室 /Office |
西1-416 | ||
| 公開E-Mail |
kawabata@uec.ac.jp | ||
| 授業関連Webページ /Course website |
http://www.ict.cei.uec.ac.jp/kawabata/index.html | ||
| 更新日 /Last updated |
2020/03/05 13:54:15 | 更新状況 /Update status |
公開中 /now open to public |
| 講義情報/Course Description |
| 主題および 達成目標 /Topic and goals |
情報通信システムを設計するための指導原理であるShannon理論を講義する |
|---|---|
| 前もって履修 しておくべき科目 /Prerequisites |
確率統計 |
| 前もって履修しておくこ とが望ましい科目 /Recommended prerequisites and preparation |
離散数学、基礎情報通信もしくは情報通信と符号化 |
| 教科書等 /Course textbooks and materials |
とくに指定しない。参考書として、それぞれ特徴があるが、 アブラムソン「情報理論入門」宮川洋訳 好学社 今井秀樹「情報理論」昭晃堂 甘利俊一「情報理論」ダイヤモンド社（絶版、図書館で参考） 有本卓「確率・情報・エントロピー」森北出版 堀部安一「情報エントロピー論」森北出版 橋本猛「情報理論」培風館 小林欣吾・森田啓義「情報理論講義」培風館 |
| 授業内容と その進め方 /Course outline and weekly schedule |
授業の概要 情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる。 授業計画 第１回：情報通信のモデル、情報源符号化定理入門、通信路符号化定理入門 第２回：情報理論の基礎事項１ （実験・結果・事象、確率空間） 第３回：情報理論の基礎事項２ （確率変数と確率分布、確率変数の期待値） 第４回：情報量１（エントロピー、ダイバージェンス、同時確率分布と同時エントロピー） 第５回：情報量２（条件付確率分布と条件付エントロピー、相互情報量、条件付相互情報量、 情報量とＶｅｎｎ図、マルコフ連鎖と情報量） 第６回：木と符号１（可変長符号化と一意復号可能性、クラフトの不等式、語頭符号） 第７回：木と符号２（メッセージ情報源に対する情報源符号化定理、ハフマン符号） 第８回：情報源とエントロピー（情報源、定常情報源、定常情報源のエントロピーレート） 第９回：情報源とエントロピー（時不変マルコフ連鎖とエントロピーレート） 第１０回：標準系列（チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列） 第１１回：通信路符号化１（通信路符号化定理、最尤復号） 第１２回：通信路符号化２（通信路符号化順定理の証明） 第１３回：通信路符号化３（通信路符号化逆定理の証明） 第１４回：通信路容量１（離散無記憶通信路：ＢＳＣ，ＢＥＣ，二元非対称通信路） 第１５回：通信路容量２（微分エントロピー、離散時間加法的ガウス雑音通信路、帯域制限白色ガウス通信路） 定期試験 第１回から第９回までの内容は川端が，第１０回から第１５回の内容は八木が担当します。 |
| 実務経験を活かした 授業内容 (実務経験内容も含む) /Course content utilizing practical experience |
|
| 授業時間外の学習 （予習・復習等） /Preparation and review outside class |
復習をすることが重要。 |
| 成績評価方法 および評価基準 （最低達成基準を含む） /Evaluation and grading |
出席、レポート、期末試験の結果による。 おおむね次のような基準と考えている。 S 理論的応用問題が解ける A 理論的な理解ができており、宿題のレベルの問題が解ける B 基本的な知識を身につけており、手続き的な問題ができる C 記憶にたよる問題だけができる。 D 記憶にたよる問題もできない。 |
| オフィスアワー： 授業相談 /Office hours |
火曜日５限、 授業相談は随時可能、ただし事前に電子メイルなどで約束をとること。 |
| 学生へのメッセージ /Message for students |
“情報”というものが物理量と同様に量として取り扱えるものであり、情報通信機器の 設計に欠かすことのできない中心的概念であることを理解して貰います。確率論は必須 であり、この授業の内容はかなりハードです。しかし、情報理論の真髄を、 単に意味と してではなく、論理的にも理解できた皆さんの前には新しい世界が開けるでしょう。 是非頑張ってついてきて下さい。 |
| その他 /Others |
|
| キーワード /Keyword(s) |
情報源符号化, 通信路符号化, エントロピー, 相互情報量, 通信路容量 |