シラバス参照
|
シラバス参照
|
| 講義概要/Course Information |
| 科目基礎情報/General Information |
| 授業科目名 /Course title (Japanese) |
情報理論 | ||
|---|---|---|---|
| 英文授業科目名 /Course title (English) |
Information Theory | ||
| 科目番号 /Code |
ELE503f ELE503g | ||
| 開講年度 /Academic year |
2020年度 | 開講年次 /Year offered |
3 |
| 開講学期 /Semester(s) offered |
前学期 | 開講コース・課程 /Faculty offering the course |
情報理工学域 |
| 授業の方法 /Teaching method |
講義 | 単位数 /Credits |
2 |
| 科目区分 /Category |
専門科目 | ||
| 開講学科・専攻 /Cluster/Department |
Ⅱ類 | ||
| 担当教員名 /Lecturer(s) |
大濱 靖匡 | ||
| 居室 /Office |
西1-405 | ||
| 公開E-Mail |
oohama@uec.ac.jp | ||
| 授業関連Webページ /Course website |
http://www.uec.ac.jp/research/information/opal-ring/0006000.html | ||
| 更新日 /Last updated |
2020/03/18 15:22:03 | 更新状況 /Update status |
公開中 /now open to public |
| 講義情報/Course Description |
| 主題および 達成目標 /Topic and goals |
1948年にシャノンは情報通信システムを設計するための指導原理を与える研究分野を構築しました。この分野は今日情報理論とよばれています。本講義では、シャノンが築いた情報理論の枠組 と本質について講義します。 |
|---|---|
| 前もって履修 しておくべき科目 /Prerequisites |
離散数学、確率統計 |
| 前もって履修しておくこ とが望ましい科目 /Recommended prerequisites and preparation |
情報通信基礎あるいは情報通信と符号化 |
| 教科書等 /Course textbooks and materials |
とくに指定しない。参考書として、それぞれ特徴があるが、 アブラムソン「情報理論入門」宮川洋訳 好学社 今井秀樹「情報理論」昭晃堂 甘利俊一「情報理論」ダイヤモンド社（絶版、図書館で参考） 有本卓「確率・情報・エントロピー」森北出版 堀部安一「情報エントロピー論」森北出版 橋本猛「情報理論」培風館 小林欣吾・森田啓義「情報理論講義」培風館 |
| 授業内容と その進め方 /Course outline and weekly schedule |
授業の概要 情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる。 授業計画 第１回：情報通信のモデル、情報源符号化定理入門、通信路符号化定理入門 第２回：情報理論の基礎事項１ （実験・結果・事象、確率空間） 第３回：情報理論の基礎事項２ （確率変数と確率分布、確率変数の期待値） 第４回：情報量１（エントロピー、ダイバージェンス、同時確率分布と同時エントロピー） 第５回：情報量２（条件付確率分布と条件付エントロピー、相互情報量、条件付相互情報量、 情報量とＶｅｎｎ図、マルコフ連鎖と情報量） 第６回：木と符号１（可変長符号化と一意復号可能性、クラフトの不等式、語頭符号） 第７回：木と符号２（メッセージ情報源に対する情報源符号化定理、ハフマン符号） 第８回：情報源とエントロピー（情報源、定常情報源、定常情報源のエントロピーレート） 第９回：情報源とエントロピー（時不変マルコフ連鎖とエントロピーレート） 第１０回：標準系列（チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列） 第１１回：通信路符号化１（通信路符号化定理、最尤復号） 第１２回：通信路符号化２（通信路符号化順定理の証明） 第１３回：通信路符号化３（通信路符号化逆定理の証明） 第１４回：通信路容量１（離散無記憶通信路：ＢＳＣ，ＢＥＣ，二元非対称通信路） 第１５回：通信路容量２（微分エントロピー、離散時間加法的ガウス雑音通信路、帯域制限白色ガウス通信路） 定期試験 |
| 実務経験を活かした 授業内容 (実務経験内容も含む) /Course content utilizing practical experience |
|
| 授業時間外の学習 （予習・復習等） /Preparation and review outside class |
復習をすることが重要です。 |
| 成績評価方法 および評価基準 （最低達成基準を含む） /Evaluation and grading |
出席、レポート、期末試験の結果により評価します。 |
| オフィスアワー： 授業相談 /Office hours |
火曜日５限、 授業相談は随時可能、ただし事前に電子メイルなどで約束をとることをお願いします。 |
| 学生へのメッセージ /Message for students |
“情報”というものが物理量と同様に量として取り扱えるものであり、情報通信機器の 設計に欠かすことのできない中心的概念であることを理解することが目標です。確率 論は必須です。情報理論は、通信の理論限界が、数学の言葉を使って明確に表現でき るという独特の美しさを有しています。情報理論の真髄が理解できたとき、皆さんの 目前には新しい世界が開けるでしょう！このような魅力あふれる学問について一緒に 勉強していきましょう！ |
| その他 /Others |
|
| キーワード /Keyword(s) |
情報源符号化, 通信路符号化, エントロピー, 相互情報量, 通信路容量 |