シラバス参照
|
シラバス参照
|
| 講義概要/Course Information |
| 科目基礎情報/General Information |
| 授業科目名 /Course title (Japanese) |
情報理論 | ||
|---|---|---|---|
| 英文授業科目名 /Course title (English) |
Information Theory | ||
| 科目番号 /Code |
ELE503g ELE503h | ||
| 開講年度 /Academic year |
2024年度 | 開講年次 /Year offered |
3 |
| 開講学期 /Semester(s) offered |
前学期 | 開講コース・課程 /Faculty offering the course |
情報理工学域 |
| 授業の方法 /Teaching method |
講義 | 単位数 /Credits |
2 |
| 科目区分 /Category |
専門科目 | ||
| 開講類・専攻 /Cluster/Department |
Ⅱ類 | ||
| 担当教員名 /Lecturer(s) |
八木 秀樹 | ||
| 居室 /Office |
西1-407 | ||
| 公開E-mail |
h.yagi@uec.ac.jp | ||
| 授業関連Webページ /Course website |
Webclass | ||
| 更新日 /Last update |
2024/03/19 13:55:03 | 更新状況 /Update status |
公開中 /now open to public |
| 講義情報/Course Description |
| 主題および 達成目標（2,000文字以内） /Themes and goals（up to 2,000 letters） |
情報通信システムを設計するための指導原理であるシャノン理論について講義する。授業の前半ではデータ圧縮を目的とした情報源符号化に関する理論，後半では通信中に起こる誤りの影響に対処する通信路符号化に関する理論について学ぶ。 講義の中の演習や課題を解くことにより、デジタル通信システムにおける符号化に関する理解を深める。 |
|---|---|
| 前もって履修 しておくべき科目（1,000文字以内） /Prerequisites（up to 1,000 letters） |
確率統計 |
| 前もって履修しておくこ とが望ましい科目（1,000文字以内） /Recommended prerequisites and preparation（up to 1,000 letters） |
離散数学、基礎情報通信もしくは情報通信と符号化 |
| 教科書等（1,000文字以内） /Course textbooks and materials（up to 1,000 letters） |
とくに指定しない。以下では参考書をいくつか紹介する。 アブラムソン「情報理論入門」宮川洋訳 好学社 今井秀樹「情報理論」昭晃堂 甘利俊一「情報理論」ダイヤモンド社（絶版、図書館で参考） 有本卓「確率・情報・エントロピー」森北出版 堀部安一「情報エントロピー論」森北出版 橋本猛「情報理論」培風館 小林欣吾・森田啓義「情報理論講義」培風館 |
| 授業内容と その進め方（2,000文字以内） /Course outline and weekly schedule（up to 2,000 letters） |
授業の概要 情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる。 授業計画 第１回：情報通信のモデル 第２回：情報理論の基礎事項１ （実験・結果・事象、確率空間、確率分布） 第３回：情報理論の基礎事項２ （確率変数の期待値） 第４回：情報量１（エントロピー、、結合エントロピー、条件付きエントロピー） 第５回：情報量２（ダイバージェンス、相互情報量） 第６回：木と符号１（可変長符号化と一意復号可能性、クラフトの不等式、語頭符号） 第７回：木と符号２（ハフマン符号） 第８回：情報源符号化定理 第９回：通信路と通信路符号化 第１０回：標準系列（チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列） 第１１回：通信路符号化１（符号化定理の概要） 第１２回：通信路符号化２（符号化逆定理の証明） 第１３回：通信路符号化３（通信路符号化逆定理の証明） 第１４回：通信路容量１（離散無記憶通信路：ＢＳＣ，ＢＥＣ） 第１５回：通信路容量２（二元非対称通信路、微分エントロピー、加法的ガウス雑音通信路） 定期試験 |
| 実務経験を活かした 授業内容 (実務経験内容も含む) /Course content utilizing practical experience |
|
| 授業時間外の学習 （予習・復習等）（1,000文字以内） /Preparation and review outside class（up to 1,000 letters） |
・授業や演習内容について理解を深めるために，毎回の授業内容をよく復習すること． ・各授業項目について事前に予習し，不明瞭な部分を事前に把握しておくこと． |
| 成績評価方法 および評価基準 （最低達成基準を含む） （1,000文字以内） /Evaluation and grading （up to 1,000 letters） |
最低達成目標は以下の項目を理解することとする． （１）情報量（エントロピー，相互情報量，ダイバージェンス） （２）語頭符号とハフマン符号 （３）情報源符号化定理 （４）通信路符号化定理 （５）対称通信路の通信路容量 成績評価は課題50%，期末試験 50%の計100点中60点以上で合格とする．出席回数が全体の授業の2/3に満たない場合は，期末試験の受験資格が与えられないことに注意してください． |
| オフィスアワー： 授業相談（1,000文字以内） /Office hours（up to 1,000 letters） |
授業相談は随時可能、ただし事前にEメールでアポイントをとること。 |
| 学生へのメッセージ（1,000文字以内） /Message for students（up to 1,000 letters） |
「情報」というものが物理量と同様に量として取り扱えるものであり、情報通信機器の設計に欠かすことのできない中心的概念であることを伝えます．確率論の知識は必須であり、この授業の内容はかなりハードですが、情報理論の真髄を単に意味としてではなく、論理的にも理解できると新しい世界が開けると思います。 是非頑張ってついてきて下さい。 |
| その他 /Others |
特になし |
| キーワード /Keywords |
情報源符号化, 通信路符号化, エントロピー, 相互情報量, 通信路容量 |