シラバス参照

講義概要/Course Information
2020/04/28 現在

科目基礎情報/General Information
授業科目名
/Course title (Japanese)
情報理論
英文授業科目名
/Course title (English)
Information Theory
科目番号
/Code
ELE503f ELE503g
開講年度
/Academic year
2020年度 開講年次
/Year offered
3
開講学期
/Semester(s) offered
前学期 開講コース・課程
/Faculty offering the course
情報理工学域
授業の方法
/Teaching method
講義 単位数
/Credits
2
科目区分
/Category
専門科目
開講学科・専攻
/Cluster/Department
Ⅱ類
担当教員名
/Lecturer(s)
大濱 靖匡
居室
/Office
西1-405
公開E-Mail
/e-mail
oohama@uec.ac.jp
授業関連Webページ
/Course website
http://www.uec.ac.jp/research/information/opal-ring/0006000.html
更新日
/Last updated
2020/03/18 15:22:03 更新状況
/Update status
公開中
/now open to public
講義情報/Course Description
主題および
達成目標
/Topic and goals
1948年にシャノンは情報通信システムを設計するための指導原理を与える研究分野を構築しました。この分野は今日情報理論とよばれています。本講義では、シャノンが築いた情報理論の枠組
と本質について講義します。 
前もって履修
しておくべき科目
/Prerequisites
離散数学、確率統計
前もって履修しておくこ
とが望ましい科目
/Recommended prerequisites and preparation
情報通信基礎あるいは情報通信と符号化
教科書等
/Course textbooks and materials
とくに指定しない。参考書として、それぞれ特徴があるが、
 アブラムソン「情報理論入門」宮川洋訳 好学社
 今井秀樹「情報理論」昭晃堂
 甘利俊一「情報理論」ダイヤモンド社(絶版、図書館で参考)
 有本卓「確率・情報・エントロピー」森北出版
 堀部安一「情報エントロピー論」森北出版
 橋本猛「情報理論」培風館
 小林欣吾・森田啓義「情報理論講義」培風館
授業内容と
その進め方
/Course outline and weekly schedule
授業の概要
 情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる。

授業計画
第1回:情報通信のモデル、情報源符号化定理入門、通信路符号化定理入門 
第2回:情報理論の基礎事項1 (実験・結果・事象、確率空間)
第3回:情報理論の基礎事項2 (確率変数と確率分布、確率変数の期待値)
第4回:情報量1(エントロピー、ダイバージェンス、同時確率分布と同時エントロピー)
第5回:情報量2(条件付確率分布と条件付エントロピー、相互情報量、条件付相互情報量、
  情報量とVenn図、マルコフ連鎖と情報量)
第6回:木と符号1(可変長符号化と一意復号可能性、クラフトの不等式、語頭符号)
第7回:木と符号2(メッセージ情報源に対する情報源符号化定理、ハフマン符号)
第8回:情報源とエントロピー(情報源、定常情報源、定常情報源のエントロピーレート)
第9回:情報源とエントロピー(時不変マルコフ連鎖とエントロピーレート)
第10回:標準系列(チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列)
第11回:通信路符号化1(通信路符号化定理、最尤復号)
第12回:通信路符号化2(通信路符号化順定理の証明)
第13回:通信路符号化3(通信路符号化逆定理の証明)
第14回:通信路容量1(離散無記憶通信路:BSC,BEC,二元非対称通信路)
第15回:通信路容量2(微分エントロピー、離散時間加法的ガウス雑音通信路、帯域制限白色ガウス通信路)
定期試験
実務経験を活かした
授業内容
(実務経験内容も含む)
/Course content utilizing practical experience
授業時間外の学習
(予習・復習等)
/Preparation and review outside class
復習をすることが重要です。
成績評価方法
および評価基準
(最低達成基準を含む)
/Evaluation and grading
出席、レポート、期末試験の結果により評価します。
オフィスアワー:
授業相談
/Office hours
火曜日5限、
授業相談は随時可能、ただし事前に電子メイルなどで約束をとることをお願いします。
学生へのメッセージ
/Message for students
“情報”というものが物理量と同様に量として取り扱えるものであり、情報通信機器の
設計に欠かすことのできない中心的概念であることを理解することが目標です。確率
論は必須です。情報理論は、通信の理論限界が、数学の言葉を使って明確に表現でき
るという独特の美しさを有しています。情報理論の真髄が理解できたとき、皆さんの
目前には新しい世界が開けるでしょう!このような魅力あふれる学問について一緒に
勉強していきましょう!  
その他
/Others
 
キーワード
/Keyword(s)
情報源符号化, 通信路符号化, エントロピー, 相互情報量, 通信路容量