シラバス参照

講義概要/Course Information
2024/07/19 現在

科目基礎情報/General Information
授業科目名
/Course title (Japanese)		 データ圧縮基礎
英文授業科目名
/Course title (English)		 Fundamentals of Data Compression
科目番号
/Code
開講年度
/Academic year		 2024年度 開講年次
/Year offered		 全学年
開講学期
/Semester(s) offered		 前学期 開講コース・課程
/Faculty offering the course		 博士前期課程
授業の方法
/Teaching method		 講義 単位数
/Credits		 2
科目区分
/Category		 大学院専門教育科目 - 専門科目Ⅰ
開講類・専攻
/Cluster/Department		 情報・ネットワーク工学専攻
担当教員名
/Lecturer(s)		 八木　秀樹
居室
/Office		 西1-407
公開E-mail
/e-mail		 h.yagi@uec.ac.jp
授業関連Webページ
/Course website		 Webclass
更新日
/Last update		 2024/03/19 13:55:21 更新状況
/Update status		 公開中
/now open to public
講義情報/Course Description
主題および
達成目標（2,000文字以内）
/Themes and goals（up to 2,000 letters）		 情報通信では通信路の帯域を有効に利用するため情報源（データ）を符号化（圧縮）する必要がある。情報理論では情報源符号化の限界を符号化レートと達成される平均歪みのトレードオフとして表現する。この理論がレート歪み理論である。この理論は通信路符号化とあわせて情報理論の核をなし、マルチメディア技術の指導原理にもなっている。
講義の目標は、情報理論の基本的概念と無歪データ圧縮の復習から始めて、レート歪み理論を飛躍なく講義することである。
Source coding (or data compression) is a fundamental step in the digital communication, which aims to reduce the spectral bandwidth. Thus source coding theory plays a fundamental role in mathematical theory of communication, i.e. information theory. Fundamental limit of the source coding is given by the rate-distortion function. Achieving the function is sought in multi-media technologies. A first purpose of this lecture is to review basics of the information theory and to develop the rate-distortion theory with less jumps.
前もって履修
しておくべき科目（1,000文字以内）
/Prerequisites（up to 1,000 letters）		 学部における確率統計
probability and statistics (under-graduate course)
前もって履修しておくこ
とが望ましい科目（1,000文字以内）
/Recommended prerequisites and preparation（up to 1,000 letters）		 情報通信と符号化、情報理論
introduction to information theory (under-graduate course), information theory (under-graduate course)
教科書等（1,000文字以内）
/Course textbooks and materials（up to 1,000 letters）		 参考書：
reference book:
T. M. Cover and J. A. Thomas, "Elements of Information Theory," 2nd Ed.,
Weiley-Interscience, 2006.
授業内容と
その進め方（2,000文字以内）
/Course outline and weekly schedule（up to 2,000 letters）		 英語タイプ（Bc）により講義を実施
The lecture in this course, type (Bc), is mostly offered in Japanese;
Materials are in Japanese. It is given in English upon a student's request.

第１回： 本講義の概要（情報通信のモデルとデータ圧縮問題）
         Outline of the lecture (the model of digital communication and the problem of data compression)
第２回： 情報理論の基礎１（確率論、エントロピーの概念)
         Basics of information theory 1 (concept of entropy, probability theory)
第３回： 情報理論の基礎２（結合・条件付きエントロピー、ダイバージェンス、相互情報量）
         Basics of information theory 2 (joint/conditional entropy, KL-divergence, mutual information)
第４回：情報理論の基礎３（情報源と定常性、マルコフ連鎖とデータ処理不等式）
         Basics of information theory 3 (source and stationarity, Markov chain and the data processing inequality)
第５回：情報理論の基礎４（標準集合とＡＥＰ性）
         Basics of information theory 4 (typical set, AEP)
第６回：無歪データ圧縮の理論１（逆定理）
         Source coding theory 1 (converse part)
第７回：無歪データ圧縮の理論２（順定理）
         Source coding theory 2 (direct part)
第８回：無歪データ圧縮の理論３（相関のある情報源）
         Source coding theory 3 (sources with side information)
第９回：無歪データ圧縮の理論４（結合AEP, 条件付きAEP）
         Source coding theory 4 (joint AEP, conditional AEP)
第１０回：無歪データ圧縮の理論５（補助情報を利用したデータ圧縮）
         Source coding theory 5 (data compression with side information)
第１１回：レート歪理論１ （歪のあるデータ圧縮)
         Rate-distortion theory 1 (lossy data compression)
第１２回：レート歪理論２ (逆定理)
         Rate-distortion theory 2 (converse part)
第１３回：レート歪理論３ (順定理)
         Rate-distortion theory 3 (direct part)
第１４回：レート歪理論４ (レート歪関数、有本-Blahutアルゴリズム）
         Rate-distortion theory 4 (rate-distortion function, Arimoto-Blahut algorithm)
第１５回：授業の見直しと最終課題
         Review and final test
実務経験を活かした
授業内容
(実務経験内容も含む)
/Course content utilizing practical experience
授業時間外の学習
（予習・復習等）（1,000文字以内）
/Preparation and review outside class（up to 1,000 letters）		 授業や演習内容について理解を深めるために，毎回の授業内容をよく復習すること。
Review of each class is important.
成績評価方法
および評価基準
（最低達成基準を含む）
（1,000文字以内）
/Evaluation and grading
（up to 1,000 letters）		 各授業に対する課題と最終レポートの内容で習得具合を判定し，100点中60点以上を合格とする。
Evaluation is based on the assignments of each class and final report. The minimum score to pass is 60.
オフィスアワー：
授業相談（1,000文字以内）
/Office hours（up to 1,000 letters）		 特に設けない．面談の場合はメ―ルでアポを取ってください．　
Question by e-mail is welcome, but an appointment is necessary for meeting.
学生へのメッセージ（1,000文字以内）
/Message for students（up to 1,000 letters）		 データ圧縮は、（狭い意味での）デジタル通信、マルチメディア符号化、情報セキュリティ、機械学習などの基礎になる重要な技術です。関連するトピックに興味がある人はぜひ受講してください。
Data compression is tightly related to digital communication, multimedia coding, information security, machine learning, etc. Interested students are welcome to register this course.
その他
/Others		 特になし
None
キーワード
/Keywords		 情報理論、情報源符号化、データ圧縮、無歪情報源符号化、有歪み情報源符号化、レート歪み理論
information theory, source coding, data compression, lossless source coding, lossy source coding, rate-distortion theory