シラバス参照

講義概要/Course Information

2025/04/12 現在

科目基礎情報/General Information

授業科目名 /Course title (Japanese)	データ圧縮基礎
英文授業科目名 /Course title (English)	Fundamentals of Data Compression
科目番号 /Code
開講年度 /Academic year	2021年度	開講年次 /Year offered	全学年
開講学期 /Semester(s) offered	前学期	開講コース・課程 /Faculty offering the course	博士前期課程
授業の方法 /Teaching method	講義	単位数 /Credits	2
科目区分 /Category	大学院専門教育科目 - 専門科目Ⅰ
開講類・専攻 /Cluster/Department	情報・ネットワーク工学専攻
担当教員名 /Lecturer(s)	○川端　勉
居室 /Office	西1-416
公開E-mail /e-mail	kawabata@uec.ac.jp
授業関連Webページ /Course website	http://www.ict.cei.uec.ac.jp/kawabata/index.html
更新日 /Last update	2021/04/12 06:31:27	更新状況 /Update status	公開中 /now open to public

講義情報/Course Description

主題および 達成目標（2,000文字以内） /Themes and goals（up to 2,000 letters）	通信では通信路の帯域を有効に利用するため情報源（データ）を符号化（圧縮） する必要がある。情報理論では情報源符号化の限界を符号化レートと達成される 平均歪みのトレードオフとして表現する。この理論がレート歪み理論である。 この理論は通信路符号化とあわせて情報理論の核をなし、マルチメディア技術の 指導原理にもなっている。 講義の第一の目標は、情報理論の基本的概念の復習から始めて、レート歪み理論 を飛躍なく講義する事である。もう一つの目標は、それを核にして、以下のような 応用ならびに展開の話題について、選択的に講義する事である。 Source coding (or data compression) is a fundamental step in the digital communication, which aims to reduce the spectral bandwidth. Thus the source coding theory takes a  fundamental role in mathematical theory of communication, i.e. the information theory. Fundamental limit of the source coding is given by the rate-distortion function. Achieving the function is sought in multi-media technologies. A first purpose of this lecture is to review basics of the information theory and to develop the rate-distortion theory with less jumps. The second purpose is to develop selectively into the following topics. １） レート歪み理論の実現理論であるベクトル量子化についての理論面の動向 Trends in vector quantization, i.e. a fixed rate realization theory of the rate-distortion function ２） 歪みを許容しない無歪ユニバーサル圧縮 Lossless universal compressions ３） 特異情報源に対するレート歪み理論 Rate-distortion theory for the source with singular probability distribution ４） 圧縮センシングの理論 Theory of compressed sensing ５） その他     Others
前もって履修 しておくべき科目（1,000文字以内） /Prerequisites（up to 1,000 letters）	学部における確率統計 probability and statistics(under-graduate course)
前もって履修しておくこ とが望ましい科目（1,000文字以内） /Recommended prerequisites and preparation（up to 1,000 letters）	情報通信と符号化、情報理論 introduction to information theory(under-graduate course), information theory(under-graduate course)
教科書等（1,000文字以内） /Course textbooks and materials（up to 1,000 letters）	参考書： reference book: T. M. Cover and J. A. Thomas, "Elements of Information Theory," 2nd Ed., Weiley-Interscience, 2006.
授業内容と その進め方（2,000文字以内） /Course outline and weekly schedule（up to 2,000 letters）	第１回： 本講義の概要（情報通信のモデルとレート歪問題）          Outline of the lecture(the model of digital communication and the rate-distortion problem) 第２回： 情報理論の基礎１（エントロピーの概念，確率論)          Basics of information theory 1( the concept of entropy, a probability theory) 第３回： 情報理論の基礎２（エントロピー、ダイバージェンス、相互情報量、条件付情報量）     Basics of information theory 2( the entropy, the KL-divergence, the mutual information, the conditional mutual information) 第４回：情報理論の基礎３（情報源と定常性、マルコフ連鎖とデータ処理不等式、定常情報源とエントロピー、情報源符号化定理） 　　　　　Basics of information theory 3 ( source and stationarity, markov chain and the data processing inequality, stationary source and the entropy, the source coding theorem) 第５回：情報理論の基礎４（ＡＥＰ性、同時ＡＥＰ性）          Basics of information theory 4 (the AEP, the joint AEP) 第６回：レート歪理論１（逆定理）         Rate-distortion theory 1 (the converse part) 第７回：レート歪理論２（順定理）         Rate-distortion theory 2 (the direct part) 第８回：レート歪理論３（離散無記憶情報源のレート歪関数、有本-Brahutアルゴリズム）         Rate-distortion theory 3 (rate-distortion functions for discrete memoryless sources, Arimoto-Blahut algorithm) 第９回：レート歪理論４（連続情報源と微分エントロピー）         Rate-distortion theory 4 (continuous alphabet source and the differential entropy) 第１０回：レート歪理論５（定常ガウス情報源のレート歪関数）         Rate-distortion theory 5 (rate-distortion function for the stationary Gaussian source) 上記の内容を１２回かけて話します。 最後の２回は自己相似測度のレート歪関数という話題です。 第１３回：レート歪理論に関するトピック１           Topics in rate-distortion theory or vector quantization 1 第１４回：レート歪理論に関するトピック２           Topics in rate-distortion theory or vector quantization 2 定期試験 routine test
実務経験を活かした 授業内容 (実務経験内容も含む) /Course content utilizing practical experience
授業時間外の学習 （予習・復習等）（1,000文字以内） /Preparation and review outside class（up to 1,000 letters）	論理的に理解することが大事であり、復習を重視します。 It is important to understand logically, thus to review the lecture.
成績評価方法 および評価基準 （最低達成基準を含む） （1,000文字以内） /Evaluation and grading （up to 1,000 letters）	試験により評価する Evaluation by the test
オフィスアワー： 授業相談（1,000文字以内） /Office hours（up to 1,000 letters）	特に設けないが、メイルでの質問に応じる。面談には予約のもとに応じる。　 Question by e-mail is welcome, but appointment is necessary for interview.
学生へのメッセージ（1,000文字以内） /Message for students（up to 1,000 letters）	データ圧縮は、（狭い意味での）デジタル通信、マルチメディア、情報セキュリティ、機械学習、等の基礎になる重要な科目です。ぜひ受講を勧めます。
その他 /Others
キーワード /Keywords	情報理論、情報源符号化、データ圧縮、無歪情報源符号化、有歪み情報源符号化、レート歪み理論 information theory, source coding, data compression, lossless source coding, lossy source coding, rate-distortion theory