シラバス参照

講義概要/Course Information

2024/07/19 現在

科目基礎情報/General Information

授業科目名 /Course title (Japanese)	統計的機械学習特論
英文授業科目名 /Course title (English)	Advanced Statistical Machine Learning
科目番号 /Code
開講年度 /Academic year	2024年度	開講年次 /Year offered	全学年
開講学期 /Semester(s) offered	後学期	開講コース・課程 /Faculty offering the course	博士前期課程、博士後期課程
授業の方法 /Teaching method	講義	単位数 /Credits	2
科目区分 /Category	大学院専門教育科目 - 専門科目Ⅱ
開講類・専攻 /Cluster/Department	情報・ネットワーク工学専攻
担当教員名 /Lecturer(s)	西山　悠、宇都　雅輝
居室 /Office	西10号館207室（西山），西10号館206室（宇都）
公開E-mail /e-mail	yu.nishiyama@ai.lab.uec.ac.jp（西山）， uto@ai.lab.uec.ac.jp（宇都）
授業関連Webページ /Course website	Google Classroom. クラスコードは内部シラバスの「遠隔授業に関する情報」に記載しています．
更新日 /Last update	2024/03/07 12:08:27	更新状況 /Update status	公開中 /now open to public

講義情報/Course Description

主題および 達成目標（2,000文字以内） /Themes and goals（up to 2,000 letters）	膨大な量のデータが蓄積され続けている今日において、データ解析技術の需要は高まる一方である。本講義では、データ解析方法の一手段である統計的学習について学ぶ。とくに、統計的学習を数理的に理解することを目標とし、統計的モデル構築の考え方およびその推定法の基本的概念を身につける。 Data analysis has received much attention in recent years, because various fields of data have been collected and stored. In this course, several methods on statistical machine learning are introduced. In particular, the aim of this course is to be able to construct statistical models given data and to understand statistical thinking.
前もって履修 しておくべき科目（1,000文字以内） /Prerequisites（up to 1,000 letters）	確率・統計、線形代数学、微分積分学に関する科目 Probability and Statistics, Linear algebra, Calculus
前もって履修しておくこ とが望ましい科目（1,000文字以内） /Recommended prerequisites and preparation（up to 1,000 letters）	最適化に関する科目 Optimization
教科書等（1,000文字以内） /Course textbooks and materials（up to 1,000 letters）	資料を配付する。 Lecture materials will be distributed. 第8-15回は次の教科書を使用します． Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, ''An Introduction to Statistical Learning with Applications in R”, Second Edition, 2021. https://www.statlearning.com (PDFを無料でダウンロード可能) 参考書として以下を挙げておく。 Reference books are given as follows. ・小西貞則 著『多変量解析入門』（岩波書店） ・佐和隆光 著『回帰分析』（朝倉書店） ・鈴木武・山田作太郎 共著『数理統計学ー基礎から学ぶデータ解析』（裳華房） ・古澄英男 著『ベイズ計算統計学』（朝倉書店） ・鎌谷研吾 著『モンテカルロ統計計算』（講談社） ・Hastie, T., Tibshirani, R., Friedman, J. (2009) The Elements of Statistical Learning. Springer. (The PDF is available at https://web.stanford.edu/~hastie/ElemStatLearn/printings/ESLII_print12_toc.pdf) ・Konishi, S. (2014) Introduction to Multivariate Analysis: Linear and Nonlinear Modeling. CRC Press. ・Bishop, C. M. (2006) Pattern Recognition and Machine Learning. Springer. (The PDF is available at https://www.microsoft.com/en-us/research/uploads/prod/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf) ・Schölkopf, B., Smola, A. J. (2002). Learning with kernels: support vector machines, regularization, optimization, and beyond. MIT Press. ・Shawe-Taylor, J., Cristianini, N. (2004). Kernel Methods for Pattern Analysis. Cambridge University Press.
授業内容と その進め方（2,000文字以内） /Course outline and weekly schedule（up to 2,000 letters）	英語タイプⅠI（Cb）により講義を実施 This course will be held by the English type II (Cb). (a) 授業内容（Contents） 統計的学習は、教師あり学習と教師なし学習に分類されるが、本講義では教師あり学習について学ぶ。具体的には以下の内容を扱う。 Statistical learning is classified into supervised learning and unsupervised learning. In this course, we introduce supervised learning. The contents are listed as follows. 第1-7回担当: 宇都 1. 単回帰モデル、最小２乗法 2. 重回帰モデル、最尤法 3. 正則化法 4. ベイズ統計（事前分布、事後分布） 5. ベイズ統計（最大事後確率推定、EAP推定） 6. マルコフ連鎖モンテカルロ法（マルコフ連鎖、詳細釣り合い条件） 7. マルコフ連鎖モンテカルロ法（メトロポリス・ヘイスティングス法、ギブスサンプリング法） 第8-15回担当: 西山 教科書の内容を基本的に解説する． 8. 後半ガイダンス, Introduction (データセットの紹介，数学の記法) 9. 分類器, 訓練誤差率, テスト誤差率, ベイズ分類器, K-近傍法 10. ロジスティック回帰, 多重ロジスティック回帰, 多項ロジスティック回帰 11. 線形判別分析, 混同行列, ROC 曲線, AUC 12. 2次判別分析, ナイーブベイズ, カーネル密度推定 13. カウントデータ, ポアソン回帰，負の二項回帰，ガンマ-ポアソン混合分布 14. 最大マージン超平面, 最大マージン分類器, サポートベクタ分類器 15. サポートベクタマシン, 特徴空間, 多項式カーネル, RBFカーネル, 多クラスSVM (The first half is lectured by Masaki Uto) Week 1: Simple regression model, least squares method, Week 2: Multiple regression model, maximum likelihood method Week 3: Regularization Week 4: Bayesian statistics (Prior distribution, Posterior distribution) Week 5: Bayesian statistics (Maximum a posteriori, Expected a posteriori) Week 6: Markov chain Monte Carlo (Markov chain, Detailed balance) Week 7: Markov chain Monte Carlo (Metropolis-Hastings, Gibbs sampling) (The latter half is lectured by Yu Nishiyama) Week 8: Guidance, Introduction (dataset, notation) Week 9: Classifier, training error rate, test error rate, Bayes classifier, K-nearest neighbor. Week 10: Logistic regression, multiple logistic regression, multinomial logistic regression. Week 11: Linear discriminant analysis, confusion matrix, ROC curve, AUC. Week 12: Quadratic discriminant analysis, naive Bayes, kernel density estimation. Week 13: Count data, Poisson regression，negative binomial regression, gamma-Poisson distribution. Week 14: Maximal margin hyperplane, maximal margin classifier, support vector classifier. Week 15: Support vector machine, feature space, polynomial kernel, RBF kernel, multi-class SVM. (b) 授業の進め方（Procedure of lecture） 講義資料は Google Classroom を通して配付する。 Lecture materials will be distributed via Google Classroom.
実務経験を活かした 授業内容 (実務経験内容も含む) /Course content utilizing practical experience
授業時間外の学習 （予習・復習等）（1,000文字以内） /Preparation and review outside class（up to 1,000 letters）	(a) 予習（preparation） 講義資料は遅くても講義日前日までに Google Classroom を通して配付する。講義資料を事前にダウンロードし、各自予習を行って欲しい。 Lecture materials will be distributed via Google Classroom by the day before the lecture at the latest. Download the lecture materials in advance and do your own preparation. (b) 復習（review） 配付した資料をよく復習して欲しい。また、参考書を挙げているので、興味のある内容については適宜学習して欲しい。 Review the handouts carefully. In addition, read some reference books at your interest.
成績評価方法 および評価基準 （最低達成基準を含む） （1,000文字以内） /Evaluation and grading （up to 1,000 letters）	(a) 成績評価方法（evaluation） 2回のレポートにより評価する。 ・前半レポート (第1-7回分) (50%) ・後半レポート (第8-15回分) (50%) Evaluation will be based on the two reports. ・ reports for the first half (weeks 1-7) ・ reports for the latter half (weeks 8-15) (b) 評価基準（grading） 以下の到達をもって合格の最低基準とする。 ● 第1-7回分について 1. 回帰モデルに対して、最小二乗推定量や最尤推定量を計算でき、その簡単な性質を説明できる。 2. 回帰モデルに対して、正則化法やベイズ統計に基づく推定量の計算、およびその推定アルゴリズムを説明できる。 ● 第8-15回分について 1. 講義で取り上げた統計的学習に関する様々な専門用語を数式を使うなどして説明できる． 2. 講義で取り上げた分類器 (ベイズ分類器, ロジスティック回帰, 線形判別分析, 2次判別分析, ナイーブベイズ, K-近傍法) の目的，原理，類似点，違い等を数式を使うなどして説明できる． 3. Rプログラム等を使い，自分の興味あるデータセットに上記の分類器を適用でき，学習，予測，比較を行える．出力結果がなぜそうなったかを説明できる． The following achievement shall be the minimum standard for passing the course. (the first half: weeks 1-7) 1. For regression models, least square estimates and regularized maximum likelihood estimates can be computed, and their properties can be explained. 2. For regression models, parameter estimates based on regularization methods and the Bayesian approach can be computed, and their estimation algorithms can be explained. (the latter half: weeks 8-15) 1. You can explain various technical terms related to statistical learning discussed in the lecture, for example, using mathematics. 2. You can explain the purpose, principles, similarities, and differences of the classifiers discussed in the lecture (Bayes classifier, logistic regression, linear discriminant analysis, quadratic discriminant analysis, Naive Bayes, and K-Nearest Neighbor method), for example, using mathematics. 3. You can apply the above classifiers to datasets of interest using R programs, etc., and can train, predict, and compare the results. Explain why the output results are the way they are.
オフィスアワー： 授業相談（1,000文字以内） /Office hours（up to 1,000 letters）	適宜メールで相談に応じる。 Contact by e-mail.
学生へのメッセージ（1,000文字以内） /Message for students（up to 1,000 letters）	ビッグデータの出現によって、データ解析技術が大きな注目を集めています。本講義を通して、モデリング技術を身に付け、自由にモデリングできるようになってください。 With the advent of big data, data analysis has received much attention. In this class, study statistical modeling to analyze big data.
その他 /Others	上記の内容は予定を含みます．内容が変更される場合，Google Classroomで都度アナウンスします． The above information is tentative. Any changes will be announced on Google Classroom.
キーワード /Keywords	統計モデル、機械学習、ベイズ統計、多変量解析、教師あり学習、分類器 Statistical model, Machine learning, Bayesian statistics, Multivariate analysis, Supervised learning, Classifier.