学習理論特論 (2026AS)

Note: This course will be given in Japanese for this semester.

概要

• 担当教員：包 含（bao.han [at] ism.ac.jp）
• 本講義の目標：凸解析を通じて機械学習理論について理解を深める
• Why? 凸解析は異なる数理に胚胎する共通構造を抽象化できる & 抽象的な高次元概念を理解するための有用なツール
• 前提とする知識：基礎的な線形代数と解析。例えば「連続性」「微分可能性」「凸性」「収束」等の定義に馴染みがあること。発展的な道具（例：下半連続性、凸共役等）に関しては講義中で扱う。
• 講義場所：今学期は遠方からの参加者が主なので Zoom にて予定（URL は受講者にメールで連絡）
• 成績：講義への出席（50%）+ 多少の課題（50%）
• 出席：下記のスケジュールで日程が合わない場合、スケジュール調整は応相談。あるいは学会等で欠席の場合は事前連絡すること（その場合は欠席扱いとしない）。
• 課題：期末までに理解を確認するための簡単な問題をアップロード予定。それほど難しい問題は出さないので、ぜひ適宜手を動かして計算してみてほしい。提出締切予定は2027年2月10日。提出方法は後日連絡する。
• 講義ノートは板書（オンラインの場合は iPad で）をベースとする。
• 講義中の質問を奨励する。質問すべきことを考えながら聞くと理解が促進されたり、何がわからないかが整理される。

スケジュール

火曜1限を基本とする。万が一変更になる場合は可及的速やかに日程調整連絡を行う。

参考文献

• R. Tyrell Rockafellar (1970). Convex Analysis. (Princeton Press): 古典。Part V "Differential Theory" の内容はしばしば参照する。
• Francis Bach (2024). Learning Theory from First Principles. (MIT Press): 現代版の学習理論の教科書。13章に判別適合的損失がまとまっている。
• Gabriel Peyré and Marco Cuturi (2019). Computational Optimal Transport. (Now Publishers): 最適輸送の教科書。2章〜4章に基礎的な定式化から正則化つき最適輸送までまとまっている。
• 福島 雅夫 (2001)『非線形最適化の基礎』（朝倉書店）: 言わずと知れた和書の名著。2章〜3章は通読すると良い。
• 金森 敬文（2015)『統計的学習理論』（講談社）: 和書で学習理論を概観するのに良い。2章に判別適合的損失がまとまっている。
• Bartlett, Jordan, and McAuliffe (2006). Convexity, Classification, and Risk Bounds. (JASA): 判別適合的損失の概念をもっとも広めた論文（註：初出論文ではない）。本講義では扱いきれないが、余剰誤差上界に現れる凸解析も美しい。
• Reid and Williamson (2010). Composite Binary Losses. (JMLR): Proper scoring rule を機械学習の観点から網羅的に議論した論文。Williamson は他にも長編大作を著しておりいずれも味わい深いが、この論文は相対的に短い（36ページ）ので手始めに読むのに良い。
• Blondel, Martins, and Niculae (2020). Learning with Fenchel-Young Losses. (JMLR): Fenchel-Young 損失の初出論文。本講義でできるだけその背後の思想を噛み砕いて説明する。