今年は博論審査に就職に引っ越しに社会人になったりと、非常に変化の多い一年だった。そもそも上京して大学生になってからというものの、大学院に進学したりといったステータスの変化はあったけれども、9年間東京の同じ大学で生活してきたので、それから比べると今年の変化は本当に大きかった。最初はどうなることやらと思っていたが、なんとか仕事も軌道に乗せられて年末を無事迎えることができたような気がする。

2022年の目標

忙しい一年になるだろうなと予想していたので、そんな中でも「① 主著論文を1本投稿する」「② 自分のこれまでの研究とは違う分野に踏み出すキッカケを作る」「③ ジム通いを再開する」3つをささやかながら目標にしようと決めていた。

① まず、主著論文に関しては、昨年末に知り合いに誘われて理研CBSでディスカッションしていたときに「正則化付き最適輸送のカーネル関数を置き換えて解をスパース化する」アイデアを思いついて、無事9月に投稿、11月に採択された。

Bao, H. & Sakaue, S. Sparse Regularized Optimal Transport with Deformed q-Entropy. Entropy, 24(11):1634, 2022.

元々はカーネル関数がスパースになれば行列スケーリングも高速化されるんじゃないかと期待してq-指数関数で定式化したのだけれども、考察しているとどうもそもそも正則化付き最適輸送で行列スケーリングに帰着される正則化はShannonエントロピーをはじめとした非常に限られた数個の正則化にのみ限られることがわかった。q-積は大学院生のときに研究室の先輩が使っているのを見ていて面白そうだとぼんやり思っていたのだが、いざ使ってみると分配則が成り立たなかったり積の吸収元が存在しなかったりと、代数的には結構嬉しくないことがわかった（それ自体も面白いが）。そういうわけで、当初想定していたほど革新的な結果とはならなかったし、本当であれば春休みには仕上げてしまおうと目論んでいたのでだいぶ計算が狂ってしまったが、スパース性と計算量にトレードオフがあることが実証できたり、上述のq-積の性質に関する学びがあったりと、それなりに収穫は大きかった。何よりも、就職1年目のバタつくであろう時期でもちゃんと論文まで持っていけたことは嬉しい。もっともこればかりは自分の現職が相当に自由な研究活動をサポートしていることのおかげではあろう。

② 大学院の間は機械学習の研究に専念してきたが、機械学習よりももう少し幅広く数理統計や統計力学、力学系、ゲーム理論あたりまで研究の裾野をあわよくば広げたいという気持ちがあったので、今年はできればそういう研究に取り掛かるとは言わないでも何かしらのキッカケが作りたいと思っていた。そのためstrategic learningの勉強会を何回かやってみたり、知り合いと力学系っぽいアイデアを持ち合ってディスカッションしてみたりしたが、残念ながら今のところ決定的な一歩は踏み出せずにいるのが現状。来年はもう少し本腰を入れられればよいのだが、機械学習の研究でまだまだ面白いネタが山積しているので、どうにかうまく時間を作る必要がありそう。

③ ジム通いは思い切って再開した。今のところは二条駅のゴールドジムに週2で通っていて、4月から通い始めてざっと50回くらいは行ったはず。真面目にトレーニングすると結構時間がかかるのが嫌で、今のところは基本的には朝起きて仕事に行くまでの間にさっとマシントレーニングするサイクルにしている。そろそろこのサイクルに慣れてきたので、少しずつウェイトトレーニングも入れていきたいところ。

博論審査

博論執筆と審査の打ち合わせ自体はほとんど昨年末に終わらせていたので、年始の審査を控えるのみだった。先人のブログなどを読み漁ると博論執筆を乗り切るのがいかに大変だったか、その過程でいかに多くの収穫を得たか、といったことが書き連ねられていることが多いが、自分の場合は割とそっけなく終わってしまったという感覚が強かったので、それほど触れられることがない。博士号取得自体はあくまでマイルストーンくらいの感覚で捉えていたので、良くも悪くも博論に全力投球する気持ちにはなれなかったのもありそうだ。とはいえ、三が日から既に審査でそわそわしていて休むに休む気持ちではなかったので、審査が終わってすっきりしたことも事実である。

就職

就職に伴って、実に上京した9年前振りに県境をまたぐ引っ越しをして、2月末に京都に引っ越した。現職の就活の経緯については過去にまとめた。元々研究に専念できるポストであると知ってはいたが、いざ着任してみると本当に研究のための時間が確保されていて、このご時世にこのようなポストを維持し続けようと尽力してくださった方々には頭が上がらない。

仕事では今のところ、基本的なサイクルとして週2回所属研究室のセミナーに参加して、2週に1回センター側のイベントに参加している。それ以外の時間はほとんど自分の裁量。とはいえ、僕は色々なことに首を突っ込んでしまう性質があってか、なかなかに忙しくてスケジュール的にはギリギリの1年を過ごした。思い返すと、主に忙しかったのは7月上旬の40人規模の研究会の運営と、11月のSanjeev Aroraの来日ライブの運営、某教科書の翻訳プロジェクト、そしてコンスタントに存在する査読業務（これは仕方ない）あたりな気がする。査読は正確には覚えていないけれど30本くらい読んだだろうか。できたらもう少し研究に時間をあてたいところだが、そのためには研究会運営などに慣れて効率化を図るしかないかなと思う。

研究

今年出版したのは会議論文が3本、ジャーナル2本、本が1冊。それぞれに対して簡単なコメント。

Bao, H.*, Shimada, T.*, Xu, L., Sato, I., & Sugiyama, M. Pairwise Supervision Can Provably Elicit a Decision Boundary (AISTATS2022)

2点の類似度を予測する問題を解くと、その結果から分類境界も自然に得られるという内容。やや内容がシンプルすぎたためか、NeurIPS2020、ICML2021、NeurIPS2021と落ちて4度目で採択。個人的には「問題Aの出力を用いて問題Bを解けるか」という帰着関係を示したという点で十分な面白さがあると思っている。

Bao, H.*, Nagano, Y.*, & Nozawa, N.* On the Surrogate Gap between Contrastive and Supervised Losses (ICML2022)

「Contrastive loss ≥ classification loss」の既存バウンドの係数はnegative sample数に対して指数オーダーだったのを定数オーダーまで改善して、contrastive loss boundが実際に緩くないことを示した。ICLR2021の査読で高評価だったのだけれども事故で落ちてしまい、さらに同時期に類似の結果が出ていたので、正直ICML2022で通らなかったら今後はかなり厳しいかと思っていてかなり冷や汗をかいていたが、無事に採択。

Sugiyama, M., Bao, H., Ishida, T., Lu, N., Sakai, T., & Niu, G. Machine Learning from Weak Supervision: An Empirical Risk Minimization Approach, MIT Press, Cambridge, MA, USA, 2022.

本の執筆に携わるのは初めてで、修士のときに僕がやっていたSU learningの研究が関連する章を執筆した。自分の書いた原稿がハードカバーで送られて手元に届いたときにようやくじんわりと本を執筆した実感が湧いた。共著者が仕事のできる人たちだったので、僕自身はあまり執筆に苦労しなかった。

Yamada, M., Takezawa, Y., Sato, R., Bao, H., Kozareva, Z., & Ravi, S. Approximating 1-Wasserstein Distance with Trees (TMLR)

現職で初めて出た論文。オフィスで雑談していた内容で、木上の距離で1-Wasserstein距離を近似する際にLASSOを使って木の辺の重みを学習して近似性能を上げようという話。定式化がキレイなのが良い。あわせてTMLRの査読のクオリティも総じて高かった。

Bao, H. & Sakaue, S. Sparse Regularized Optimal Transport with Deformed q-Entropy (Entropy)

最初にも述べた、今年書いた新しい主著論文。出版されたのは11月なのに、既に統計物理や情報幾何の人たちに面白がってもらえたので嬉しい。

旅行・出張

過去2年は行動制限があってなかなか遠出の機会に恵まれなかったが、今年は少しずつそういう機会が戻ってきた。自宅から泊まりで出かけたのをカウントすると、年間で遠出したのは主に以下の遠り。

• （旅行）2月: 知床
• （旅行）3月: 東京（卒業式）
• （出張）6月: 名古屋
• （出張）7月: 東京
• （出張）8月: 東京
• （旅行）8月: 横浜
• （出張）9月: 福岡
• （旅行）10月: 山陰
• （旅行）11月: 東京（友達の結婚式）
• （出張）11月: 筑波
• （出張）12月: インド

なんといっても初めて行った道東オホーツク、インドは自分にとって強烈な体験を残した。今年は例年どこかしら行っていた温泉旅行は一度も行かなかったので、来年はどこか行ってゆったりしたい気持ちもある。

読書

今年は40冊読むと息巻いていたが、結局今のところ32冊に留まってしまった。11月、12月は出張の類が多くて、なかなか本を読む余裕がなかったので、冊数が伸び悩んだ。その一方で、今年も良い本に数多く出会うことができた。敢えて一冊挙げよ、と言われたら、河合隼雄『宗教と科学の接点』（岩波現代文庫）だろう。現代自然科学が持つときに極端に唯物的なものの見方、自己の確立と自然からの疎外、そうした違和感を乗り越えるための宗教的な知恵を、河合の専門とするユング心理学の観点から余すとこなく伝えてくれる良い一冊だった。