Han Bao

Random thoughts in Japanese. All optinions are my own.

2024/10/31 (Thu.)

• 10月も終わってしまう。もはや論文の締切を過ぎたところで忙しさのピークを迎えることもない生活になってきたが、思い返すと限られた時間の中ではよくやってきた記憶が蘇る。イタリアから帰ってきて ICLR と AISTATS に全力投球し、その後は新しい研究アイデアの芽に水を注ぎながら、査読も4本こなした。学生の研究にも自分のできる限りの範囲内ギリギリで真摯に取り組んだと思う。そういう意味では大変だけれども研究生活としては充実しているような気がする。

2024/10/30 (Wed.)

• シニアな人たちが言っていた「自分の認知が細切れになる」という言葉の意味をますます実感している。査読をやっていたと思ったら共著者の原稿を確認し、予定調整に返事をしながら書類仕事をする。雀の涙ほどの時間が捻出できたらようやく自分の研究に取り掛かるが、前回までの内容を思い起こしている間に時間切れ。もっと必要最低限まで仕事を減らすべきだろうか。
• そんな感じで今日もしっかり頭脳労働してカロリーを燃焼した。すでに頭は回っていないが楽器の練習へ向かう。限界ギリギリの生活。

2024/10/29 (Tue.)

• Ali と Sebastian とミーティングをした。Sebastian とは夏の ICML で何度か会って雑談していたものの、研究のスタイルもどうやら僕とは結構違うようだ（堅実派だと思っていた）ということが伝わってきていたので、ちゃらんぽらんに研究アイデアを妄想する僕と馬が合うのかどうか、ミーティング前にはすごく緊張していた。オンラインのミーティングなのでどこまで「仲良く」なれたのかは定かではないけれども、neural collapse 現象については耳に新しいのもおそらくあったのだろう、全体的には議論を楽しんでくれていたような気がする。少しホッとした。
• ただ、依然として学生に研究のアイデアを共有するとき、このアイデアがうまくいかなかったらその学生の人生をときには左右してしまうかもしれないと思うと、別種の緊張が走る。自分自身が研究をするのとは違う。やはり他人の人生を左右するのだという責任が芽生える。それは僕が他人の人生を制御するのだとかそういうことではなくて、好むと好まざるにかかわらず、おのずから影響力を行使してしまうことに対する畏れがある。だからこそ、自分自身で研究するよりもなおのこと先鋭に思考しなければならないという緊張がある。

2024/10/28 (Mon.)

• Large stepsize 論文の枠組みを拡張するために、手始めに一応数値シミュレーションをしておこうと思ってまずは再現実験をしてみたら、自分でスクラッチで実装したにもかかわらず、細かいパラメータの調整に苦労することも全くなくあまりにも綺麗に論文の図が再現されて、思わず声を上げそうになった。もっと多少は再現に苦労すると思っていたが、僅かに30分ほどで再現できた。
• 昨日のバンド練の後どうしても録音を聞きたくなくて、一晩経って今日おそるおそる聞いたら、自分のソロは思っていたのとは違ったけどやっぱり酷かった。タイムがまるで無い。罪滅ぼしのように今日は音源を鳴らしながらひたすら祈るように繰り返し吹いていた。あと数日でちょっとくらい、せめて自分が胸を多少張れるくらいまでうまくなってくれ。

2024/10/25 (Fri.)

• 「Large stepsize」論文の付録の証明を概ね読み切った (2024/09/10)。基本的なアイデアは線形ロジスティック回帰の場合とほぼ同じだったけれど、細かいところまでちゃんと読むと本質が何であるかに関してより自信が持てるようになる。相変わらず初等的にも関わらず面白い論文だった。
• 証明を読んでいるときは登山のようである。一行一行を読んでいるときはそれがどれだけ全体に寄与しているのかなかなかわからないのだが、読み切って振り返って「味わう」と重要な部分が次第に浮かび上がってくる。山を登る一歩一歩も地道なのだが、振り返って景色を眺めると眼下に壮大な景色が広がっている。

2024/10/24 (Thu.)

• 今日も海外の学生の研究の興味にあわせて、いつかは読まないといけないと思っていた Arora et al. (2019)（deep matrix factorization に関する帰納バイアスの論文）を読んだ。正直技術的詳細を今の今まで把握していなかったのは片手落ちでしかないのだが、読んでみると勾配流ベースの解析で、balanced initialization の下で特異値の時間発展ダイナミクスを見る流れは僕にはかなり馴染み深いものだったので、急に親近感が湧いた。もしこの論文をベースに研究を発展させるなら、僕でもそれなりに協力できることがありそう。いやはや、学生の興味に突き動かされて論文を読む羽目になるのも結構良いことが多いもの。

2024/10/23 (Wed.)

• 海外の学生とのメール越しのディスカッションが楽しすぎる。トピックが Fenchel-Young loss のリグレット解析で、僕の蓄えてきた専門知識が存分に活かせてかつ絶妙に僕が知らないことを熟考するきっかけになるので、100％純粋な気持ちで自分の時間を投入したい気持ちになれる。学生とのディスカッションでこんな経験はほとんどしたことがない。何なら博士卒業したら僕のところに研究員で来てくれたりしないだろうか。
• 久しぶりに締め切りに追われることもなく論文をゆっくりと読めて嬉しい。この平和な時間の間に勉強と研究をできる限り進めたい。Jessie の JMLR の激重論文を読んだり、先日の Ryan のレクチャーノート (2024/08/28) を読み返したりしていた。Ryan のレクチャーノートを読み直したのはとても勉強になった。Fixed/random design の大きな違いが特に large-p regime で見られて、その原因が主に固定入力上でのみ予測の良さを評価する fixed design の性質に起因していることが理解できた。

2024/10/22 (Tue.)

• 昨日ざっと読んだ Rockafellar and Uryasev の内容が記憶に新しいまま、海外の学生の原稿を手にとって読んでいたら、Rockafellar and Uryasev の risk measure の構造が綺麗に浮かんできた。自分もまさかこの短時間で役に立つとは思っていなかったので驚いているし、どうだろう、この risk measure の構造はなかなか多くの人には見えないんじゃないだろうか。何の役に立つかと言われると難しいが、少なくとも知的好奇心はくすぐられる事実である。
• お昼の時間帯に大学を抜け出して、御所を歩きながら時代祭をはじめて見に行った。思い立ったら伝統行事を見に行けるのはいかにも京都らしい生活で良い。こういう余裕のある生活を続けたいもの。

2024/10/21 (Mon.)

• 早速新しい研究に取り掛かろうということで、DRO と mean-variance 最適化の関係をさらうところから始めるべく後藤論文を読んでいた。その中で登場した envelope theorem の行間が広くてわからず、文献を辿っていたら Rockafellar and Uryasev (2011) に辿り着いた。この論文は risk measure と deviation の双対性に関するレビューなのだけれど、シンプルながらにリスク尺度間の双対構造が網羅的にまとめられていて、僕の研究の興味からすると絶対に読んでおくべきだと思った。Proper loss とのつながりなども見えてきそうな気がする。もし非自明で未知の構造が出てきたら、それだけで研究になると思う。

2024/10/20 (Sun.)

• ダイナミクス論文をジャーナルに再投稿した。ちょうど最初に書き上げてから一年ほど経った (2023/09/29)。自分としては仮定は強めのモデルであるものの結果はそれなりに面白い内容だと思っているけれど、思った以上に反応が悪く、3回リジェクトされて今に至る。自分の仕事で2回以上リジェクトされるのは similarity learning 論文以来 (2022/01/19)。あれも反応が悪く苦労した。面白さのポイントがマニアックなのは否めないけれども、いぶし銀的な仕事も評価されたらいいのに。
• 週末の夜は毎日楽器を練習して、なんとか来月のライブに間に合わせるようにあくせくする。先週ようやく Mean What You Say と Dinner With Friends のソロ譜を両方作り上げて気づいたらライブまでもう2週間もなく焦りはじめた。今日の練習では Dinner With Friends のテンポをとにかく上げて、まずは BPM240 のノリを体に染み込ませる。細かい運指の回らないところはまだ残っているけれども、あと2、3回はスタジオ個人練習できるだろうから、なんとかなるかどうか。

2024/10/18 (Fri.)

• 最近何箇所かで「研究の（一発ネタ的）アイデアが評価されてほしい」「いまの機械学習コミュニティはアイデアが評価されづらくなった」といった声を雑談の中で聞いたが、どうなんだろう。それ自体は賛同できつつも、その声の裏に聞こえる「アイデアが面白ければ検証が多少甘くてもよい」「先行研究の積み重ねを考えなくてもよい」といった考えが見え隠れするような気がする。先行研究に縛られすぎるのはフレッシュな発想を妨げているという点でもよくないけれども、学術研究は積み上げだから先行研究を極端に蔑ろにするのも褒められたものではないと思う。多少なりとも先行研究を読み込む（それが必ずしも自分の書く論文で引用されなかったとしても）ことはある種のリスペクトであると思う。
• なりゆきで今日は他の研究室にたまたま二箇所も遊びに行った。Dijkstra が実はアルゴリズム研究よりもプログラム意味論や構造的プログラミングに貢献を残している（むしろチューリング賞の貢献は構造的プログラミングの方）ことを聞いたりして面白かった。同じコンピュータサイエンスでも自分の研究領域に閉じこもっているだけではなかなかここまで話は広がらない。

2024/10/17 (Thu.)

• 那覇まで来て米国領事館でビザ面接に行った。面接はつつがなく終わったけれどいつも通りの 221(g)。まあ気長に待つしかない。
• ガザの死傷者数が広島の原爆の数倍を優に超えているという報道を見たりすると、遠く離れた土地で直接的には何も知る由もなく生活していることにどうしようもない感覚があるけれど、かといって何かができるかと言われると何もできない。できるのは現状を知り続けることだけなのだろうか。

2024/10/16 (Wed.)

• 急遽一泊二日で那覇に来た。夕方に山田さんと会って、今後の身の振り方についてどうすべきか、ああでもないここでもないと悩み事についてひたすら話す。こういうのは答えはないのだけれども、誰か気のおけない人に相談に乗ってもらうことで自分の気持ちが少しだけ整理されて前に進めるようになる。そういうものなのだと思う。

2024/10/15 (Tue.)

• インターン受入予定の学生さんとミーティングした。インターンとなるとどうやってプロジェクトが着地させられるかをずっと考えてしまって緊張する。自分が準備しているプロジェクトが着地させられるか、そもそも学生さんに興味を持ってもらえるのか気が気でないけれど、幸い興味は持ってもらえた模様。しかも本人も行列分解に関して面白そうなことを考えていてアイデアを共有してくれた（可解な問題なのかわからないけれども）。自分が責任を持って学生さんを導く経験ははじめてなので終始気が抜けない。
• 何年も読もうと思っていたパース『連続性の哲学』をついに読み始めている。序盤ではまだ「連続」をもってして何を指そうとしているのかわからなかったけれど、どうやら（なんと！）連続体仮説に基礎を置きながら形式論理学のカテゴリについて論じようとしているらしい。

2024/10/14 (Mon.)

• 三連休皆勤で今日は相国寺へ出かけた。前々から気になってはいたのだけれど、ちょうど特別拝観だったらしく、蟠龍図を拝むことができた。全くもってどのように描いたのかも見当のつかないスケールの絵。見ているだけで圧倒される。幸せな時間だった。
• 締め切りを乗り越えたということでリフレッシュも兼ねて気分転換になった三連休だった。明日からはまた次の研究に向けて頑張る。

2024/10/13 (Sun.)

• 秋晴れの気持ちいい日が続くので、今日も朝から出かけて銀閣寺へ。もう8年ぶり。参道の情景すら全く覚えていなかったが、向月台は印象的で覚えていた。哲学の道も地味にはじめて歩いた。近いと逆に出向こうと思わないもの。

2024/10/12 (Sat.)

• 一年の中でも数少ない、秋風の気持ちいい日。この機を逃してはいけないと思い、出町商店街から鴨川、百万遍、吉田神社まで散歩しながら、ガレットを食べたりコーヒーを飲んだり、阿闍梨餅を食べたり金平糖を食べたりした。大学から近いと言えば近いのだけれども、特に出町商店街は絶妙に生活圏ではないので普段なかなか立ち寄る機会がなくて惜しい。休日にこう当てもなく歩いていると、商店街のアーケードにぶら下がっているオブジェとか、地面のモザイク柄にほっこりとするような意匠が見え隠れしているのに気づいたり。最近論文をずっと書くのに集中していたから、こういうちょっとした身近な発見が豊かな気分にしてくれる。
• Mean What You Say のソロ譜を作り上げて練習。そういえば Mean のソロを全コーラス書き譜で作ったことは実は今まで一度もなかった気がする。現役のときは相方が Mean のソロを吹くことがほとんどだったし、引退後もなんだかんだで Mean より難しい曲のソロを練習するので手一杯で、Mean はアドリブでやってしまうことが多かった。Monday Night Live の Rich Perry のソロを元に作ったが、こうやって改めて楽譜に書き起こしてみると良い曲だし、Rich Perry も良いソロを吹いているなと思う。自分のアドリブではこのフレーズは出てこない。もう少しうまく吹けるようになれたらいいけど、楽器の練習にこれ以上時間を費やす余裕は今の生活にはないし、せめて Rich Perry のニュアンスを少しでも身に染み付かせておけたら。

2024/10/11 (Fri.)

• まだ数時間あるけれど一旦このあたりで原稿編集は終わり。3本ともすごく良い論文になった。ふと数えてみたら、今年はこの3本を含めて proper loss 関連で5本論文を書いていることになる。そう言われると我ながらびっくりする数だ。日がな自分の研究に軸がないことを気に揉むことが多かったのだが、実績ベースで案外自分の研究にもそれなりに軸があるのかもしれない。5本も proper loss の研究をしていると、一年前に比べても相当 proper loss の構造に対して造詣を深めることができた。Property elicitation や convex geometry との関係は去年の時点ではここまで理解できていなかったし、予測市場の概念に触れることもできた。同時に、まだまだ掘り進めるべき構造が眠っていることがより明らかになってきた。

2024/10/10 (Thu.)

• 投稿論文3本を手元でジャグリングしながら、どれもなんとか落ち着いてきた。NeurIPS や ICLR は周りの学生さんや共同研究者らが本腰を入れて集中的に取り組むことが多いので、僕自身でもなかなかに制御できないことも多くて無限に細かく論文を直し続けがちなのだが、今回の AISTATS は3本ともすべて自分の趣味論文、しかもなんと3本とも proper loss 関連ということで、非常に楽しみながら取り組むことができている。マニアックなのは間違いないけれど僕は面白いと思うし、しかもどれもこれまでの損失関数界隈では着目されてこなかった構造にスポットライトを当てている。こういうのは地味ながら良い研究なんじゃないだろうか。
• あと1日少しなので残りは流し目で校正をしつつ、次に何の研究をやろうか妄想する。来年は海外から何人かインターンで学生さんが来たいという申し入れもあるし、criterion collapse のリグレットバウンド導出なんかはなかなか面白くて、学生さんにやってもらうにもちょうど良いだろう。Neural collapse 関連も、はじめて学習理論的な研究に取り組む学生さんにとっては扱いやすいモデルだと思うし、取っ掛かりとして考えてもらうには良さそうだと思っている。学生さんの研究をうまく軌道に乗せられるかはなはだ自信はないけれど、それでもどうなるかわからない故のワクワク感がある。

2024/10/09 (Wed.)

• なんとか論文が収束してきた。少なくともページ制限に収まった。締め切り48時間前、ギリギリで生きている。でも共著者のおかげで当初想定していた以上に良い論文になっていると思う（締め切りギリギリすぎて心労をかけてしまっているが、、）。
• ノーベル物理学賞が Hopfield と Hinton だったらしく、あまりにも予想していなかったのでびっくりした。確かに Hopfield は広義では統計物理学者なので物理畑とは言えるけれども。例年はノーベル賞の季節は自然科学者らの盛り上がりに比べて分野的には蚊帳の外な感じがあったので、突然知っている名前が出てくるとは思わなかった。

2024/10/08 (Tue.)

• 昨日の夜に突然シンガポールの学生の方から連絡が来て、面白い結果の proof sketch が送られてきた。もし結果が本当だとすると（少なくとも僕にとっては）非常にインパクトのある結果だと思うので、急いで証明を見て概ね正しそうなことを確認して返事をした。Link function を argmax ではなくてちゃんと最適化するとリグレットのレートが改善するのか。思い至りそうで僕には思い至らないアイデアだった。こうやって自分の仕事を追ってフォローアップしてくれる人がいるのは何にも代えがたい。

2024/10/07 (Mon.)

• 週末ずっと悩んでいた全射性の証明は、Brouwer の不動点定理を使うと示せるらしいことがわかった。不動点定理を使うとなんか証明が回りそうな気はしていたのだけれど、自分では示し方にたどり着けなかった。最終的にはひたすら検索して、たまたま適用できそうな定理が目に入った。共著者にも証明のアイデアを見てもらって、我々の直感と符合していることを確認できた。なんとかなってよかった。あとは頑張って論文を書き上げるだけ。結局ギリギリだな。
• 周りの理論家はすごいなとよく思わされる。僕なんか自分の仕事で手一杯なのに、どうして（自分の専門に関連するにはせよ）他の人の仕事の話を聞いてそれにエレガントな貢献を提供することができてしまうのだろう。僕もできることなら貢献したいのだけれども、どんなに共著者の証明を読んでも自明なエラーでさえ僕の目はすり抜けてしまうし、証明を修正する段になっても僕は別に妙案を思いつくことができない。サボってるわけではないつもりなのだけれども、サボっているかのような貢献のなさである。

2024/10/06 (Sun.)

• 思っていたよりも全射性の証明が難しい。いつも一変数関数での直感にばかり頼っているので、多変数解析の壁が立ちはだかる。単連結集合を連続写像で飛ばしても単連結性が保たれるとは限らない。連結性・弧状連結性なら保たれるのに。ほしい性質がギリギリ手からこぼれ落ちる。でも頭の中の直感では示せそうな気がする。このギャップを一日考えても埋められないのがもどかしい。

2024/10/05 (Sat.)

• 論文の締め切りを控えているけれど、やっぱり週末は少しくらい休んだほうがいいだろうということで、今日は大阪中之島美術館に行って塩田千春展を見てきた。5年前は東京で都合があわず見れなかったのが心残りだったので、5年越しに拝むことができて嬉しかった。どれだけの作業量で糸を編み上げたのか途方もなさを現場で感じられたのも良かったが、同時に展示されていた本人のビデオアーカイブでのインタビューで制作の裏側について語られていたのが意外に良かった。ひとえに作品を作り、作り、作り続けて、それで報われた瞬間が訪れたと。塩田千春クラスの人物でさえそうなのか。自分なんかはなおのこと信念を貫いて仕事をし続けるしかない。

2024/10/04 (Fri.)

• 共著者に面白い反例を提出されて、定理の修正が必要になった。でもまあなんとか修正できそうな気がする。あと1週間でやや大変ではあるが、理解が進んでいてやりがいがある。

2024/10/03 (Thu.)

• イタリアからの帰国便でぼんやりと先月の白眉セミナー後の飲み会で 13期の Cheng さんが言っていた “but Americans believe the market!” という言葉を思い返していた。ルールメイキングの場での合意がヨーロッパ的アプローチでは取れないときにどのように打破するのか、という文脈で。ちょうど今書いている予測市場の論文が、図らずもまさにこの思想を体現しているなと思ったので、Cheng さんの言葉に実感が伴った。予測市場の論文は着地させるのに結構苦労した（まだしている）し、本当に面白い研究なのか不安は尽きないが、これも意図せずして自分が目指そうとしていた損失関数設計に対する別の切り口を与えるアイデアになったし、しかも将来的にはここから発展させれば市場合意の妥当性を数理的に分析することもできるように思う。全てが思ってもいなかった形で面白い研究になりつつあるような気がする。今までで最も予期しなかった結果とアイデアに辿り着いた研究。
• 一週間ぶりに研究室に来たら席替えも終わって、そういえば新学期が始まっていた。新入生にお土産を配っていたら、新しく入ってきた中国人の留学生に「ブログを読んでいました」と言われてびっくり。趣味でチラシの裏のような感覚で書いているものだが、やはり意外にも多くの人に読まれている。書いておくものだと思ったし、もうちょっとちゃんと推敲すべきな気もする。

2024/10/02 (Wed.)

• 帰国しながら羽田のラウンジで、伊丹までの機内で、伊丹から京都のバスの中で、そして家に着いた後もひたすら ICLR の締切まで論文を直し続けた。もうこれでもかというくらい。イントロも一本書き直した。ようやく終わった。今回はただただ疲れた。

2024/10/01 (Tue.)

• イタリアの3日間、あっという間だった。そういえばヨーロッパやアメリカまで出張に来て3日で帰るのははじめてな気がする。年々忙しさが単調増加しており、発表するわけでもない ECCV の本会議に悠長に参加するほどの余裕はなくなってきた。
• 帰国便はプレミアムエコノミー (2024/08/26)。心が浮き立って仕方がないほどに快適。D1 の頃はまだプライベートで新幹線に乗るほど金銭的に余裕がなくて夜行バスや鈍行に乗っていたので、新幹線に乗るたびに快適すぎて本当に嬉しかったときと同じ。帰国便もたっぷり半日。今回は体調を崩していないので心置きなく仕事ができる。