Han Bao

Random thoughts in Japanese. All optinions are my own.

2024/09/30 (Mon.)

• ICLR 投稿に際して、3本以上投稿している著者は必ず査読者にならないといけないという CFP の記述を見逃していて一悶着して疲れた。これに関してはまずは僕が見逃していたのがいけないのだけれども、アブストラクト投稿以降に著者から外すこともできず、事実上査読者を引き受ける以外のオプションがないのが納得いかない。第一元々 ICLR の査読システムは OpenReview 上で1ヶ月間無制限のディスカッションが続くというのが納得いっていなくて、査読者が疲労することのないロボットか何かかと見なされているような気がしている。なのでそもそもあまり関わりたくないというのが正直なところ。僕は共著論文が ICLR に投稿されるので渋々従っているけれども、内心は ICLR には本当に関わりたくない。我儘なのかもしれないけれども、こんな我儘も言えないのなら何の自由もないのではないか。
• 色々と疲れている中、ワークショップオーガナイザーで会場近くのイタリアンシーフードレストランに出かけて海鮮リゾットをいただいた。米の粒感がしっかりしていてよく出汁と絡んでいて食べ応えがある。ミルクのコクもある。初日体調が良くなくて夜は乳飲料だけをお腹に入れたり、昨日もランチは会場で提供されていた（冷え切った）パスタをお腹に押し込んだりと、ちょっと荒んだ食生活をしていたところ、このランチで救われたような気がする。明日帰国だけれどももうちょっと踏ん張ろう。あと半年したらもう少しマシな環境が切り拓けると信じて。
• イタリアにいる間も時差で眠い目こすりながら検証を続けていた逆リンク関数を求めるプログラム、いまだに全然動かないのだが、重要な知見は溜まってきている。まず、今回は確率単体上の逆関数を求める必要がある（すなわち制約付きの球根を行う必要がある）ため、ニュートン法ではなく exponentiated gradient を用いている。これが指数を含む形のため、どうにも不安定らしくてすぐに nan に飛ぶ。特に高次元の場合だとこの傾向は顕著。実用的なシナリオだとバッチサイズを2以上に上げた瞬間に一気に難しくなる。手元でやっていてまあまあうまくいくのは次元が10くらいのときまで。バッチサイズを1に固定すると実用（というかそもそも検証レベルでさえも）に耐えないほど遅いし、それでも数値的に安定しているとは言い難い。難しい。知見が得られるのは重要なことだけれども、ポジティブな結果ではなかったというのはなんというか徒労感がすごい。

2024/09/29 (Sun.)

• ワークショップの運営仕事が終わった。イタリアに来た重要任務を果たした。想定していたよりも満員御礼でほっとした。招待講演者に喋ってもらう以上、集客はこちらの仕事だから。
• 体調の悪さ、普通に時差起因に思われる。ヨーロッパ時間の夕方からすごく気分が悪くなる。寝たら回復したので単に眠いだけの模様。
• トリノの街中でも結構フランス人を見かけて、見かけるたびに耳をそばだてて必死にフランス語を聞き取ろうとしてしまうのだけれど、かろうじてながらに数字や単純な単語は耳に入ってくるのが嬉しい。もうかれこれ5ヶ月ほど、ほぼ毎日欠かすことなくフランス語に触れているのも、全く無駄ではないのだなと思える。今日も学会後にフランス人に（馬鹿みたいに簡単だが）言えそうな単語を組み合わせてフランス語を喋ってみたら伝わったらしくて嬉しい。

2024/09/28 (Sat.)

• ミラノに着いて半日も経たぬうちにバタバタとトリノ行きの電車に駆け込む。何の変哲もない幹線鉄道が時速 300km で走っていて、日本の新幹線に慣れている身からすると驚く。
• Overleaf を見ていると、アカデミアで研究している学生さんたちは頑張って編集が続いているのに対して、共同研究している企業の人たちは土日になった瞬間に潔いくらいにぱたっと作業が止まる。一方でプロジェクトはうまく管理されているので進捗はむしろ良い。働き方としては絶対にその方が健全だよな。アカデミアは一人ひとりの属人性が高すぎる。それは良くも悪くもだけれど、健全な働き方を求めるのは難しい。
• トリノ、旧市街も新しく整理されていて良い意味で旧市街特有のカオス感が少なく、歩きやすい。
• イタリア着いてから体調があまり良くない。フライトで仕事をしすぎたせいだろうか、時折頭痛がする。

2024/09/27 (Fri.)

• NeurIPS に落ちた論文がごそっと ICLR 再投稿という流れになったので（気は全く進まないが！）必死こいて頭から読み直してフィードバックしている。しかしそんなまとまった作業時間が取れるかどうかもわからないのに気軽に再投稿しましょう、って言うのは PI として無責任じゃないのか。誰が論文の質の担保をするんだ。僕は責任が追えないし（トピック的にもそうだし、そもそも指導学生でないので）、早くこの環境から逃れたい。
• そんなことで朝5時半伊丹行きのバスに駆け込み、伊丹から羽田の間で1本、羽田からフランクフルト便に乗り込んで2本フィードバックを書いて、そしてはじめて機内 Wi-Fi を30分だけ使って PDF を共著者に送った。快適とは言えないけれども、Slack やメールの読み書きはまあまあ普通にできるし、PDF も1分くらいかければ送れる。すごいテクノロジーだ。グリーンランド上空から共著者に連絡するの、とても仕事をしている感があって自己満足。
• さて、移動中に1、2時間寝落ちた以外は朝からほぼ12時間近く働き詰め。共著者の原稿をすべて納得いくまで修正したとはとても言えないけれども、最も根幹の部分はフィードバックできたと思う。ここまでやったら自分の貢献はもう十分だろう（少なくとも first author を除く他の共著者に比べたら圧倒的に）。進んでいないのは自分の研究だけ。そしてフランクフルトまであと4時間。もう後は自分のために時間を使う。

2024/09/26 (Thu.)

• 朝起きたらやや早く NeurIPS の採否通知が帰ってきた。通ったのは学生さんの最適化論文と、仙台でタコ部屋合宿して間に合わせた埋め込みベクトル論文 (2024/05/18)。学生さんの論文が通るのは学生さんの自信のためにも本当に喜ばしいことだし、後者の論文は機械学習プロパーでない共同研究者の研究が NeurIPS にちゃんと通ったということでもやはりめでたい。自分の研究は3回目の不採択であり、これでついに初投稿から一年 (2023/09/29) 経ってしまった。僕は面白いと思うのだけれども、この研究をやっていた当時よりもコミュニティに対する解像度が上がって、勾配流に基づくモデル化に対して一定層が大きなアレルギーを持っていることがわかってきた (2024/08/28)。どうすべきだろうか。Neural Computation のような理論神経科学者もいるようなコミュニティだともうちょっと興味を持ってもらいやすいのだろうか。
• そんなことを腰を据えて考える暇もなく、今日も改稿に集中。
• 夏休みが終わりかけて段々と研究室に修士の学生さんたちが戻りつつある。夏休みのインターンでは各々の経験をしたようで、学生特有の眩しさがある。「研究に対してモチベーションが上がった」と言っている学生さんもいる。その自発的なモチベーションを摘み取ることなくうまく育てられる環境を作れているだろうか。

2024/09/25 (Wed.)

• いよいよ論文締め切りシーズンの佳境になってきた。朝から二件、投稿論文に関するミーティング。自分が主著で書いている論文はいずれも方向性は見えつつあるものの、まだ原稿の大規模工事をしなければならず、全然安心できる段階ではない。イタリアへ飛ぶ前、明日までにそれなりに安心できる段階に持っていかなければ。
• しかし研究の大詰めのフェーズに差し掛かっていると次にやりたい研究のことばかり妄想してしまう。昨日坂上さんと議論したときにも EoS のアイデアは面白がってもらえた。あのアイデアはぜひとも今年後半の一つの重要テーマとしてやりたいところ。自分のさきがけのテーマにもスムーズに接続する。

2024/09/24 (Tue.)

• 1ヶ月半ぶりの坂上さんとの議論 (2024/08/05)。下書き原稿は書き上がっていた (2024/09/13) ものの、論文として貢献をどこに見い出せばよいかよくわからなくて悶々としていたが、最適化問題のモデル化における設計者の主観性・恣意をできるだけ取り除くという方向性でまとめられそうに見えてきた。一朝の議論にしては随分と有意義なアイデアを得ることができて、今回も東京まで足を運んだ甲斐があった。

2024/09/23 (Mon.)

• 1泊2日で東京。バンド練から家族の様子を見に行って、友達に久しぶりに会う。東京に来るとすべての用事をまとめて済ませようとするから毎度過密スケジュールになる。

2024/09/22 (Sun.)

• 3日でノートと頭の中に溜め込んでいた知見をほぼすべて原稿に書き出した。ついアイデアが熟すまで頭の中に溜め込んでしまってなかなか書き出せないうちに時間が経ってしまうのだが、ようやくここまで来た。今朝は図を綺麗に作って理解が整理できたので満足。複数の研究が着実に、同時に完成に近づきつつある。
• 楽器の練習は大変だけれども、（良い意味で）サークル時代のように全身全霊で取り組んでいるわけではないので、1時間の個人練習で集中して取り組んで、終わったら頭の中も気分もスッキリする。オフィスワーカーの余暇の趣味としてはまあまあ良い。

2024/09/21 (Sat.)

• 昨晩になんとか証明を修正できたので、コツコツと原稿を書き進めている。しかしやはり当初想定したスケジュールよりは数日分遅れている。まともに最初に頭の中で引いたスケジュールに間に合った試しがない。まあいずれにせよ、NeurIPS 直前 (2024/05/10) の時点では全く頭の中で収拾の着いていなかった損失関数の構造が段々と整理されてきたのは良い進捗。決して華々しい結果ではないけれども、刺さる人にはきっと面白いと思ってもらえるであろういぶし銀的な内容だと思う。

2024/09/20 (Fri.)

• できたと思っていた計算 (2024/09/17)、LaTeX で書き直していたら Jacobian の簡単な計算ミスを見つけて、しかも案外全然修正できなくて一日を終えてしまった。本当は他の研究の実験とか共著者の原稿を読んだりもしたかったのにこれに一日を費やしてしまった。やるせない気持ち。

2024/09/19 (Thu.)

• 昨日は珍しく1日3件もミーティングがあって、朝はジム、帰宅後は楽器の練習に行ってその後にフランス語の勉強と、とても詰まり切った一日だった。流石に最後フランス語を勉強しているときに体力切れして途中で寝落ちした。気づいたらジムに楽器の練習にフランス語と、アフターワークの活動が充実している。
• 去年ドレスデンに行ったとき (2023/10/05) の初日に旧市街を散策していたときに坂田さんに教えてもらった『時刻表昭和史』を今週は読んでいて、今朝のバスの中で 1944年まで進んだ。元々国鉄の路線や速達列車の路線網が拡充されていく時代背景を辿っていくだけでも僕のような人間にとっては刺さる本だったのだけれども、戦中の話に進むにつれて当時の市井の人間の飾らない心情がますます滲み出てきている。しかも著者は別にそれを無理して伝えようという努力を何もしておらず、むしろ退廃的な筆致が感じられるのが僕にとって馴染む。東京大空襲目前というところまで読みすすめて、思わず感情的にこれ以上読むことができず、ページを閉じてバスを降りた。活字を読んでいるのは、結局こういう文章に出会える瞬間をずっと待望しているのだ。

2024/09/17 (Tue.)

• 3日間ほど悩んでいた superprediction set の凸性・平滑性と Bayes risk の Hessian の正則性の関係がようやく解消できた。その過程で凸集合の「support set（ある超平面を支持する点集合）= 支持関数の劣微分」という非常に美しい関係を使った。凸解析では基本的な関係らしい。僕は悩み続けて困って縋る気持ちで読み始めた Bob Williamson の論文 ではじめて知った。こういうのを知ると、凸解析をもっと勉強したいと思わされる。
• なんにせよ、考えて考えて考え続けたことがわかる瞬間は本当に嬉しい。考えている途中は本当にこの方向性で正しいのか何の確信も持てないから、なおのこと安堵にも似た気持ち。この研究も原稿執筆に取りかかれそう。
• さきがけが通った (2024/08/23)（公開情報になった）。同領域に応募していたのを知っている周りの知り合いは残念ながら軒並み採択されなかったので誰が通ってるのか気になっていたが、蓋を開けてみたらちらほらと一方的に論文や寄稿で知っている人が一緒に採択されていた。元から知り合いだった人たちはもちろん、こういう新しい出会いが繋がるのは嬉しい。3年半のまとまった額の研究費、どうにかして自分のフィールドとコミュニティを広げるのに有効に使えたらと思う。

2024/09/16 (Mon.)

• 何の気無しに入ってみた大学近くの中華料理かかんの麻婆豆腐が本当に美味しかった。半年前にできたのは知っていたけれど、こんなに美味しい店だったとは。

2024/09/15 (Sun.)

• 昨日のピクニックで普段はそれほど身の上話をする機会がなかった秘書さんが、意外にも休暇でヨーロッパや東南アジア旅行を謳歌していたり、子供時代は両親がカナダに赴任していて日本で姉妹暮らししていたり、ホームステイを受け入れたり逆に泊まりに行ったりといったことを経験していた話を聞いて、世界が違いすぎることに受けた衝撃が一日経って反芻している。夏休みのイタリア旅行では一昨年まで京都にいたポスドクに久しぶりに会って、イタリアを案内してもらったり、帰欧してから生まれたお子さんに会ったりしていたらしい。自分では想像しづらいウェットな人間関係。僕自身の家庭環境では、ホームステイを受け入れるなんてそんな（経済的、でもどちらかと言えば精神的）余裕があるはずもなく、自分たち家族自身のこと以外は考えていなかった。僕はその雰囲気が嫌だったのだけれども、結局大人になったところで子供時代に染み付いたクセが抜けることはなかったのだ、と今になって思う。こういうウェットな人間関係を築ける人たちが、それこそ大学のバックオフィスにおける国際化を推進する機動力になっていたり、はたまた日本全国におけるインバウンドを受け入れる土壌になっているのだろうか。
• とはいえ人には与えられた自分の人生を生きるしかないのだから、境遇を振り返っても仕方がない。視点によっては明らかに自分の子供時代の境遇は恵まれているのだから。それゆえに僕にしかできないことは明確に見えているし、自分がやるべきことをやっていくしかない。

2024/09/14 (Sat.)

• （先日体調を崩していたタイミングを除いて）久しぶりに休日に何も仕事をしなかった。お昼にはもうすぐフランスに帰るポスドクに誘われて鴨川でピクニックをしていた。気分転換にはなった。

2024/09/13 (Fri.)

• 今朝読んだ ICML 論文も Solomonoff prior の話をしていた (2024/08/13)。僕自身全く潮流を把握しているわけではないが、何かそういう地味な流行が訪れる火付け役が存在したのだろうか。前に読んだ2本は両方とも DeepMind の論文だったが、今朝読んだのは NYU の論文だったので、DeepMind つながりというわけでもない。
• 考えれば考えるほど、Solomonoff prior に基づいた学習というのは社会的リスクを抱えているような気がする。ぱっと思いつくのは、minority に対する予測誤差は増幅するであろうということ。Kolmogorov 複雑度で圧縮を考える際の圧縮誤差は、情報理論的には「頻出するパターンに短い符号を割り当てる」のが基本原則であるから、これを予測に転用しようとすると必然的に majority に焦点を当てることになるだろう。普遍学習器の流行が地味に来ているのであれば、この観点に的を絞って反駁する議論を（もう少しテクニカルに詰めて）できれば十分にコミュニティにとって価値がある仕事になるんじゃないだろうか。なにせ汎化理論や情報理論周りでこの観点は完全に見過ごされているように思う。
• 8月、出張が多く、しかもアメリカから帰ってきて体調を崩したりしてなかなか思うように腰を据えて時間を取ることができなかったが、とりあえず一本原稿をだいたい書き上げた。この原稿の執筆に取り組み始めたのは 8月18日 に Song Bird Coffee でアイデアを整理し終えてからなので、20数日くらい。この間もちろん他の共同研究に時間を使ったりもしていたので、この期間で書けたのは偉いと思う。締切までまだ時間はあるので、一旦寝かして他の研究に取り掛かる。
• Large step size の論文 (2024/09/10) をランチのときに研究室の人と喋れて嬉しい。基本的には面白そうだけれども、（確率的最適化ではなく）フルバッチの勾配法では理論的に最適な学習率は $O(1/\beta)$ であり、これ自体はそれほど微小というわけでもない（確率的最適化の $O(1/\sqrt{\beta T})$ と比べて）から、論文の動機としてやや気になるというフィードバックをもらった。最近自分の研究の興味を研究室で話す機会が恵まれなかった気がしていたから、もっとこうやって積極的に話したほうが絶対に良い。

2024/09/11 (Wed.)

• 気づいたらいつの間にか5時台で結構暗くなるようになっている。来週には秋分の日がやってくるから当然といえば当然か。夏の終わりを感じるが日中は依然として耐え難いほどに暑い。
• 坂上さんの激励もあって原稿をイントロから書き直しているが、問題設定や貢献の整理ができてきたと同時に自分がやってきた研究の意義がようやく多少なりと感じられるようになってきた。共同研究者として本当に助かっている。

2024/09/10 (Tue.)

• 共著者に原稿を確認してもらっている間に、large step size の相転移解析論文をカフェで読んでいた。Simons Institute のコーヒーブレイクであるポスドクに言われた「勾配流解析に実用的価値はない」(2024/08/28) という言葉がずっと頭に響いていて、どうしても忘れることができず論文に目を通すに至った。50ページ超えの最適化理論の論文なので読み始めるまでは億劫だったが、しかして思った以上に透明性の高い論文で、基本的には（本来 $\eta=1/\beta$ を使っている）descent lemma をいかにして edge of stability $\eta>2\beta$ に拡張するかという話だった。証明も（少なくとも logistic loss x 線形モデルのケースは）非常に初等的で、10分追えばわかる程度の内容だった。相転移の発生を示す流れは、相転移前後で loss の下がり方の挙動が違うことをまず示し、相転移後の loss の条件を満たすために必要な時間を bound 評価して導出するという流れで、それ自体も意外に初等的なものだった。自力で思いつけるかどうかは別として、意外に怖くない。
• 最近 Transformer の実験を回してから (2024/02/01) どうも最適化における相転移現象（一度 loss plateau に落ちてからしばらくして更に降下する）が気になっていて、grokking や汎化における相転移に関係するかなとぼんやり思っていたが、僕が観測しているこの相転移現象はそもそもテスト性能の話ではなく訓練誤差の落ち方の話なので、こういう edge of stability などの最適化理論との相性が良さそうだということにようやく気づいた。手がかりが若干見えたことだし少し掘ってみたい気持ちが出てきた。

2024/09/09 (Mon.)

• フランス語をやり始めて4ヶ月ほどになる。先週は体調不良であまりやってなかったりしたが、基本的には毎日15分から30分ほどコンスタントに続けられていると思う。層時間はざっくりと60時間くらいは超えているのではないだろうか（ジムでずっとフランス語聞きながらトレーニングしたりしているし）。昨晩何の気無しに DELF A1 のサンプル問題の音声を聞いてみたら、まだまだ全然聞き取れない。一応60から100時間くらいが学習時間の目安ではあるらしいのだが。どのみち自分は急いでいるわけではないし、気長に1年くらいやってそのうち DFLF の A1 か A2 くらいできたら嬉しい。
• 一日ゆっくりと原稿の細かいところを詰めながら書いている。書けば書くほどゆっくりと、しかし着実に問題に対する理解が深まっている気はする。というか見過ごしていた点が明らかになってくる。TikZ で作図をいくつかして自己満足感を高める。こういうのも大事。

2024/09/08 (Sun.)

• ずっと心の中で自分がやっている研究が面白い気がしなくて、それを騙し騙し原稿を無理やり書いているような感覚がある。こんな研究が本当に人に読まれるのか自信がない。でもその一方で、自分が大事だと思うやるべき研究は何かと言われると、流行に乗りすぎることなく損失関数に基づいた信頼可能な意思決定と評価の枠組みの基盤を構築していくことだと思うので、その観点では小さな一歩になっていると言われればなっていると思う。しかしその道程は果てしない。一つの研究が全てを塗り替えるなんてことは土台無理だと思っているけれども、本当にこんな小石をいつまでも積み重ねていていいのかと思ってしまう気持ちもある。

2024/09/07 (Sat.)

• 体力も戻りつつあり、そしてあらゆる事務仕事を済ませてあるので、急に研究をする時間がまとまって生じてきた。先月は出張に研究発表が多かったがその合間に研究を地味に進めておいた実感はあるので、急いで原稿の形に整えていく。今月は頑張って二本研究を仕上げたい。

2024/09/06 (Fri.)

• 若干のふらふら感を抱えながらようやく大学に復帰し、一週間振りに研究ノートを開くと、先週バークリーにいる間に机にかじりついてやっていた計算が出てきた。あのときはワークショップの合間に無我夢中で計算していたけれども、コミュニケーションの辛さからホテルに逃げ帰ったあとに日が超えるまで、あるいは朝起きてすぐに無心に計算を続けていたのが段々思い出される。結局それなりの結果に結びついたわけだけれども、そう考えると自分がかなり頑張っていてしかも結果に結びついていて、じんわりと報われる気持ちがする。同時に、あの計算にかじりついていた時間で体調を崩したとしてもおかしくはない気がする。でもあの集中力を保てていた時間は、なんというかアメリカ独特の時間なように思われる。7月にウィーンにいたときは決してできなかった。

2024/09/05 (Thu.)

• 割と朝普通に目が覚めて、論文を読んで、それから1ヶ月以上書こう書こうと思い続けながら時間が取れていなかったオッカムの剃刀に関する考察を勢いで書いた。4時間で文字数10800文字超え。ざっと書いて読み返して、自分の書いた文章にしては悪くないと思った。昔の自分の文章を読むと耐えられない気持ちになるから、多少は進歩しているのかもしれない。本当は outcome indistinguishability などに関してもっと議論したいことがあったけれども、これ以上は一息で書けなかったのと、それでもまずは頭の中の考えを一度ダンプしておく必要があると思ったので、これで一旦よしとする。
• しかし一息で文章を書き出してしまったせいか、午後は頭がフラフラして作業できなかった。まだ完全には回復していない。毎日少しずつ軌道に戻していくしかない。

2024/09/04 (Wed.)

• まさかアメリカから帰ってきて高熱が出てまた倒れてしまった。夜中に40度近くまでいったが、2日くらい解熱剤を飲みながら寝込んでいたら平熱まで落ち着いてきた。帰国途中に体調不良を抱えながら帰る羽目にならなかったのは幸い。最近休日も丸一日休むということはなく何らか仕事し続けていたから、2日くらい寝込むのは仕方ないような気もする。明日くらいにはゆっくり仕事できるんじゃなかろうか。