Han Bao

Random thoughts in Japanese. All optinions are my own.

2024/11/30 (Sat.)

• リバッタルをとりあえず1本終わらせた。悪くない内容だろうと思う。査読も（批判的な内容も）建設的だったので肯定的な気持ちだ。
• ブラックフライデーに託つけて Amazon の Fire TV Stick を買ってみた。寒くなってきたこの日頃、家でゆっくり映画を見て休暇を過ごす充実感は高い。

2024/11/29 (Fri.)

• AISTATS のリバッタルがはじまった。投稿したばかりのような気がしていたが、実際のところ40日少ししか経っていない (2024/10/11)。マニアックな論文を投稿していたし、しかも予測市場の論文に関しては実験も理論もほぼない上に自分の土地勘がなさすぎて、どういうふうに評価されるか全く心許がなかったけれど、全体的にそんなに評価は悪くなかったようで一安心。そして査読者が自分の論文のキーワードとして「game theory 」を挙げているのを見て、「そうか、これがちゃんとゲーム理論の研究として認められるのか」というちょっとした嬉しさがあった。
• もうすぐ出張に行ってしまうし、とりあえず急いでリバッタルを書き上げた。研究に戻る。

2024/11/28 (Thu.)

• 3年近くぶり (2022/05/02) に、京大に出張に来ていた学部のクラス同期に声をかけてもらって会った。お互い20代終盤の3年間、気づいたら博士を卒業したての当初からかなり遠くの境地まで来たものだ。分野は違えど「残りの人生であとどれだけの仕事ができるのか」という（いい意味での克己的な）焦燥心を共有できたのは嬉しい。一つの仕事にかかる時間のことを考えると、自分が持っている残りの時間でできる仕事は案外、というか驚くほどに少ない。この限られた時間のなかで何をやるのか。
• 昼下がりに研究室横断お茶会と学生とのミーティング。最近あまり職場で人と喋っていなかったことに気づく。喋ることで少しリラックスできたかもしれない。

2024/11/27 (Wed.)

• 考えれば考えるほど、パーセプトロンの収束証明が綺麗すぎることが身にしみる。線形分離可能でさえあれば、パーセプトロンが任意の学習率で収束することも知らなかった。損失が non-smooth であることがかなり本質的に証明を簡単にできている。理解は深まってきたけど、今なお自分の証明の本質的な進捗に至っていない。
• 気づけば11月ももう終わろうとしている。来月の北米出張の前にはできるだけ研究の進捗を出しておこうと思ったんだけれど。

2024/11/26 (Tue.)

• 今週末の科学哲学会の発表資料を一旦作り上げた。研究に心を囚われすぎてしまってスライドを作るのがかなり億劫だったのだけれど、実際スライドを作ろうとするとぼんやりと頭の中で考えていたロバスト性に関する課題意識を人に対して発表できる水準まで整理することを強要されるので、思考の整理にはなった。ワークショップでの発表に留まることなく、機械学習・統計の研究として研究課題を整理するきっかけになった。これで科学哲学会に来るような層に対して満足のいく発表になっているのかは未だに自信はないけれども。いずれにしても、自分の専門性を盾に欺瞞することなく、知的に誠実であるように心がけるしかない。
• 佐々木力の科学史論、下巻も半分くらい読み終わった。ちょうど第一次世界大戦後のワイマール共和国下での数学基礎論論争に差し掛かっており、形式主義対直観主義の論争が面白い。僕は形式的に式が変形できただけではどうにも腑に落ちず、式の意味合いを（特に幾何的に）求めようとする傾向があり、どれくらい近いのかはわからないけれども直観主義的な感覚を持っているように思う。一方で、ウィトゲンシュタイン的な言語ゲームは形式主義を道具として認めつつもゲームとしての言語・数学の応用に意味を見出すという点で、プラグマティズム的な意味を重視する立場とみなせるという主張がまた面白い。この時期の数学基礎論論争の結論として、形式主義に貫徹していてはそれだけでシステムが閉じることはあり得ず、外部的に意味を注入しなければならない、そして佐々木力の論ではそうした意味は科学史ないし一般歴史から与えられるものだ、という。ここが全章を通して著者が最も伝えたいパンチラインのように思う。

2024/11/25 (Mon.)

• 11月は週末出歩くこともほぼなく、ひたすら家に籠もって研究するか寝ているかのどちらかで生活が閉じている。寝ても覚めても打ち込まずにはいられない研究があるというのは僥倖でありながらも険しい道のりである。2週間くらい本当はやったほうがよいことが他にもあったのだけれども山積して研究に打ち込んでいたので、今日は流石にやるべきスライド作りに少し手を出した。悩ましい。

2024/11/23 (Sat.)

• 生活にやや支障をきたすレベルで研究のことを考え続けている。今日はお風呂の栓をし忘れてお湯を流していた。起きている間ずっと考えている。
• 『宝石の国』の最終巻を読んだ。珍しく学生時代から10年近く追い続けてきた漫画がついに終わったのは不思議な感覚である。感想は非常に言いづらい。ハッピーエンドとは言いづらいが、主人公の望みは最後には叶えられたという意味では良かったのだろう。

2024/11/22 (Fri.)

• 計算が思うように進まないときはなんとなくネットサーフィンすることが多いのだが、何の気なしに Shipra Agrawal の業績リストを見ていたら、意外にも年に2、3本程度しか論文を書いていないことを知った。彼女ほどの大物でも。でも理論家としてはその方が自然なのだろう。ひとつの解くべき問題を定めて時間をかけてじっくりと解く。その方が学生に対してもじっくりと時間をかけた指導が可能なように思われる。僕のように注意散漫でいろいろな問題に手を出してはヒットアンドアウェイ、グラント申請するときも今あれに興味があると思えば今度はこれに興味があり、軸がブレブレ。結局僕は何をやっているんだろう、という気持ちになる。
• 同僚と NF もとい北部祭典を覗いた。吉田でやっている NF に比べてマニアックな出店が多く、淡水魚の焼き魚からブラックバスの天ぷら、果てはラオス料理まで、一癖ある店だらけ。京大っぽい独特な空気感が漂っている。
• 進捗がなかなか出ないなりにも、なんとか勾配法の overshoot と undershoot を防ぐための十分条件はそれぞれ書き下した。ここから十分条件が実際に成立することを確かめる段階へ。こうやって小さな一歩を重ねていくのみ。

2024/11/21 (Thu.)

• 今日も特に進捗はない。昨晩お風呂の中で考えていたときに少しだけ進んで十分条件が記述できたが、そこから先にまだ進んでいない。こうやって日がな5、6時間も唸っているのに進めないと悲しい。証明が得られることを祈るかのようにノートに向かっている。

2024/11/20 (Wed.)

• IBIS から帰ってきて早10日ほど経つが、研究での目立った進捗はない。勾配降下ダイナミクスの幾何学的描像は目に見えて理解できているにもかかわらず、それを数式に書き起こすことだけができない。数学力が足りないことに対してもどかしさを感じる。
• 今日はインドの学生とミーティングした。モチベーションがすごい。来日するまでの間の時間も無駄にすることなく、意欲的に研究をはじめようとしている。自分は研究をはじめた頃はこんな感じだっただろうか。自分にできることは時間的にも能力的にも限られているが、その中でこういうキラキラと目を輝かせている若者が活躍できるようにサポートしたいものだ。

2024/11/19 (Tue.)

• 研究室で学生が就活と博士進学で迷っていたので、「どの道を選ぶにしても『そんなに嫌いではない』かどうかを基準にするといいのでは」という話をした。積極的に没頭できることをベストフィットで探し出すのは難しい。実際にやってみないとわからない。それよりは生理的に耐えられないことを避けられればそれで良いと思う。人間、結局のところこだわりは強くないものだし、こだわりが強いのであればそもそもこの時点で迷っていない。

2024/11/18 (Mon.)

• 佐々木力の科学史論を読んでいてアレクサンドル・コイレという20世紀の科学史家を知った。アプリオリズム、つまり科学的事実は観察に基づく帰納主義から導かれるものではなく、カント的な超越論的観念論から生じるものであるという考え方を強く標榜していたらしい。それを主張したくなる気持ちはわかる。「理論は認識論のオルタナティブ」(2023/03/27) という考え方自体、アプリオリズム的気配を部分的に帯びている。僕自身は理性では観察と経験の重要性が大事であるとは思いつつ、感性と本能ではアプリオリズムに惹かれているんだろうなと気付かされた。
• 先週 (2024/11/13) よりだいぶ気持ちが収まってきた。査読業務を淡々と終えて研究にそれなりに没頭できているからだと思う。結局多忙になればなるほど、自分のやりたいことができなくなればなるほど、心の余裕がなくなってくるのだろう。自分の心の性質として。これから先、管理職に不可避的に昇進していくだろうけれども、「自分のやりたいことをやる」を根底において心の健康を保たなければ。

2024/11/17 (Sun.)

• どうしようか迷っていた ANA のダイアモンド修行、アメリカに行けるのも確定して年末までにどれくらいのプレミアムポイントが貯まるかもわかったことだし、計算してみたところ帰省の途中に那覇に寄るだけで計算上はダイアモンドクラスに上がりそうだということがわかったので、意を決して那覇に寄ることにしてみる。しかも少し良さそうなリゾートホテルを抑えた。日頃頑張っているし、年末くらいちょっと贅沢したっていい。

2024/11/15 (Fri.)

• なにかにつけて歩いているときもジムでトレーニングしているときも人と喋っているときも、loss landscape のことをつい考えてしまっている。それだけ没頭していると少しずつ光明がさしてくるもの。Self-bounding の仮定がなくても示せるような気がしてきた。Loss landscape を幾何的に思い浮かべると証明の方針もなんとなく立ってくる。やはり自分には幾何的に考えたほうが直感が湧きやすく理解も進みやすい性質がある。
• それと、Gumbel loss を使った回帰でも logistic loss のときと同様にきちんと EoS と相転移が綺麗に起こった。Gumbel loss 自体は3年前の自分の小ネタ研究 (2021/01/24) でこっそり提案していただけで、世間的には全く日の目を浴びている仕事ではないけれども、こうやってきちんと役に立つ日が来る。そして実験結果が全く理論を裏切っていない。最高にきれいな結果である。
• アメリカビザが発給された。那覇まで面接に行ってから29日 (2024/10/17)。去年も24日くらいで発給された記憶があるが、2年前は51日だった (2022/08/05)。まあ普通は1ヶ月くらいを見ておけばいいだろうか。何はともあれこれで年末の出張は安心だし、中期出張が確定したのでそれまでに研究を必死で頑張ろうという気持ちになってきた。

2024/11/14 (Thu.)

• Ali とのディスカッションは、僕が研究の方向性をしっかり見極めることなくはじめてしまったことで先が見通せなくなっているのが申し訳なく思う。たぶん新人のための教育としては、僕らが半分くらいやりかけた研究を途中で引き継がせて、見様見真似で残りを仕上げるような形にしたほうが良いんじゃないかという気がしてくる。次の学生はそういう方向性で導くのを試してみたほうがよさそう。
• Modified Huber loss の実験はバグを発見したが、loss landscape のプロットをしてみたり試行錯誤して定性的な理解はだんだん深まってきた。Logistic loss で収束して modified Huber loss で収束しない理由は見当たらない。少なくともトイデータの loss landscape では。これをきちんと式で証明できれば十分な貢献だと思う。日がな考えていたがまだ決定的なアプローチは見当たらない。さてどうするか。

2024/11/13 (Wed.)

• 悩みが尽きないのでついに上司に相談するにいたった。すると一言、「『研究をしなさい』と催促されるのは幸せなこと」と言われた。たしかにそうかもしれない。今から研究がうまくいくかどうか悩んでも仕方なくて、どのような形であれすでに見込んでくれている人がいるのだから、大人しく引き受けても良いのではないか。研究者なのだから、研究で忙殺される（それも自分が啖呵を切った研究で）のは本望なのかもしれない。
• 査読をやりたくなさすぎて、査読論文を読みながらつい片手で実験を回していた。Averaged gradient descent を実装して modified Huber loss で回してみたところ、非常にきれいな収束曲線が得られるようになった。しかも数値的に収束レートが logistic loss より速いようにも見える。「既存研究では large stepsize の最適化現象をロジスティック回帰の構造に強く依存する形で解析していたが、実はそれは本質的な構造ではなかった」というストーリーで論文が始まったら「おおっ」っとなるかも。劣勾配法の収束証明を拡張する方向性で進んでも良さそうだという自信が湧いてきた。
• 追記: 晩ごはんを食べ終わってずっと頭に引っかかって気になっていたので実験コードを見直していたら、この期に及んで勾配の符号が間違っているというバグがあった。修正した途端、vanilla GD できれいな曲線を描くようになった。喉元に刺さっていた小骨が取れた気持ちのする一方で、解析の方針を立てるのは一からやり直しである。かろうじて進捗はあったということでまだ救いがある。

2024/11/12 (Tue.)

• 周りの人たちを見渡すと学生とか周囲の人を巻き込むのがうまいなと思う。自分自身の興味の軸がまずあって、それと他人の興味のインターセクションを綺麗に設定できて、そしてかつ人の提案するアイデアを面白がることができる。僕自身、そういう人に相談して壁打ち相手になってもらえると精神的に大きなサポートになるにもかかわらず、自分が相談相手になっているときは全く人の精神的サポートになれるような相手になれている気が全くしない。自分の気持ちがすぐに態度に出ている。というか面白いと心で思えないものは面白いと口にすることはできない。
• 悶々としている。研究をこのまま続けられるのだろうか。一方で一年前の日記を見返すと、当時も積もりすぎた仕事に忙殺されていた様子が残っている (2023/11/06) が、なんだかんだ言って生き延びている。いつもギリギリのところで生き延びている。

2024/11/11 (Mon.)

• 気にかけないといけない学生の数がだんだんと増え、グラントの成果もこれから定常的に出していかなければならないというプレッシャーが漸次的に押し寄せてきていて、自分のキャパシティにますます収まる気配が見えなくなってきて憂鬱である。どうしたら良いのだろう。正直ひと一人に働ける量には限界があり、僕自身にこれ以上のパフォーマンスを望むのは非常に厳しいように思う。研究は好きな方だし、この業界の端っこで食っていくことはできるという自負はあるけれど、それでも大きな量の仕事に忙殺されてしまったら嫌になってしまうだろう。こんな状況下で誰が人間としての正気と研究者としての矜持を同時に保ち続けられるのだろう。

2024/11/08 (Fri.)

• そんなこんなで家に帰ってきたが、やはり一週間の疲労の蓄積は相当だったらしく、日中に4、5時間ほど寝ていた。今年の IBIS ははじめて運営に携わったのもあって個人的にもより一層楽しめたと思う。明日からまた日常に戻って研究しよう。

2024/11/07 (Thu.)

• 4日間の IBIS が終わった。ほうぼうから「コンセプト通り今までよりもオープンな IBIS だった」「勉強になった」のような声が聞こえてきたのは嬉しい。身を粉にして4日間働いた甲斐があった。当然自分もポスター発表を楽しませてもらった。学生に聞かれてはじめて気づいたけれど、IBIS に参加し始めてもう9年連続来ている。来年で人生の3分の1を IBIS とともに過ごしてきたことになる。そんなに時間が経ってしまったのか。
• 帰り際に会期中にできたら行きたいと思っていたスパイスのお店に寄って、ファラフェルやタジンと日本酒という組み合わせを体験した。ところが、帰りの宇都宮線を逆方向に乗って土呂駅についてしまい終電を逃し、仕方なくホテルを取るにも最寄り駅を間違え、そしてホテルにつくも予約日を間違えていたという、三重の ADHD をキメる。こんなことがあるだろうか。電車に乗り間違えるのも終電を逃すのもはじめてで、よりによってこんな荷物の多い日じゃなくてもいいのに。良い意味でも悪い意味でもこの日は忘れないだろう。

2024/11/06 (Wed.)

• 去年の IBIS (2023/11/01) に比べるとそこまでは飲み歩いていない（少なくとも日が超えるまでには戻ってきている）が、まあまあ疲労は蓄積している。地味に常に細かい仕事があり気を張っている必要がある感じがある。まあこういう文化祭の仕事は嫌いではないのだ。
• チュートリアル後に個人的に齊藤さんに「もし KPI をハックされたらどうするか」と聞いたときにもらった「それは KPI が悪い」という答え、甘利先生の今日の「（そろそろ引退してもよいと思っているが）でも気になる」という言葉、今年心に残った言葉集。

2024/11/04 (Mon.)

• IBIS のチュートリアル運営業務が終わった！僕がスピーカーというわけではないけれども、どうやってスピーカーに気持ちよく話してもらえるかを必死に考えながら頭と手と口を動かす。至らないところはありすぎたけれども、それでも会場は盛況だったし、僕個人としても達成感がある。久々の仕事終わったときの脱力感。明日からはもう少し気楽に参加できる。

2024/11/03 (Sun.)

• 昨日のライブで体力を使い果たしたらしく、昼前までホテルで寝ていた。出張先で珍しい。
• 地下鉄の中でちょっと聞こえてくるフランス人の会話、「L’États-Unis」とか「six」とか簡単な単語が少しずつ耳に入ってくる。長文全体の意味を取るにはまだほど遠いけれど進歩は感じられる。Pimsleur をはじめて早2ヶ月が経とうとしている。
• 出張先のホテルで黙々と仕事をこなす。今シーズンの査読をなんとか終えた。明日から学会だ。

2024/11/02 (Sat.)

• そんなことでおよそ1年ぶりの社会人バンドのライブだった。宇都宮のジャズフェスらしく（僕は初めて知った）、駅前のアーケード内の相当な広さのあるステージで、地元の老若男女に囲まれて演奏する、とても和気あいあいとした雰囲気のあるイベントだった。9年前学生時代に行った金沢ジャズしかり、街角ライブは得も言われぬ良さがある。こればかりは観客に支えられている以上、感謝するしかない。
• 今回は6曲中3曲もソロがあって非常に大変だったが、最後の一週間の個人練習でなんとかソロ尺を吹き切ることはできるようになった。当日は先週のバンド練習のときの出来栄えよりはよかった手応えはあったものの、録音を聞き返してみるとどうもタイムが良くない。究極的にはこれも練習力の不足なように思われる。自分の実力に納得はいかないものの、正直社会人の傍らでやる楽器の練習量はもう結構ギリギリであるという事実に直面する。これ以上大幅に増やすのは難しい。歯痒いがどうしようもない。

2024/11/01 (Fri.)

• 秋葉さんと久しぶりにランチに行った。2年半振り (2022/01/13)。こうやって何年経ってもたまに会える関係でいられるのは嬉しい。「人を採用するときには何を見るべきか」「日本の地理的なディスアドバンテージをどうやってアドバンテージに転化するか」みたいな話をしたり。自分のフェーズ上、自分の仕事をどうやってグローバルな研究の潮流の中に位置づけるのかを考える機会が増えてきているので、壁打ちの相手になってもらえるだけでも本当に助かる。
• 仕事をやらないといけないと思って、誰ともディナーの約束をしなかったのだけれど、そういえば（国内）出張に来て誰ともご飯を食べないのはかなり珍しいかもしれない。そのせいか物寂しく感じる。でもこの捻出した時間で研究を進めようと思っていたんだ。自分の選択。