Dec 2023 - Han Bao

Random thoughts in Japanese. All optinions are my own.

2023/12/31 (Sun.)

実家の近くのモールにたぶん10年ぶりくらいに散歩で行った。なんとなく記憶に残っていた、やや場末感の漂っていたあのロッテリアはいつのまにかシアトルコーヒーに変わっていた。知らないうちにカルディが店を構えていた。片田舎にもこうやって資本が入っているんだな。
実家でとくにやることがあるわけでもないので、ゆっくりと共著者の原稿に返事を返していたら、今年の残りももう10時間もなくなってきた。数日前に比べると多少は年越しする資格があるような、そんな心持ちになっている。今年は原稿に出張に発表にたくさんの仕事をこなしたと思うが、それと引き換えにこれまでになくかなり大変な一年だったようにも思う。来年はどうすべきか。昔先輩に「研究者になってから毎年単調増加に忙しくなっている」と冗談めかして言われたことがあるが、容易に想像がつく。自分に無理のない範囲に留めて、できるだけ長い時間楽しく仕事ができるような働き方を心がけたい。

2023/12/29 (Fri.)

帰省に向けて移動。移動中に少しずつ共著者の原稿を読む。オンライン最適化に関しては自分では全く研究ができていなかったが、証明がシンプルで勉強になる。明日少し追記をするくらいの精神的余裕はでてきたような気がする。その程度書くくらいの元気は出て欲しい。

2023/12/28 (Thu.)

本当に驚くほど低出力。まったくなんのやる気も起きない。今日は絶対にもう無理だと思って職場にすら行けなかった。その間にも共著者が自分の書いたお世辞にも整っているとは言い難い原稿を緻密に直して送ってきてくれているのが申し訳ない。それだけはせめて返事をしなければ、と思って、ギリギリのやる気を振り絞って最低限の返事を返す。これ以上は何もできない。

2023/12/27 (Wed.)

やらなければならないことが山積していて心理的負担としてのしかかってきて、病み上がりなのも相俟って全く動きたくない日々が数日続いてしまっている。元々入っていたミーティングには何とか力を振り絞って出かける（が意味のあることを喋れるほどまだ頭は回っていない）。年度内はまだまだやらなければならないことが山積し続けるだろうな、と思うと、年末だけれどもどんよりとした気分になる。
僕が仕事を楽しいと思えるフェーズはどこにあるのか。部分的には楽しい瞬間ももちろんあるけれど、そのフェーズはあまりにも短いような気がする。徹頭徹尾楽しいということはありえないだろうし、今は比較的細かいことを詰めなければならないフェーズだという認識はあるけれども、今後の人生ずっとこうやって耐え続けることができるのだろうか、と思うと全く自信がなくなる。
年末だし一度仕事のことを忘れるというのも手だろうか。仕事は全く納まっていないけれど。

2023/12/24 (Sun.)

ようやく本調子が出始めて、手元で研究が少しずつ進みつつある。本当は週明けにミーティングの予定だったのでもっと早く終えておくつもりだったんだけれども、今週は寝込んで相当低出力だったので全然思うようにいっていない。振り返ってみると、3ヶ月前からあまり研究が進んでいないような気がして、少し悲しくなる。まだやりたい研究はたくさんあるんだけれどな。

2023/12/23 (Sat.)

5日ぶりくらいにまともに外出した。去年の Brian Eno Ambient Kyoto (2022/07/24) の続編の、Ambient Kyoto に行ってきた。いろいろと思うところはあるものの、やはり言及せざるを得ないのは新会場・京都新聞ビル地下工場跡での坂本龍一『async』をベースにした作品だろう。『async』は正直苦手なアルバムの一つだったのだが、今日の体験を通して現実の解体と再構成という意味を見出したような気がする。それが廃工場跡地という会場ともよくマッチする。よく企画できたものだなあと感心するし、まさか普段往来する丸太町の地下にこんな巨大空間があったとは驚きだ。

2023/12/22 (Fri.)

アルゼンチンのビザが出た。フライトも抑えてしまっているし、これで物理的にはアルゼンチンに行けることが確定したわけだ。にわかに信じられない。南米旅行？片道のフライトでさえも14時間を2本乗り継ぐ？パタゴニアを拝めるのか？
今年の振り返りを書いた。書き出してみたらすごい数の出張に行っている。長さはまちまちだけど18回。今年もよく動き、よく働いた。日々の生活では自分の仕事の効率の悪さに辟易とすることも多いけれども、振り返ると一年でまあまあ遠くまできたものだと思う。

2023/12/21 (Thu.)

やや倦怠感は残って、さすがに普段通り8時間は作業していられない。ただ、年末に誘われまくっていた忘年会の類が減らせたのは少しラッキー。
予期はしていたが、数学者と論文を書くとなると「言語」の違いからお互いにとって理解可能な形で原稿を書き上げるのに時間が想像以上にかかりそうな気がしてきた。原稿を確認してもらっていたが、まだまだ全然序盤の方で止まっている。どうするべきか。でもこれは共同研究の経験という意味でも、学際（？）研究という意味（知らない人から見たら同分野にしか見られないだろうけれど、実際のところかなりの異文化交流だと思う）でも、一度は乗り越えておいた方がよい壁のような気がする。なかなか険しい道程ではあるが、もう少し辛抱強くやってみようか。

2023/12/20 (Wed.)

今日には咳はやや残っているものの熱は落ち着いてきて、座って仕事をすることができるくらいには回復してきた。年明けにかけてキャパシティの限界まで抱え込んでしまった締切に向けて、少しずつでも良いから前に進もう。
ベッドの中で横になっている時間が長かったので、つい「理論に何の意味があるのか」という問いを反芻していた。機械学習は本質的に工学的（であると仮定）だから理論との相性が悪いと一刀両断して良いものか (2023/12/13)。自分は今の機械学習コミュニティにおける、新しいトレンドにアルゴリズム屋も理論屋も皆飛びついて、（長期的スパンで見れば全く古いわけではないはずなのに）「古くなった」トピックが「解き切られることがないまま」に放置されて死屍累々と山積する現状は、学問的に非常に不誠実に感じていた。それは投資の観点から見れば至極真っ当だけれども、学問的、倫理的、もっと言えば個人の感情の問題として処理ができない。このやり切れなさは、資本主義的に見れば全く合理性を欠く態度だけれども、僕の生き方や信念（=「道」）に照らし合わせて道理があると言えると思う。そこで最終的にある問題を「解き切る」役割も、理論は担っているのだと思う。前に「理論は認識論のオルタナティブを与える」ということを述べた (2023/03/27)。この文脈において換言するならば、理論は「解き切る」という概念の well-defined な定義を与えると言っても差し支えないだろうと思う。何が目的なのかを測定可能、操作可能な形で定式化し、解の最適性を論じることで、はじめて我々は望んでいる答え（≠ 客観的・絶対的「真理」）に近づいているのかどうかを識ることができる。この意味では先の半年前の主張よりも理論に対して積極的な擁護（現象の予測可能性という副作用的、プラグマティックなご利益を標榜するのではなくて）をすることができて、理論があってはじめて問題が定式化され、理論があってはじめて神託とアルゴリズムが峻別できるのだ。元来、計算機科学とはそういう道程を歩んできた。
ただしここでいう「理論」概念は、おそらく狭義の理論概念と一致しない場合があるかと思う。論理を整理するために、たぶん「理論」の特質を一度顧みておく必要があるだろう。
最近仕事の忙しさに託けてブログを半年以上サボって書いていなかったのだが、この辺のことは一度整理してアウトプットしておかなければならないという気持ちが日増しに強くなる。年末年始に勢いで書いてしまおう。

2023/12/18 (Mon.)

会場でコロナかインフルか何かを貰ってきてしまったらしく、命からがら帰国便に乗り込んだ。アセトアミノフェンを腹に詰めて自宅までたどり着く。今日は多少良くなったのか良くなってないのかよくわからない。

2023/12/14 (Thu.)

今日は Krzysztof と一緒にポスター発表をしていた Wojciech Kotłowski とはじめて話をすることができた。4年前のヨーロッパ出張 (2019/09/08) で訪問しようと思ったときは都合がつかなかったキリで、4年越しに会うことができた。二人の研究をどれくらいリスペクトしてきたかを伝えて、自分の COLT 論文の紹介をしてきた。ようやく会えた喜びはひとしお。
昨日考えていた理論と実験、コミュニティの興味と自分の研究のアラインメントあたりの話を考えていたら、寝覚めが非常に悪くなってしまった。今日も会場で会う知り合い（COLT で会った Columnbia の Clayton Sanford など）とそんな話を雑に吹っかけていた。そういえば Yifei も含めて無意識に同世代の Ph.D. をもうすぐ取るか取り立ての研究者に話していたせいもあるかもしれない。みんな大海の中で自分の進むべき道に関して悩んでいる。それは若手特有の悩みなのかもしれない。今日の午前中なんか特に気分が悪かったけれども、こういうことで悩めて、そしてその末に道を選ぶことができる自由があるという状態は、ある意味で恵まれているのかもしれない。自分の納得がいく答えにたどり着けるだろうか。

2023/12/13 (Wed.)

今日も今日とて Vinod、Anqi、Yutao、Yifei など、自分の過去の研究で関係していた著者たちに鉢合わせる機会に巡り会えた。NeurIPS、やはり来るものだと思った。
Yifei とは機械学習理論が向かうべき方向性について話し込んだ。結局2023年で contrastive learning は既にトピックとして賞味期限を迎えてしまったわけで、理論として意味がある（コミュニティが興味を持っている）のは言うまでもなく LLM。ただ、もう2023年も終わりかけになっていて、今飛び込むのは既に時すでに遅し。Contrastive learning で北米コミュニティから周回遅れで研究していたときと同じ轍を踏むだけ。Yuandong は「正しい」時機に「正しい」トピックをやっていたということを痛いほど思い知らされる。じゃあ理論家は何を研究するべきなのか。若い青二才には世界が大きすぎてとても太刀打ちできないような大きな壁として立ちはだかる。
そのまま夜は某氏と日本の IBIS コミュニティなどについて話をしていた。先日北九州に行ったときも現地で何人かと話題になっていたが、IBIS は理論のトピックに偏りすぎなのではないかという話。内輪のコミュニティになっていて新規参入者に対して門戸が狭くなってしまっているし、第一世界のコミュニティとの興味の比重とアラインしていない。でも、それではコミュニティとしてどの方向に進んで、最終的に何を目指すべきなのか。色々話を聞き出して考えた結果、結局はリーダーシップを多極化するべきなのではという話。それに関しては完全に同意。海外コミュニティで時折感じる理論研究者としての居心地の悪さは、畢竟研究トピックの多様性の欠如による疎外感にあると言える。国内では理論と応用の比重が逆転しているがゆえに、逆方向に淘汰圧がかかっているということ。でもここで一周回って理論研究の意味はなんなのか、という問題に戻ってくる。わからない。僕はエンターテインメントである以上の答えを持ち合わせないし、一応その答えを信じているし、信じるように努めている。一筋縄ではいかない議論だけど、普段の周囲の人間との会話ではそこまで踏み込んだ話はしないというか、あまり主義信念の根幹まで踏み込むことを厭わない人がいないので、こういう機会は壁打ちとして非常に助かる。でも答えは得られない。

2023/12/12 (Tue.)

ランチ会場で適当にその辺のあいている席に声をかけて座ったら先客が Yuandong Tian だったり、ポスター会場を歩いていると COLT のときに会った Gleb や Stefan と出くわしたり、たまたま Krzysztof Dembczyński に会って ETU vs. PU の枠組みについて短時間で熱く語り合ったり。オフライン国際会議ってこんなにもエキサイティングだったか。自分が最後に大規模な会議に出たのが ICML2018 で、当時は青二才（青二才なのは今もだけど）で業績も何もなかったから自分の研究の発表だけで精一杯だったけど、数年経って久しぶりに会場に来てみると全く違う景色が見える。
Yuandong と少し話した「数学的に細かいところを詰めることよりインパクトのあるストーリーを作りあげることに注力すべきだ」という話、どうしても反芻してしまう。かたやその通りだ、コミュニティを巻き込む研究をしないと意義が大きくないと思いつつも、かたやゼロサムゲームでしかないように思えて、素直に賛同できない自分がいる。こればかりは今に始まった話ではない。でもこういうタイプの話を力説する人は、そもそも人を巻き込むことの功罪に思いを馳せたことがまずないような気が勝手にしていて、気軽に穿った質問をする気持ちになれない。そして結局自分の中で悶々とする。

2023/12/11 (Mon.)

時差に耐えられずに昼間居眠りし続けてしまっている。明日こそ時間を逆転させなければ。
チュートリアル、過剰パラメータモデルの話は良かった。分散がなぜ過剰パラメータ系で減衰するのかの直感はわかりやすかったし、どういう仮定が二重降下を示す上で効いてくるのかというのも重要な知見だった。

2023/12/10 (Sun.)

機内ですこぶる仕事が捗っている。査読コメントを書き、原稿の推敲を行う。生産的な時間を過ごすことができると精神衛生にとっても良い。
羽田空港でヒューストン行きの搭乗口まで行くと、若干想定はしていたものの、同業者がたくさん待っていた。前々から一方的に知ってはいたものの面識のなかった同世代研究者にはじめて挨拶できた。と思ったら、機内で隣の席だった。僕らの国際学会はここからもう始まっている。
飛行機の中で和辻『風土』を読み始めた。内容はなんとなく知っていたが、いつかはきちんと読んでおく必要があると思っていたので。中身に直接関係はしないが、和辻の論はどこまで客観的に検証可能な説なのだろうか。10月にドレスデンでなんとなく経済学者と「ウェーバーって現代経済学者から見たらどうなんですかね」という話をしたところ、「正否を検証ができないから残念ながら科学として取り扱えない」という答えだった。それはその通りだと思う。ただ、仮に科学者が科学者として操作的に定義可能な対象しか扱えなかったとしたら、それは未知の世界に対して口を噤んでしまう寂しい態度なのではないかと感じてしまう。僕たちはこの両面の折り合いをつけることができるのだろうか。

2023/12/09 (Sat.)

大学のときの研究室の後輩から連絡が来て、何事かと思ったらどうやら機械学習の論文を紹介する YouTube をはじめたらしい。そういうタイプだと思っていなかった上に、できあがった動画を見るとやたらとクオリティが高く、二重に驚いた。
ついにアルゼンチン行きの航空券を勢いで買ってしまった。ビザもまだ出ていないのに。航空券の値段がずっと10万円くらいの幅で揺れていたので、タイミングを見ておそらくこれよりは安くならなさそうだというところで買った。南米、果たしてどんなところなのか。
明日の早朝から飛行機に乗る。6年ぶりの NeurIPS、あまりに久しぶりすぎる。6年前は初めての国際学会で、これに参加したおかげでだいぶモチベーションが上がった記憶がある。

2023/12/08 (Fri.)

とりあえず全てのパターンのダイナミクスに対する計算コードは書ききった。いくつかのパターンでテストランしてみると、3時間かけてもまだ計算が遅々として進まないケースがある。これに関しては更に高速化しないとどうしようもない。

2023/12/07 (Thu.)

およそ2日かけてシンボリック計算のコードを書き上げた。とりあえず手元にある一ケースに対して計算を回してみたら、サーバーで4時間ほどかかっていたようだ。残り6ケースある。試行錯誤を回すのはなかなか厳しい計算時間だ。焼け石に水のような高速化を行ってみたが効果があるかは自信がない。ひとまず計算をざっと終わらせて、週末の飛行機に乗り込む前にダイナミクスの全体像を掴みたいところ。
夕方頃にもう少し本気で並列計算化をやったら、4時間の計算時間が1時間半くらいに短縮された。これは悪くない。オーダーに着目して高次項を落としたりしたら途中の総和計算がもう少し速くなったりするかしら。
ノーランの『オッペンハイマー』が結局日本で公開されることに決まったらしい。これで海外出張の隙間時間を工面して観に行かなくても済むようになった。

2023/12/06 (Wed.)

SymPy のコードを久しぶりに開いて修正しているが、遅々として進まない。コードを書き終えたとして現実的な時間で計算が終わるのか一抹の不安も残る。
今年も IBIS のプレゼンテーション賞（ただしファイナリスト）をもらった。今年も例に漏れず発表時間中ずっと聴衆が絶えることなく、最後には喉を枯らしきるくらいエキサイティングなポスターセッションだったので満足している。良い研究をして、良い論文を書いて、良い発表をする。そのプロセスが好きでいられていることに安堵する。

2023/12/05 (Tue.)

東京から帰ってきてそのまま一泊二日で白眉合宿。相変わらず研究者キャリアから他分野の研究にわたって夜中まで話が絶えない。体力は使い果たしたけど行ってよかった。
週末の結婚式の思い出をまだ反芻し続けている。本当に良い時間だった。既にもう会いたいという気持ちになっている。

2023/12/03 (Sun.)

結婚式の後、まさか新郎新婦に呼び出されて部屋で日を越えるまで語り明かすことになるとは思っていなかった。こんな素敵な思い出を僕が貰ってしまって良いのか。今日この日に二人とゆっくり話ができたという事実の有り難さを、寝て起きて思い返して噛み締めている。
友達が実は先週の NF のライブ (2023/11/25) の動画を観ていたらしく、ソロが良かったと褒めてくれた。僕自身体感良かった気が全くしていなかったので動画が送られてきても絶対に再生したくなかったのだが、お世辞にもそう言われたら見てみようかという気持ちになった。実際のところ、タイム感が出ていないのはだいたい想像していた通りだが、体感ほどは酷くなかったというか、書いたソロ譜をロストした割には吹けていて、ところどころ面白いフレーズもあった。こんなことあるものなのか。もう少し定期的に楽器を練習してみようかな。ポジティブにもう少し上手に吹きたいという気持ちになれた。

2023/12/02 (Sat.)

友達の結婚式。気づけばもう10年来の付き合い。遠いところまできてしまったものだなあ。二人がお付き合いし始めたときからよく近況は聞いていたので、文字通り自分ごとのように嬉しい。結婚式一般としてめでたい場ではあるけれども、その中でもなお一層良い結婚式だった。後生こんなに良い会があるのか自信が持てないほど。自分は祝辞のスピーチという大役を任されていたので、終えるまでは半ば手に汗握る思いだったけれども、終わってみると友人からも好評で安堵したし、何よりも喋る内容を考える過程を通じてこの10年の思い出を振り返るきっかけになった。ありがたい役回りを貰ったものだ。余韻に浸っても浸りきれない。まだまだ向こう暫くは今日の佳き日の思い出を噛み締めていそうだ。

2023/12/01 (Fri.)

板倉くんのスタートアップを訪問した。ACT-I で同期だったときからあっという間に早5年、僕は僕で京都で研究者、彼は彼で代表取締役になっていた。5年という年月も経てばキャリアステージも大きく変わる。彼は相変わらず点群処理一筋で事業化にまで漕ぎ着けていて、その一貫性には脱帽する。5年前の時点で点群処理に着目していたところが彗眼だと言わざるを得ない。
その後はいつも通り14号館へ。いつの間にか、数理5・6・7研の助教が全て知り合いになっていた。類は友を呼ぶというものなのか。学生時代はほとんど関わりのなかったはずの14号館が、気づいたら自分にとっての居場所になっていた。
ようやく self-attention の weight dynamics の分類ができた。整理したら7パターン。これから7パターンそれぞれの dynamics を解く必要がある。これ自体はもうかなり計算作業に落とし込めている。が、dynamics の導出が SymPy でスムーズにできるか。夏休みにやっていたときは1パターンの dynamics の導出のシンボリック計算にすでに1時間くらいかかっていたから心配ではある。ここさえ乗り切れば。