Han Bao

Random thoughts in Japanese. All optinions are my own.

2023/11/30 (Thu.)

• Self-attention の研究、2ヶ月前 (2023/10/03) に（筋肉で押し通せばできなくはなさそうだけど）あまり綺麗に解けなくて躓いていたポイントが、今日久しぶりに1日見つめ直していたら（多少は）綺麗な解が見えてきた。寝かしておくものだと思う。しかしここから先は本当に計算力勝負。逆に言えば計算過程は別にもうそんなに面白い訳では無い。手早く計算し終えて結果を知りたいところ。
• 明日から東京に行くので落ち着かない。地味に2ヶ月半くらい (2023/09/13) 行っていない。

2023/11/29 (Wed.)

• 一旦今できているところまでで証明をまとめておいた。仮定がやや強すぎるが、微分可能ない関数を扱おうとすると途端に技術的なハードルが上がるので、このあたりが現時点では落としどころか。悪くはないけれども一押しに欠ける感もある。一旦共同研究者の判断を仰ぐことにする。
• ようやく2ヶ月近く止まっている (2023/09/19) self-attention の研究に戻れそう。あまりにも昔過ぎて、自分がどこまで何をやったのかを思い出すところから始めなければ。12月にはアメリカ出張もあるし、今の間に大枠をできるだけ叩き上げておかなければ。

2023/11/28 (Tue.)

• 何度考えても、（コンパクト集合の）制約付きでかつ non-smooth な最適化の取り扱いの難しさに直面するし、凸解析の道具をもし使いこなせたら問題を綺麗に書き直せるんだろうなという予感がする。ただ、今考えている問題は一般に凸とは限らないし、僕にはこの問題に対して凸解析の道具を上手に使いこなせる自信がない。果たしてどうやってまとめれば良いんだろう。悩み続ける11月。
• 夏休みにウォン・カーウァイの『ブエノスアイレス』を観てから (2023/09/18) 妙に『Happy Together』のメロディーが頭の中を駆け巡ることがあって、南米大陸への憧憬が募る。最近再燃しつつあり、どうしても頭を離れないのでついにアルゼンチンビザの申請手続きに踏み切ってしまった。「まだ引き返せる」と心中で唱えながら。

2023/11/27 (Mon.)

• 突然秋葉さんと雑談することになった。ほぼ2年前のランチ (2022/01/13) ぶり。Stability AI に移った後、いま取り組んでいる課題とか、技術的に仕入れている情報とか、そういう情報交換をした。「機械学習は昔より『簡単になった』」（Dropout や batch normalization のような特殊技を組み合わせる必要がなくなり、スケール則に従ってリソースを投下すればだいたい成功する）という言葉に含蓄があって面白かった。Sutton の “A bitter lesson” を思い出す。理論屋は何を目指すべきなんだろう。
• 僕は「いつも北米のコミュニティの研究から2年遅れている」という話をしたら、「それは開発の現場もそうだ」という話になった。僕らはいつになったらフロンティアに立てるのだろうか。

2023/11/26 (Sun.)

• NF 明けて一夜、いつもライブまではなかなか音源が耳に染み付かないのに、だいたいライブが終わると耳に染み付いている。あまりうまく吹けなかった手前、今頭の中でできれば勝手に反芻してほしくないのだけれど、もうそういう体なのだから耐える他に仕方がない。
• 二条駅前の Cafe Phalam に行った。二条界隈ももう3、4年目になろうとしているのに、ここは実は初めて入った。二条界隈は駅近にはあまり居心地が良いカフェがないのが個人的にやや難点だった（こればかりは駅近一般の難点）のだが、Phalam はなぜか全く混んでいなくて居心地が良い。

2023/11/25 (Sat.)

• NF のライブをやった。ソロはもっと速いテンポで練習しておけばよかったと悔やむ。想定より速いテンポだったので思わずロストしてしまい、お茶を濁すようなアドリブをやってしまった。あと1週間練習できていたらもう少しマシだった気がする。こればかりはもう仕方ないけれど、後生そんなにライブをすることもないだろうに、一回一回の機会はもっと大切にすべきだと身に沁みて思ってしまった。
• はじめて西部講堂に入った。吉田の本部キャンパスにいると普段はもはやイメージするような「京大らしさ」の面影を感じる機会も相当減ったけれども、西部講堂は未だに京大のディープなカルチャーが残っていた。21世紀にもなって吉田寮も少し（本当に少しだけだけれども）綺麗になってしまって、そういう京大の雰囲気が失われつつあるのが良くも悪くもあり、だから今のうちにこのアングラな文化を目に焼き付けておけてよかった。

2023/11/24 (Fri.)

• Jason Lee が訪問にきた。テクニカルな話から学生のリクルーティングまで、裏話をたくさん聞けた。自分の今年の COLT の仕事を喋るタイミングがあったのだけれど、elevator pitch でありつつ要点は話せて、面白がってくれたみたいなので良かった。
• Sanjeev (2022/11/24) にしても Tengyu Ma (2023/03/16) にしても、この1年くらいでアメリカの憧れ研究者が日本に来て話をする機会があるのは嬉しい。直近だとニューオーリンズで会えるだろうか。折角こうやって話をする機会ができたのだから、なんとかしてこの機会を将来的に活かしたいもの。

2023/11/23 (Thu.)

• 少し前にひょんなことから NF でのライブに誘われたので、先月ヨーロッパから帰ってきてから少しずつ楽器のリハビリをしていた。今日の個人練がたぶん本番前最後か。数奇なことに、こちらのライブでも My Centennial をやることになった (2023/02/11)。リードの調子を整えるのが大変で今回も本当に本番までにリハビリが間に合うのか冷や冷やだったが、今日の個人練ではだいぶ安定して吹けるようになってきた。

2023/11/22 (Wed.)

• 本当に面白いくらいに、不等式を抑えられたと思っても束の間、絶対にどこか途中の過程で不等号が成立しない方向に反転している。1日に一度くらい抑えられた気がしては、結局うまくいかない。関数の局所的な凸性とか平滑性があれば直感的には抑えられるような気がするのだけれども、どうにもすっきりとうまくいかない。
• 気晴らしに、今日からどうやら始まっているらしい NF に出かけてみた。この雰囲気、懐かしい。結局自分が大学院生だったときは、最後の数年はコロナ禍でこういうオンサイトの学祭ができなかったから、入場制限もなくやっている学祭の雰囲気は久しぶりかもしれない。普段のフレッシュだけれども落ち着いた雰囲気のあるキャンパスとは違う、浮足立っていて京大には似つかわしくない雰囲気に包まれるというのも、滑稽でありながらもなかなか見られない風景で趣があるかなと思う。そういえば気づいたらキャンパスの中もようやく紅葉めいてきた。秋が終わる。

2023/11/21 (Tue.)

• 緊急依頼の査読業務も終えて、ようやく落ち着いてきた。のだが11月も下旬になっている。今年も気づけば残すところわずか。今の束の間の時間を全力で研究に投入したい。
• 面白い研究ネタは次々と湧いてくる。後は形にするだけ。悔やまれるのは自分の効率の悪さのみ。まだまだやりたい研究はたくさんあるのに。

2023/11/20 (Mon.)

• 結局過去最もリバッタルを頑張った。おかげでより良い論文にはなったと思う。ここまで頑張ったので採択されて欲しいけれど、質は間違いなく上がったので、一旦自己満足にひたっておくくらいで釣り合いが取れている。
• リバッタルや原稿修正で1週間ほど放置していた定理の証明に戻ってきたが、どうにもこうにもうまくいかない。ほしい不等式を目指して少しずつ下界を緩めていくのだけど、少し油断して緩めすぎると不等式が成り立たなくなってしまう。そろりそろりと近づいていき獲物をじっと睨んで狙うこの感覚、なんというか虫取りのような感じ。数値的にはそこはかとなく成り立っててくれていそうなので、ほんのあと一歩のところで証明できそうな気がずっとしているのだけれども。
• 面接に来た知り合いと少しお茶をした。面白い話ができる相手だと知っていたので、1時間しかない時間の中で文脈をフルスロットルで共有して聞きたいことを聞いた。「周囲を巻き込めるような学問分野を自分で築き上げたい動機はどこからくるのか？」それは数十年後に自分の興味があることでコミュニティができたら＊自分が＊楽しいだろうから。「目指している研究の方向は何か？」既成のモデルの当てはめで導出できる現象を追うのではなく、逆に多様な現象から数理的構造を誘出するのが面白いのではないか。主張の反証可能性を担保するのが重要なのではないか。「理論の意味とは何か？」資源の効率性を追求するためではないか。特に理論限界の場合は。
• こういう話がぱっとできる相手というのは代えがたいし、挨拶がてらでも声をかけてもらえるのは嬉しい。

2023/11/19 (Sun.)

• 今年4回目の神護寺へ登った。紅葉シーズンに来たのは初めてで、相当混雑するという噂だったので少し怯えながら向かったけれど、全然思ったより混んでいなくて快適に見て回れた。今年は天気が10月になっても例年になく暑かったり、その後急に気温が落ちたりしたためか、紅葉も全体的にあまり色づきの良くない印象だけれど、神護寺ではまあまあ豪勢な紅葉を見て回ることができた。毎年一回でもいいから、こうやって紅葉が見れる場所に足を伸ばして、季節を楽しむ心の余裕を保ちたいもの。
• リバッタルの追加実験を予定していたよりもこだわってしまい、一週間くらい微調整を続けてしまっている。そろそろ切り上げたい。

2023/11/17 (Fri.)

• 海外からビジターが来て、共同研究に誘われそうになっているけれど、なんとかのらりくらりとギリギリのところで回避しようとしている。山積しているやるべきことの中で優先度が高くない。どう考えても自分は時間が割けないし、その状態で共同研究に巻き込まれるのは両者にとって無責任なことだと思うから。
• スノー『二つの文化と科学革命』を読み終えた。前の『サイバネティクス』は随分と時間をかけてしまったが、こちらは数日で。読みやすくはあったが、当時それほどまでに反響を呼ぶほどのメッセージ性があるかと言われると、大事なテーマでありつつもやや陳腐なメッセージにも聞こえる。それも半世紀前のメッセージだからなのかもしれないが。自分としては、むしろ解説で引用されていたヴォルフ・レペニースの「科学は今や文化体系である」という主張の方が印象に残った。

2023/11/16 (Thu.)

• リバッタルを書いた。うち一人の査読者はかなり丁寧かつ有益なフィードバックをしてくれていて、先行研究との比較や追加の実験を行う過程で論文がブラッシュアップされた実感がある。最近はリバッタルを適当に済ますことが多かったので腰は重かったが、これはやってよかった。他の査読者にもそれなりに力を入れて返信を書いた。すごく可能性があるとは言えないけれど、そんなにチャンスが無いわけでもない気がしてきた。
• お昼に学生さんと話していたときに、計算機科学における実験の先行と、現代物理における理論の先行の対比について考える機会があった。今までは無邪気に2つの違いを見つめていたけれども、よくよく考えてみると2つが指す「実験」の中身が異なる。物理における理論とは、そもそも物事を見る枠組みを与える認識論的な構造物であって、理論がなければ実験＝観測も認識論的に成立し得ない。一方で、計算機科学では実験＝プラグマティックな試みがそもそもの現象論なのであり、現象をモデル化する理論が後追いすることに矛盾はない。2つの分野における理論と実験の先行・後追い関係に、実は何らの矛盾もないのだ。

2023/11/15 (Wed.)

• 学生さんが確率的最適化の研究をはじめたのをキッカケに集中不等式に関する質問を結構してきてくれるようになったのだが、自分の集中不等式に関する理解が全然十分でないがために、雲をつかむようなコメントしかできなくてもどかしい。同時に、質問に答えるために調べている過程で、集中不等式に関する理解が少しずつ深まっていく。だいぶ昔に知った TIS の不等式が、最近 Vershynin で hypercontractivity を勉強していたときの不等式と頭の中でつながった。このあたりの話も、地味にもう3回くらい再訪している（2018年にはじめて Lugosi 本を通読したとき、今年上半期に Vershynin を読んでいたとき、そして今回）。これくらい繰り返し勉強して、はじめて何かがわかってくる。当然のことと言えば当然のことだけど、それを我が身で経験するのには随分と時間がかかったものだ。

2023/11/14 (Tue.)

• 今日も朝からコツコツと原稿を書く。初稿でごちゃごちゃしていた構成が幾分かすっきりしつつある。峠は乗り越えている気がする。毎日少しでも手を付ける。これがやはり鉄則。
• 来客とミーティングをするのに東一条館を使った。大学の建物らしからぬ新しさで居心地が良い。

2023/11/13 (Mon.)

• 急に寒くなって冬めいてきた。気温的には先月イギリスにいたときくらい。あのときは日本との気温差がやや堪えていたけれど、こちらの気温も追いついてきた。
• 朝の2時間を使って原稿を書く。毎日少しでも書くことが精神的にも重要。今週でこの原稿をなんとか乗り越えよう。

2023/11/12 (Sun.)

• 来週のミーティングに備えて、今のうちに説明可能性のサーベイを進めておく。論文と講演動画にあわせて6本くらい目を通した。講演動画だと掃除をしながらでも聞けるので便利。平日にやるには自分の本業と直接関連しないので時間を浪費している感があるから、休日にやるくらいが（進捗もなんとなく産んでいる感じがあって）ちょうどいい。
• 考えれば考えるほど、日本の機械学習コミュニティの地盤の弱さから目を背けずにはいられない。そもそも自分のような特に目立った業績もない（正確に言うなら、仮にベイエリアとかアイビーリーグにいたら一瞬で埋もれてしまう）ような若造にジョブオファーが来ている時点でトップ層の不在は明らか。研究が三周遅れとかそういう次元の話ではなくて、そもそも誰もまともに比肩できていない。自分の知ったことではないと言えばそれまでだけど、もう少しコミュニティが活発になってくれたほうが仕事のやり甲斐もある。いや、国内にだって尖った同業者はいるけれど、ただ指折りで数えられてしまうのが問題なわけで。本当ならもっとそこら中にいても良い。

2023/11/11 (Sat.)

• 今季の査読業務を終えた。最後の1本の論文はタイトルを見ただけで大方の中身は予想がついて、読んでみても本当にほぼ何も新しい情報がなかった。テクニカルには正しいけど、こういう論文をどう扱うべきかいつもわからない。「新しい知見がほとんどない」以外に返すコメントが見当たらない。こういう研究に出会ったときが一番コメントに窮する。昨日のセミナーもそう。既存のテクニックを組合せただけの研究で、組合せ自体から何か新しい知見が生まれるわけでもない。できるだけ建設的な提案ができればと思って知恵を絞るものの、特に気の利いたコメントは思いつかない。
• 一方で自分の論文 (2023/09/28) への査読が返ってきた。極めて平均的な評価で、どちらかと言えば厳しい雰囲気が漂っている。仮定が強いのはそうなのだけれども、その中でも非自明なダイナミクスの違いに面白さを感じてくれれば良いのだけれども。まあここ一年くらいは自分の主著論文に対する査読評価は軒並み良いのが続いていたので、こういう回もある。週明けにやる気が出たらレスポンスを書く。それこそ一喜一憂するほどのことではない。

2023/11/10 (Fri.)

• 存在しないやる気を振り絞って原稿を1ページ書いた。論考の書き出しをどうするか考えあぐねていたが、ちょうどウィーナー『サイバネティクス』をここ1ヶ月ほどゆっくり読んでいたときに見つけた一節が使えそうで、それで少し書いてみた。科学的世界観を規定する書き出しになりそうで、その方が議論の屋台骨がしっかりするので、論考の出だしとしては悪くはないんじゃないか。この1ページを書いただけでも、自分から見れば大きな前進だと思う。ことにする。
• とんとん拍子で進路選択が終わった。最終的には前後10日程度。大学受験なんて数年かけて親や教師を交えてじっくりと進路を慎重に検討するのと比べると、あまりにもあっさりとしていて本当にこれで良いのかと思ってしまう。まあ20も過ぎれば今後はこの調子なのだろう。この選択で良かったのかどうかは今はまだわからない。
• 地味にお気に入りだったミッフィーのエコバッグをなくしてしまった。多分朝のバス停でなくしたと思うのだけれども、道を引き返しても見つからない。使い勝手が良くて可愛かったので喪失感が大きい。

2023/11/09 (Thu.)

• 本当は原稿を改稿しなければならないのはわかっているけれど、半ば現実逃避的に研究をしている。証明できたと思った主張が、はじめの箇所で凸性を間違って使っているためにコケていた。半日かけてもなかなか証明は直らないけれど、凸関数を頭に思い浮かべているだけで気持ちが少し落ち着く。こういうときの研究は変な話だが楽しい。
• 進路選択に関する連絡を方々にしなければならず、このメールを書くのに大量のカロリーを消費してしまう。悩んで、決断して、調整して、連絡して。そろそろ一段落して欲しい。

2023/11/08 (Wed.)

• キャリアをどうするべきかの選択を突きつけられている。今に始まったことではないが、十数年このかたこういった岐路における選択はいつも受動的だった。選択をした後にどうなるか色々と考えれば考えるほど、どちらか一方を選ぶ考えがなかなかまとまらない。一週間ほどどうするべきか、堂々巡りで考え続けている。しかし時間はもうそれほど待ってくれない。

2023/11/07 (Tue.)

• 共同研究者に書き上げてもらった証明のスケッチを解読して理解する。自分がCOLT 投稿前 (2023/02/09) に一度通った、どうにもうまく証明できないつらい気持ちが蘇ってきた。ただ、局所的な2階微分可能性を凸関数に仮定しさえすれば、弱めの仮定で証明が通りそうな気もする。ここはもうすこし詰めるところ。
• 原稿の推敲が辛すぎる。大学院生が初めて論文を書くときの校正ってこんな気持ちなんだろうか。自分が初めて論文を書いたときを振り返ると、そうでもなかったような記憶がある。やっぱり本質的に自分の科哲に対する興味は所詮酒の席での与太話程度の水準で、自分を捧げるほど没頭できるものではないのだろうか。

2023/11/06 (Mon.)

• 仕事が積もりすぎていて割りと憂鬱。査読はあと2本だけど、とりあえず脇においておく。書き進めなければならない原稿が同時に4件あるのがしんどい。うち2本は自分の専門でもない話なので、なおのこと気が進まない。けれども毎日少しでも書いて進めた方が良いのだろうな。明日は絶対にやる。残りの2本は自分の研究、なのだけれど、どちらも共同研究者を巻き込んだので、完全に待たせている状態になっている。今日は共同研究者からもらった計算の過程を自分の原稿と統合しながら、細かいところを少しだけ詰めた。自分の研究なので、こちらは（相手を待たせている状態とは言えども）やる気はまあまあある。けれども鉄が冷めないうちにやりきらないと、自分のモチベーションが保てない。来月のアメリカ出張の前には大方の目処を付けておきたい気持ちはあるが、これだけ原稿を抱えているとスケジュール的にはなかなか厳しいように見える。

2023/11/03 (Fri.)

• 昨日は Gretchen Parlato のライブへ。Gretchen Parlato は個人的にとても好きなジャズミュージシャンの一人で、はじめてアメリカに行った2015年冬のボストンでふらっと立ち寄ったライブハウスで聴いてから実に8年ぶりに生で聴けたので、思い出深い。氷点下20度のボストンの冬を思い出す。前は Alan Hampton とのデュオだったので、カルテットで Butterfly を聴けたのは初めて。一日経った今でさえもあまりの格好良さに痺れている。

2023/11/01 (Wed.)

• IBIS の4日間、本当にあっという間だった。今年もご多分に漏れず、ポスター発表が盛況かつ好評だったのが嬉しい。単著だったので一人でポスターの前に3時間立ち続けて、ほとんど留まることなく人がやってきて説明を続けていた。ポスターは結構力を入れてわかりやすく作ったつもりなので、その甲斐があった。
• 某先生と二人で小倉の港を眺めながら話をした。5年前、一介の修士の学生でしかなかったとき、5年後にこうやって小倉の港で四方山話をしている日が来ると想像できただろうか。ノスタルジーを感じる。