Random thoughts in Japanese. All optinions are my own.
2024/03/31 (Sun.)
- 昨日は一日 Nutt とのんびりとカフェでディスカッションした。損失関数の構造についてここまで踏み入ってスムーズに議論できるのは、自分の身の回りではやはり Nutt しかおらず、少し話すだけで新しいアイデアが生まれる。やるべきことは整理できたから、後はきちんと論文の形にするために頑張るのみ。
- 気まぐれで思い立ってマルゲリータを焼いた。先週ホットクを作るときに生地の発酵に失敗して落ち込んだものだが、今日は分量を厳密に計測してやったらとてもうまく焼けた。何の材料を入れたか全部把握しているのもあって、ジャンキーな味が一切しない、健康的なピザだった。
2024/03/29 (Fri.)
- 実に5年振りの杉山研同窓会だった。知っている人は果たして来ているのだろうかと思いつつ会場を覗いていたが、思った以上に自分と同世代の人たちが集まっていて、しかも本当にコロナ以降一度も会ったことのなかった人たちがいて、みんなが元気そうにしているのが見れたのが良かった。人生のスケールだと5年という長さは本当に馬鹿にならないから。知っている学生さんも博士卒業間際だったり、博士に進学しようとしているタイミングだったり。ずいぶん時間が経ったものだなあ。
- 年度末のせいか都内のホテルが尋常でなく高かったのだが、なんとか蔵前に手頃なホテルを見つけた。蔵前なんて東大を卒業して以来初めてだろう (2022/02/06)。D2、D3のとき、もう今後こんな機会はないかもしれない、と思って蔵前や隅田川の界隈をよく散歩して、ランニングして、カフェに居座っていたのは本当に良かった。2年ぶりに訪れる蔵前にもかかわらず、3分も歩いただけで当時の思い出が溢れ出す。東京でどこが一番自分の思い出に溢れているかと聞かれたら、下北沢も捨てがたいけど、でも絶対に上野と蔵前だろう。何度暗い気持ちで突然友達を呼びつけて上野のガード下で酒を飲み、何度自粛ムードの気晴らしで蔵前を散歩し回ったことか。
2024/03/28 (Thu.)
- Frank Nielsen が京都まで訪ねてきてくれた。そういえば彼は Sony CSL が京都にもあるから来やすいのだった。まさか会うのは2018年夏にストックホルムで COLT に参加したときの banquet 振りで、むしろ当時一介の修士学生でしかなかった自分を覚えてくれていたことのほうが驚きだった。6年前からは随分時間が経ったもので、あのときから比べて自分の研究に対する興味の解像度も相当上がって、そして奇遇なことに Frank と似たような凸共役の構造に興味を持つようになっていた。同じ日本にいるのだからそのうち議論してみたいと一方的に思っていたのだが、向こうからお声がかかるとは光栄の至りである。
- やはり気になるところは「凸共役の理論をこれからどう応用・活用していくべきか」という点。今日話した中では、mirror map の逆関数を近似する一般論、正規化定数の計算を緩和する一般論、そしておそらく一番面白く挑戦的なのは、(M,N)-凸のように凸関数の deformation familty を考えることによって指数型分布族を超えて一般のノンパラメトリック分布を扱うことができるようになるか？という疑問。これは多かれ少なかれかなりインパクトがあると思っていて、結局過去一世紀の数理科学は線形と凸性に大きく支えられてきたと同時に、非線形・非凸なシステムに関してはほとんど全くと言っていいほど進展がなかったと言っていいはずで、こうした deformed convexity の一般論が非凸システムを扱う一助となるのであれば、程度問題はあるにはせよ数理科学全体の記述言語を発展させる試みになると思う。一年前 (2023/03/15) に甘利先生ともフランクに似たような雑談をしていたが、Frank の与えてくれた示唆はよりこの方向に取り組もうという意欲を湧かせてくれた。
2024/03/27 (Wed.)
- ブエノスアイレスの本屋で買った CD をようやく PC にインポートした。あまり余裕がなくて、帰国してから1ヶ月近く経ってようやくできた。コンスティトゥシオン広場や7月9日通りの風景をありありと思い出す。
2024/03/26 (Tue.)
- Crouzeix’s identity がなぜ成り立つかちゃんと考えたことがなかったけれど、よく考えればただの逆関数定理の系だった。知ってから3年間、一度も気づかなかった。
- 沖縄から帰ってきた後の1週間で、focal loss に関する知見が深まってきた。伊達に4、5年 proper loss のことを考え続けてきただけあって、たぶん他の人にはなかなか見えないであろう損失関数の構造が見えてきた。相変わらずマニアックだけど、良い研究になりそうな予感。
2024/03/25 (Mon.)
- 卒業生の追い出し会をやった。人が集まるのかと思ったけれども、結局4回生はみんな集まってくれて卒業のお祝いができた。普段そこまで研究室で会うわけではなかったけれども、こうして話すとちゃんと個々人のキャラクターがはっきりしていて面白い。理想的には研究室にもう少し人が集まったら賑やかになってよいのだけれど、いまの世代の学生さんはみんな就活で忙しくてそうもいかないのだろう。
- 雨が続く。3月はこんなに雨が降る季節だっただろうか。
2024/03/23 (Sat.)
- NHK 文化講座での一般向けの講演の仕事が終わった。年明けからずっと頭のどこかにこの仕事のことがあり続けたので一つスッキリした。90分の長さの講演をするのは内容を用意する面においても時間調整をする面においても一筋縄ではいかないのだけれど、今日実際にやってみて幸い「計算機は一連の手続きを機械的に実行しているにすぎない」というイメージは聴衆にうまく伝わったような気がしていて、あと地味に時間調整も喋りながらうまくできた（本当は100枚くらいスライドがあったけれど、途中絶対に時間が足りなさそうだったので2トピックくらいスキップしたらちょうど90分におさまって、心の中でガッツポーズしていた）。
- スライドを作る過程で Keynote を開いて気づいたのが、実は10月に Bristol で発表したとき (2023/10/13) 以来今日まで5ヶ月、一度も口頭発表をしていない（IBIS や NeurIPS のポスター発表を除く）！年明けの ICML、COLT の締切にこの間に仕上げた新作の研究を2、3つも投稿できたのは、発表の負担が少なかったのが間違いなく一つの大きな要因だと思う。M2 の秋に3ヶ月で6発表もやったせいか、全く研究が進まずに苦しい思いをしたのをいまでも思い出す。自分で競争的資金を取っていたとしたら少なくとも1、2の発表はあっただろうから、ひとえに白眉のおかげであることを実感する。
- 浮いた時間で明日からもしっかり研究する。Unconstrained feature model 関連でもしかしたらかなり面白いかもしれない研究ネタを、昨晩シャワーを浴びているときに突然思いついた。研究が楽しみだ。
2024/03/22 (Fri.)
- 学生さんの学振の申請書の添削をしていた。結構根本の論理構成の組み換えからガッツリを手を入れて、本人の横で逐一伝えたので、昨日と今日で3、4時間くらいはかかったけれど、相当構造がクリアになった手応えがある。学生さん本人も納得がいったように見える。こういう教育はやりがいがある。
- 自分はひたすら構造化の手助けをしていたのだが、ふと「なぜ申請書は構造化したくなるのか」と自問すると、結局人間の理解がモジュラリティに基づいている（と思われる）点に帰着されるのだろうなと思う (2023/02/19)。そう思うと機械学習で獲得していると思われる知識法則、言語モデルが獲得しているように見える言語の性質は本当にモジュラリティを備えているのか、と問いたくなる。
2024/03/21 (Thu.)
- Simon Du のトークが今日だったので、体を叩き起こしてなんとかいつも通りの時間に大学へ。朝から少し自分の研究を進めて（proper loss の変種が一応ある形のもとでは Bregman divergence として書けそうなことはわかった）、それから Simon とランチに行ってからトークをしてもらった。内容はすごく技術的で、頭をフル回転させてなんとかついて行ったけれども、高度な証明に基づく内容にもかかわらず直感を噛み砕いて喋っていたので自分でもギリギリのところで食らいつけた。勉強になった。そういえばトークの半分は去年 COLT で聞いた内容だったことに後から気づいた。
- しかし夕方には疲労がどっと押し寄せた。三日振りくらいにまともに活動したのと、そもそもホストで気を回す必要があったのが二重に重なった。
2024/03/20 (Wed.)
- 京都に帰ってきてずっと燃焼しきった状態が続いていて、今日も一日ほとんど寝て過ごしてしまった。明日にはなんとか普段の生活に戻らないと。
2024/03/17 (Sun.)
- 沖縄から帰ってきて16時間くらい倒れていた。MLSS の運営を終えて一安心したけれど、さすがに体力の限界すぎた。まだ夢うつつで、明日から普段の仕事に戻れるかどうか。
- 東京に向かう直前に京都に来ていた Han にふらっと会って一杯コーヒーを飲んだ。沖縄にいたときもお互い忙しかったし、思えばこの一年間沖縄やドイツで何度か会う機会はあったものの、カジュアルな話をするほど余裕はなかった。ただの一時間の世間話だったけれど心の栄養になった。4年前が最初で最後の Urbana-Champaign、行きたいなあ。
2024/03/13 (Wed.)
- Francesco の講義が頗る良かった。自分がなかなか時間を取って online learning の勉強をいままでしてこれなかったのと、Francesco の OMD や FTRL の話す順番の構成、それから本来はかなり複雑な枠組みであるはずの coin betting が明快に説明されていて、自分のための勉強としては申し分ない講義だった。証明をできるだけ単純にしようという哲学も感じられた。
2024/03/12 (Tue.)
- 会場の片隅で自分が興味のなかった講義を揶揄しているのが聞こえると気分が良くない。あなたが興味がなかったとしても、その講義がためになっている他の人が周りにいるかも知れない。批判的なフィードバックは重要なのだけれども、建設的なフィードバックではなくてただ揶揄的に言い散らすのは雰囲気が悪くなるだけ。自分も周りを見ずに適当な発言をしてしまうことはままあるので戒めたいところ。
- 一方で多くの参加者からはありがたいことに運営に対する激励の言葉をもらえている。元気づけられる。
- 会期中の雑談で、in-context learning の理論解析の設定が人工的すぎるのではないか、という話をしている。いまの主流の解析設定は訓練分布も n-way k-shot であるような meta-learning の設定で、普通に in-context learning と言ったときの next token prediction が事前学習になっているタイプとは大きく異なる。ここのギャップが埋められたら面白いと思うのだけれども、悠長に構えているとどうせ半年もしないうちに誰か手を付けてしまうのだろうな。
2024/03/11 (Mon.)
- 月末の一般向け講演のスライドをなんとか作り終わった。アルゼンチン旅行中にできるかなと思ったけど、やっぱりなかなかやる気が起きなくて今日までかかってしまった。104ページ。どれくらいかかっただろう、昔のスライドを部分的に切り貼りしたりしながら10時間くらいだろうか。作り上げたら割と悪くない雰囲気。沖縄来てから MLSS 運営以外の仕事時間はほぼこれに費やしていたので、ようやくこれで晴れてスライド作りから解放されて研究ができる。5月に向けてやりたい研究がたくさんある。
2024/03/10 (Sun.)
- 去年の夏の古宇利島サイクリング (2023/07/02) に引き続いて、海中道路ビーチまでサイクリングをしてみた。恩納村から往復でだいたい 45km くらい。電動アシスト付きだったので、古宇利島のときと比べてそんなに大変ではなかった。相変わらず海が綺麗なのは言うまでもないし、田舎道でふと見上げたときに青い空と背丈の高い草しか見えない、みたいな風景がとてもぐっと来る。日焼け止めは流石に塗ったほうがよかったが。
2024/03/08 (Fri.)
- あっという間に1週間が終わった。今日は緊急パネルディスカッションのモデレータも務めて、すごく体力を使ったけれど達成感がある。モデレータを誰がやるかというときに多分「やりたいです」オーラを無言で出してしまっていたと思うし、半ば自分が気持ちよくなるためにやっていたのも否定できないけれど、どうやったら前のパネリストから次のパネリストへバトンタッチできるかをパネリストの話を聞きながら次の議論テーマを考えて頭をフル回転させて、そしてちゃんと繋がったときの綱渡り感、ギリギリの「いま生きている」感がある。
- 「理論の役目は何か」とか「若手研究者が目指すべき道は何か」などのテーマでなかなか重みのある話があった中で、個人的には Han の “Don’t be ambitious” の一言が印象に残った。彼は「量的に」ambitious でなくても良い、という文脈で言っていたけれども、「質的に」も ambitious でなくても良いと思う。それは別に研究のレベルを下げて良いという話ではなくて、辿り着けない桃源郷を追い求める前にやるべきことがあるだろう、という話。参加者からのフィードバック、手応えもある。
- さすがにモデレータははじめてだったと思うけれど、座長も思い返すとそこまで経験がない。Sanjeev のとき (2022/11/10) と (2022/12/14) くらいだろうか。それにしても楽しい。座長だとスピーカーの話を聞き逃せないプレッシャーがあるから、話もちゃんと聞けるボーナスがついてくる。毎日やっていたら研究できないけれども、たまにこうやってやるのはとても良い。
2024/03/07 (Thu.)
- Shai Ben-David がレクチャーのみならず質疑でも活発に私見を述べてくれて本当に勉強になる。勝手に Shai は数学・理論計算機科学を突き詰めている人だと思っていたのだが、数学や論理による抽象化の限界、「価値」判断の問題から目を背けていることに全く臆することなく言及しているのに衝撃を受けた。僕も長いこと数学と「価値」の問題については自分で考えてきたけれども、なかなかそれに立ち入って議論する人はいない。それを Shai のようなシニアな研究者がやっているのには勇気づけられる。
2024/03/06 (Wed.)
- 参加者で実は Song の学生で去年のブリストルでのトーク (2023/10/13) を覚えてくれていた人が何人かいて嬉しい。こういう地道な活動で少しずつコミュニティを広げていくのは、こうやってあるとき突然手応えが跳ね返ってきて嬉しい。
- 朝の7時から夜の9時まで英語を喋り続けているとさすがにヘトヘトになってくる。そこまで英語は苦手ではないとは思いつつも、どうしても最後の方になるとしどろもどろになる。悔しい。でも逆にこれくらい高負荷で英語を喋り続ける（しかも司会や誘導のようなそもそも英語でなくてもかなり負荷のかかる立場で！）ことで訓練になっている。のではないかと信じる。
2024/03/05 (Tue.)
- 今日の講義はたまたま一日ずっと学習理論関係の話だった。みなさんとても導入的に講義を作ってくれたので、自分は内容自体としては割と知っていることが多かったけれども、既知なのとそれを系統的に理解し直すのはまた別の話なので全く問題なく楽しめている。「この人だとこういう視点で話すのか」とか「こういう順序で説明するとわかりやすいのか」とか発見はいくらでもある。オーガナイザー特権で最前列で聞けるのもライブ感があって良い。
- コーヒーブレイクの雑談でいろいろな人と自分の最近の研究を話す機会があるが、最近多様なトピックに手を付けていたのがあって、自分の研究でも何をやっていたかうまく思い出せなくてしどろもどろになってしまう場面があって申し訳ない。これはこれである意味研究の海にいい意味で「溺れている」感じもあって、没頭できていて幸甚の至りであるとも言える。Self-attention 論文にいたっては、3人目くらいと話しているときになってようやく concise にまとめて喋れるようになってきた。まあ学会のポスター発表も後半になると上手になるのと同様で結局はそういうものではある。
2024/03/04 (Mon.)
- MLSS 1日目。ポスターをロスバゲした参加者のためにポスター印刷で駆け回ったり、座長をやりながら質問をつつがなくまとめたり、バスに参加者を漏れ無く乗せたり、と意外と大忙し。でも割とこういう文化祭的に忙しく動き回るのは嫌いじゃないなと改めて思った。
- 沖縄なのに天気が悪いのだけが本当に悔やまれる。数日でもいいからあのエメラルドグリーンの海を拝んで気分転換したい。
2024/03/03 (Sun.)
- 沖縄に到着。明日から2週間 MLSS。9年前（！）は学部生の一参加者でしかなかったのに、9年経ってまさか運営側に回る番になるとは思っていなかった。20代の10年間、大きく動いたものだ。
2024/03/02 (Sat.)
- 何もかもスケジュールが間に合わなくてひどいライブをする夢を見た。こういう夢をたまに見ているような気がする。
2024/03/01 (Fri.)
- 2週間ぶりに大学へ。お土産を配って歩いていると、久しぶりに会った人たちから日焼けしたと言われた。自分だとなかなか気づかなかったけれど、やはり雪焼けは相当していたらしい。
- 論文も投稿し終えて査読も片付けたので、久しぶりにのんびりと研究のことを考えていた。沖縄にいる間にどれくらい研究が進められるだろうか。