Random thoughts in Japanese. All optinions are my own.
2025/01/31 (Fri.)
- 上の世代の研究者を見ていると思うことがありすぎる。学生の原稿の添削マシンになるだけでなく自分で文章と論文を書け。物書きであるならば。足場の覚束ない形而上学に傾倒する時間は必要かもしれないが、それだけに拘泥するな。数学をやってプログラムを書け。研究者たる以上はものを考え、書き、作る。いくら多忙になろうともこれらのうちいずれかの活動からでも遠ざかってしまったらただの井戸端会議と変わらないし、どんなことがあっても考え・書き・作る時間だけは死守し続けなければならないと思う。
- 同分野の中で誰もリスペクトできない。だからこそ京大白眉にいられたのはよかった。
2025/01/30 (Thu.)
- 先月の Vancouver でのディスカッションの続きを Yutong と (2024/12/11)。最近はドイツにインド、アメリカと、国際ミーティングも増えてきた。目指している方向性に少しずつ近づけているような。
2025/01/29 (Wed.)
- 研究室のフランス人にフランス語で挨拶してその後少し簡単な（そして若干英語交じりの）フランス語で世間話するくらいはできた。悪くない調子。元々の目標自体がフランス語をマスターするとか崇高なものでもなくて、フランス人同士がフランス語で雑談している横で彼らが何を喋ってるかわかるくらい、という気持ちだったから。
- なんとなくの閉塞感を感じ始めたのはここ一ヶ月弱休息が足りていないからかもしれない。意味もなく横になって寝るべきだ。
2025/01/28 (Tue.)
- 今月は腹をくくってひたすら論文を書く、と決めたのに、毎日パソコンに向かってキーボードを叩いているうちに日に日に世界が狭くなっていくような怖さがある。一ヶ月前に北米から帰ってきたばかりなのに、週末にも白眉のシンポジウムに顔を出していたにもかかわらず、これは贅沢を言いすぎだろうか。僕が恐れているのは自分の好奇心が一点に集中しすぎてしまうことなのだろうけれども、なぜそれが怖いことなのだろうか。分散投資によるリスク回避と同じ理屈なのだろうか。それは違うと思う。もっとこう、他人に対する興味がなくなることに対する本質的かつ生得的な怖さがあるような気がする。
- どうしたらいい？時と環境が変わればそれが解決してくれる？
- 少しでも抵抗するために、一ヶ月ほど止まっていた読書を昨日から再開した。これも世界が狭くなっていく感覚を助長していた原因なのかもしれない。
2025/01/27 (Mon.)
- 原稿を直しては直す。その合間に自分の研究で残っている落穂拾い的な計算をする。L’Hopital の計算もそろそろ板についてきて、仕事の合間にやる気分転換のようなものになってきた。一見収束するかどうか全く自明に見えない極限が、L’Hopital を使った結果突如収束するようになるときが気持ちいい。微分をとる前は収束が非自明すぎて計算が絶望的ですらあるので、L’Hopital をとった瞬間は収束してくれるように祈る。本当に。
- まだまだフィードバックを返さなければならない原稿は積まれている。関わっている論文をみなより良い論文にするために。
2025/01/26 (Sun.)
- 出かけるまでに COLT 原稿を概ね書ききった。10日前くらい。まあこれくらいのタイミングでできているなら悪くないでしょう。
- 週末2日間にわたる白眉のイベント、行く前はちょっと億劫だったけど（締切もたくさん抱えている中だし）こういうのは行ったら行ったでやっぱりよかったとなる。12期の人たちとはよく会うけれども、13、14期の人たちと話ができる機会はそうそうないから。
- 総長やセンター長のプロジェクト運営に関する裏方話、わかってはいたけれどこのプロジェクトを各所からの圧力の中でどうやって維持するか、それを誰がどういう気持ちでやっているのかは心に留めておく必要があると思った。そう遠くない未来に自分も pay forward する時期が訪れるだろうから、先人がどんな気持ちで道を敷いてきたのかを知らなければならない。敷かれた道を踏みしめる価値の重さを知らねばならない。
2025/01/25 (Sat.)
- 「理論には二種類ある。一つは等式の理論（=力学系による予測と制御）、もう一つは不等式の理論（=最悪ケース評価）だ」という言葉が頭をよぎった。なぜ計算機科学の理論は前者ではあり得ないのかは立ち止まって考え直しても良いだろう。等式評価できるなら当然そのほうがいいわけで。
2025/01/24 (Fri.)
- 今日もよく頑張って共著原稿をたくさん直したな。人の論文をひたすら直すのはとても好きというわけではないのだけれども、石磨きのような、無心にひたすら作業した結果振り返って達成感があるような、そういうところがある。
- しかししばらく研究に追われていたせいで、昨年カナダから帰ってきた後から本を読む気持ちになれず、一ヶ月ほど読書をサボっている。日課として掲げていた以上できるだけ習慣として取り戻したいのだけれども。
2025/01/23 (Thu.)
- AISTATS と ICLR あわせて5本論文が通った！特に AISTATS は2本主著論文を投稿していてどちらも一回目の投稿で採択、他の3本の論文も理論面で相当によく貢献したと思う。1月期の採択だけでほぼ2024年の採択会議論文数を超えた。まあそれもそのはず、2024年の間も研究自体はかなり粘り強く続けていたから、それが一度に結実した感じ。個人的には予測市場論文がすんなりと通ってくれたのが一番安心した。査読者も逆最適化と予測市場という見たことのない組み合わせに困惑していたようで、通るかどうかはかなり運に依存しているだろうと思っていたから。
- 昨日に引き続き損失例の計算を続けていたのだが、Renyi エントロピーの計算結果が非自明で予想だにしていなかった。普通レートはエントロピーのパラメータに対して連続に変化するだろうと思っていたが、なぜか Renyi エントロピーの場合は q=2 のときだけ突然レートがよくなる。しかもこれは q=2 のときだけ。なぜそうなるのか皆目検討がつかない。L’Hopital の定理でひたすら極限を取っていたら、なぜか q=2 だけレートが改善した。全く理由はわからないけれども、こういう理論研究はワクワクする。
2025/01/22 (Wed.)
- 必要最低限読める状態まで原稿を書き上げて本文9ページ。急いで共著者に原稿を共有した。ようやくここまで来て少し安心。締切まで2週間、よくよく考えたら去年の ICML 投稿のときのほうがギリギリだった (2024/01/28)。ずっとこの研究に囚われた生活を4ヶ月ほど続けていたので、他の学生や共同研究者との議論に戻れる。何より日常生活の空き時間で研究のことを少し忘れられる（？）。明日からも引き続き頑張ろう。
2025/01/21 (Tue.)
- ひたすらに L’Hopital の定理を使って計算をがりがりと進める。自分の研究の興味上、1、2年に一度くらい L’Hopital の定理をひたすら使うフェーズに遭遇する。
- メインの定理は書けた気がする。今日は損失関数の例をひとつ追加した。手計算に時間がかかったのでそれほど進まなかったが、まあ進んでいるだけ良いだろう。明日は頑張ってディスカッションを書き直す。
- 10月からこの研究をやり始めて、寝ても覚めても移動中もずっと証明を考え続けて、ようやく方向性がまとまってきた。理想的には有限時間収束が言えたら良かったけれども、なにはともあれ研究としてまとまりそうな形が見えてきたことで、段々と頭の中が解放され始めている感覚がある。4ヶ月近く、正直かなり疲れたけれども、edge of stability や implicit bias に関する理解は相当に深まった気がする。
2025/01/20 (Mon.)
- 週末に行き詰まっていたレートの指数が n に依存する問題は、ちょっとした定式化の違いで回避できた。大したことではないが。それで導出したレートをいくつかの損失関数について数値的に計算してみたところ、割にロジスティック損失よりも良くなるような非自明な挙動が見られた。証明はわかってしまえばすごく簡単で、これを投稿するのは若干憚られるまであるけれども、2年前の COLT の話だってわかってしまえば証明はわずかに数行で終わる話だったわけなので、まあ丁寧に議論すれば悪い話ではないのだろう。これで書けるか？とりあえず簡易的に証明を書き起こしたので、向こう数日で数値例の追加や証明の厳密化をしていくことにする。
2025/01/19 (Sun.)
- 考えても考えてもうまくいかない。昨日はふと Simonenko order を使った評価をすると良い感じにレートが導出できるかと思ったが、今日考えてみたらレートの指数が n に依存して最悪な感じになることがわかった。解けそうで解けないという段階を2ヶ月くらい引きずっている。頭が痛い。
2025/01/17 (Fri.)
- コンビニのレジでレシート紙が切れたときにふと店員さんに「紙があれですかね」と言ったのだが、相当に壊れた日本語だなと思うと同時に、こういうフィラーだらけの言葉が口をついて出るかどうかが口語コミュニケーションの潤滑油として意外に重要なんだよなと思った。他の言語だったらなんて言うだろう。英語なら「The paper is like …」、中国語なら「好像纸那个、」みたいな感じだろうか。フランス語だとなんて言うんだろう。想像がまだ僕にはつかない。
2025/01/16 (Thu.)
- 難航していたインターン生とのオンラインミーティングで、ようやく実験から傾向が見えてきた。僕もここから進むべき実験設定を綺麗に思いついたので、今日はミーティング中に終始全員から前向きな雰囲気が感じられて良かった。自分の研究はまだうまくいっていないけれども、ちょっぴり浮足立つような嬉しさを噛み締めている。学生が前向きになっているのを見るとこちらまで嬉しくなる。
2025/01/15 (Wed.)
- 日帰りで東京出張。先月は都内には降り立っていないので、2ヶ月ぶりくらいか。あまり久しぶりの感覚もしない。
- 午前中は坂上さんと議論した。Large stepsize 研究の証明の大まかな方向性と現時点での挑戦がどこにあるのか、話せたおかげで自分の中でもクリアになってきた。いまだ証明できるかどうか不安が残り続けているけれども、それでも相談できたことによる心強さの方が勝っている。
- 夕方は来年度から来てくれる予定の留学生と会っていた。わかってはいたけれども、数理的な背景をきちんと持っているだけでなく、熱意と克己心があって、きちんと考えがあったうえで日本まで来てくれていて、とても心強い。会って2時間で理論研究がどうあるべきかという話まで踏み込んで話せた。最終的に来てくれたら面白い研究が一緒にできそうだし、同時に僕自身の責任も大きく感じる。
2025/01/14 (Tue.)
- 研究計画を書いていると、無意識のうちに自然と「技術権力にどのように対抗するか」を語っている自分がいることに気づく。2年前に中尾さんの本を読んで、それから「科学の物語」シンポジウムをするまで、そこまで技術権力を意識することはなかったと思う。たぶん中尾さんの本を吟味して、それから自分の思考を言語化したことによって、明らかにそれまでの自分とは違う思考が定着したように思う。そう考えると言語化による思考の定着の効果がいかに大きいかを実感する。
2025/01/13 (Mon.)
- ふるさと納税で頼んでいたラムチョップが届いたので、お昼に焼いて食べてみた。ラムチョップを食べるの自体はもう5年ぶりくらいな気がする。想像以上にジューシーな味だった。たぶん昔バルで食べたのよりも圧倒的に旨味がある。
- 三連休は原稿の証明部分を頑張って書いていたが、想定ほどは進まなかった。やっぱり自分の証明の中で1ステップどうしても気になる箇所で考え込んでしまった。喉に刺さった小骨が取れない感覚。
- 論文を書くためにもゆっくりと Telgarsky 周りの仕事をサーベイがてら読み進めていたが、何本か読めば読むほど gradient descent の持つ帰納バイアスの形は手に取るようにわかってきて、5年前に自分も同じ課題感を持っていたとしたら本気を出せば研究できたように感じられる。ただ、5年経った今ここで言うのは後出しでしかなくて、5年前の当時に、特に周りの誰もまだその問題に取り組んでいなかったときに信念をもって取り組めたことが大きいのだと思う。結局「いつも周回遅れで研究している」状態から、自分の信じる研究に没頭する段階に飛び込まなければならないことに変わりない。
2025/01/10 (Fri.)
- 示せるだろうと思っていた Legendre type の損失の self-bounding property、普通に反例が見つかってしまった。プロビット変換を持ってくると self-bounding ではない。思っていたよりもすんなりと反例が見つかって、これ以上時間を費やさずにすんでよかった。しかも数値実験ではプロビット変換を用いてもきちんと相転移が起こってロジスティック回帰のような収束挙動を示す。つまり、self-bounding property が本質でないことがより浮き彫りになってきた。すごく地味なことをやっているような気もするけれども、本質的と思われることの理解がより一歩進んだのは喜ばしい。
- Self-bounding property が本質でないなら損失関数のいかなる性質が相転移の本質なのか、もう少し深堀りするのが理想にも思われるけれども、これ以上頭の中だけで時間を費やしてはいけない。週末で急いで書き上げなければ。
2025/01/09 (Thu.)
- ここに来てすぐに示せるだろうと思っていた Legendre type の損失の self-bounding property が思うように示せない。一日考えてもまだ手がかりを掴めていない。こんなのすぐに示せると思っていたんだけれど。
- 年末の領域会議で高津さんがふとした折に言っていた「数学はどれだけ手を動かしたかにかかっている」という言葉が頭に引っかかっている。僕が数学に苦手意識があるのは単に手を動かした量が足りていないのか。自分では割に頑張って手を動かして計算していると思うのだけれども。
2025/01/08 (Wed.)
- ミーティングがなくなったので一日中研究に集中できる。少しずつ原稿を書いていって今5ページ目。既に紙の上で書いてきた証明の細かいところを詰めながら原稿にしていく。
- 年末に買っていた手首のサポーターを使ってみた。確かに腱鞘炎が防げるような気がする。もう少し長期的に使って様子を見てみたい。
2025/01/07 (Tue.)
- 今日もやらないといけないことを放りだして、できるかどうかわからない証明に没頭していた。年末の領域会議で同世代の研究者と雑談したときに「毎日各プロジェクトに決めた時間だけきっかり取り組む」ことを徹底しないとマルチタスクの時間管理はできない、という話になったばかりなのに、一度考え始めるともう気がその方向を向き続けてしまう。
- でもそのおかげか、帰り際にいままで散々苦しんできた漸近収束の証明ができたような気がする。しかも証明も本質的には既存研究の補題に加えて平方完成をするだけでできそうで、きちんと Fenchel-Young loss の構造も使っている。レートは最適ではないような気がするけど、これで証明できるのならシンプルで良い話のように見える。
2025/01/06 (Mon.)
- 出勤初日、まだ証明は完全に満足がいくところまで到達できていないけれどとりあえず原稿を書き始める。書いているうちに頭の中が整理されることもあるだろうし、人にも幾分相談しやすくなる。ひとまずイントロまで3ページ弱。今週前半でいまできているところまでは書いてしまいたい。振動列の収束もできたら言いたいのだけれど、振動しているからどうにも扱いにくい。劣勾配法の証明に倣ったら証明が回ったりしないだろうか。10月下旬から考え続けてきたこの研究、もう意外に時間は多く残っていない。
- 新年一発目の学生とのディスカッションで、厳し目のコメントをすることにした。いままでなしくずし的に自分の名前を論文にぶら下げてきたけれど、これ以上マイナーな論文を書き続けるのなら僕はあまり関わりたくないので、現時点では問いを練り直すべきだという旨を伝えた。博士も後半に差し掛かっているのだから、これくらいのことは誰かが言っておいて然るべきだろう。
- そんなわけで三十路に踏み入れた一日目、別にそんな普段と変わりがあるわけでもなく。淡々と着実に自分のやるべきことをやっていこう。
2025/01/05 (Sun.)
- 正月で親に会って話したり空いた時間で物思いに耽ったりして、向こう数年の自分の生活環境がどう変化していくのか、仕事上の人間関係がどう変わっていくのかに関して思いを巡らせて漠然とした不安に襲われている数日だった。いま考えたとして仕方がないのだけれども、考えずにはいられないのが性。関東と関西を行き来する生活に自分が適応できるのか、指導学生を持つようになってどうやって責任を取れるのか（指導・責任を取る必要性がどこまであるのかという問題はさておき）。そして自分にそこまでの時間的、精神的キャパシティが備わっているのか。30代の挑戦である。
- そんなことを考えているうちに正月連休の最後2日も寝て過ごしていた。明日から少しずつ生活を軌道に乗せなければ。
2025/01/03 (Fri.)
- 実家から帰ってきた。実家ではそんなに研究をする気持ちになれなかったので、駅伝を見ながら寝正月をしていた。