Random thoughts in Japanese. All optinions are my own.
2025/07/31 (Thu.)
- 今日も海外のビジターが立川まで来て面白そうなセミナーをしているらしいが、京都に帰ってしまったのでオンラインで参加。二拠点生活をやっているとどうしてもこういうときに上手く行かないが、仕方ない。
2025/07/30 (Wed.)
- 内輪セミナーで large stepsize GD の話をした。フランスでの発表でうまく喋れなかった (2025/07/09) 箇所を踏まえて話し方や構成を少し工夫して、今日は前回よりも議論も活発で興味も持ってもらえたようで良かった。教員になったとしても、発表は本来であればきちんと準備と練習が必要ではある。
- 質疑中であった細かい点かもしれないけれど、overparametrized neural network（であるため loss=0 が達成可能）な loss landscape を調べる代わりに、linear model だけど separation margin のある loss を考えるという研究の位置づけは、モデルの単純化の観点からそれなりに道理はあるなと思った。モデルの性質をかわりに loss function の性質に押し付けるアプローチ。
- 京都へ帰る。4日後にはまた戻って来るが。
2025/07/29 (Tue.)
- 博論の本審査を終えた （予備審査 (2025/06/02)）。すごくきちんと頑張っている（社会人）学生さんだったので、ただただ僕のほうが勉強になった。Hanson-Wright の不等式の拡張が最近なされているらしいことを知った。劣ガウス変数まで拡張しようとするとあまり綺麗な形では書けないらしいのだけれども、Hanson-Wright の適用範囲が広がるだけで色々な理論的結果の適用範囲が広がるので夢が広がる。
- 人に会いに新宿に来たが、ガード下の爆音と人の多さで着いた途端に辟易としてしまった。
2025/07/28 (Mon.)
- 共著のリバッタルを3つ打ち返してミーティングをしたら1日が終わった。そういう季節。
2025/07/26 (Sat.)
- カンボジア行きの航空券を買ってから (2025/06/22) 日に日にタイとカンボジアの軍事衝突が激しくなって、しまいには昨晩外務省の渡航中止勧告が国境地帯に発令されてしまった。国境付近の Preah Vihear は見てみたかったのだけれど、流石にここに行くのは無理そうか。旅行はいつ行けなくなるか本当にわからない。パンデミック直前にカリーニングラードに行く計画をずっと立てていたが、そのままウクライナ侵攻が始まってしまい全く行ける様相ではなくなって6年が経つ。いま行きたいと思ったのならいま行かなければならない。諸行無常だ。
- 高校の後輩の企画した Chick Corea トリビュートバンドのライブを見に行った。Time Track から始まって La Fiesta で終わる、高校時代の記憶を掻き立てられて聴き入ってしまった。みんな仕事の合間を縫って練習しているのに楽器がうまいなあ。こういうのを聴くと楽器がやりたくなってしまう。いずれ後悔するとわかっているのに。そういう性分なのだろう。
2025/07/25 (Fri.)
- NeurIPS のリバッタルの季節、今回は前回 COLT で落ちた3本の論文 (2025/05/03) がすべて高い評価でひとまず安心した。リバッタルにそれほど労力が必要ないというだけでこの時期の生産性が上がる。
- 今日も「何を目指しているのか」という問いに対して明確な回答をすることができなかった (2025/07/14)。教員にまでなったのに、一体何を目指して研究者をしているんだろう。
2025/07/24 (Thu.)
- 最適輸送の細かいところ、例えば Brenier の定理の正則条件とか、Monge-Kantorovich の双対性の成立条件とか、そういうところが意外にわかっていなくて、研究上必要になってきたからゆっくりと確認しながら式を見る。結局こういう箇所は実際に自分が使うまで身にならない。時間はかかるけど仕方ない。
- そういう細かいことをやっていて特に目に見える大きな成果を得ることはなかったが、夕方の研究ミーティングでやや面白い実験のアイデアを思いついて提案できた。意味と統語の混合、乖離具合を定量化するアイデア。
2025/07/23 (Wed.)
- Lyon の写真をふと見返しているが、もっと写真を撮るために歩き回ればよかったと後悔する。Rennes に至っては一枚も写真を撮っていない。喉元をすぎれば熱さを忘れるけれども、滞仏中はやたらとしんどかった。そういう時期があるのは仕方ないのだけれども。
2025/07/22 (Tue.)
- 初めての COSS に参加した。去年まではあんなに職場から目と鼻の先だったのに、初参加は結局京大から異動した後という諸行無常。初日は本命の目当てでもある伊藤さんのリグレット解析に関する講義で、3時間の講義でオンライン組合せ最適化まで到達するそのスムーズさもさることながら、演習でバンディット EXP3 + Tsallis エントロピーのリグレット上界の導出をはじめて自分で追えたので大満足。計算が遅すぎて導出には1時間半近くかかったけれど、ガイドが丁寧なおかげで素人でもちゃんと導出できた。こういうのは作り込まれている講義資料に感謝の念しか抱かない。
- しかし、確かに3時間でオンライン組合せ最適化まで到達できたのは、敵対的設定に固定して考えて単純化している点が大きいのだろう。そのおかげでオンライン凸最適化の枠組みからバンディットを綺麗に理解し直すこともできた。
- 1か月前に受けた DELF A1 が無事合格だった！これは本当に嬉しい。しかもリスニング以外はほとんど満点に近い。これで安心して A2 に進むことができる。1年かけて地道に勉強している成果が出ているというのは何にも代えがたい。
2025/07/21 (Mon.)
- 5日くらい最適輸送と単調回帰が関係しそうな論文を読み漁って、今日ようやく単調回帰の多値拡張らしき定式化に辿り着いた。そもそも最適輸送は一見 Brenier の定理から単調回帰に関係がありそうに見えるものの、入出力が uncoupled であり従来の回帰問題との相性は良くない点がずっと悩ましかった。しかし、最適輸送を内部問題として持っておくと回帰関数の単調性を制約としてエンコードでき、それなりに自然に単調回帰らしき問題が定式化できることに気づいた。結論だけ見ると当然のように見えるのだが、なぜかこういうのは1週間（さらに言えば Yutong と高尾山登山に行ったとき (2025/06/01) には既に Rigollet and Weed (2019) のことは念頭にあったから、実質50日くらい）考えないと辿り着けない。この結論に3日くらいで辿り着ければどれだけ生産性を上げることができるだろうか、と思わずにはいられないけれど、まあそこまで頭がキレないので仕方ない。
- しかし道のりはまだまだここからである。最適輸送による定式化がどういう嬉しさをもたらすのか検証が必要。直感的には binning と関連していそうだと思うのだけれど。
2025/07/20 (Sun.)
- 本当によく頭をよぎるのだけれど、自分ごときが日本のトップ研究者として扱われている現状（自称するのは烏滸がましいが客観的事実としてそうだとは思う）はかなりまずいと思う。全然対した研究を打ち立てられていないのにミドルキャリアに差し掛かっている。量も質も足りないし、アーリーキャリアで守破離の「守」が対してなかったのが今になって足枷になっていると思う。人を心から説得するような研究ができていない。
- COLT の Matus の招待講演がたまに頭をよぎる。賛否両論あれど、僕にとっては彼は心の底から湧き出ている課題意識を聴衆にぶつけていた。そういう感情を欠いている。そういう感情や信念が、真のトップ研究者と有象無象をより分けているのだと思う。なぜトップ研究者になりたいと思うのか。たぶんそういう「感情」を持つことに憧憬がある。
2025/07/18 (Fri.)
- Uncoupled isotonic regression (Rigollet and Weed, 2019)、Bayes rule decoding (Xian et al., 2023)、nearest Brenier potential (Paty et al., 2020)、Monge-Kantrovich rank/quantile (Chernozhukov et al., 2017)。これら全てが最適輸送をバックボーンとして何らかの単調関数を推定しようとしている点で相互に非常に関連しているように見えるのだが、互いに独立に発展してきている。そして calibration に非常に関係ありそうな気がするのに、すんでのところで関連付けられず悩み続けている。本当に関連がないと結論付けて良いのだろうか。新発見はそこはかとなくここに眠っているような気がするのだけれども。
2025/07/17 (Thu.)
- 昨日の考察を踏まえて研究の方針は転換した。Regret bound から天下り的に考えるのではなく、一番最初に立ち戻って多値分類の calibration を考えることにした。だいぶ回り道をしたけれど、1ヶ月半の間に色々と文献を漁って考えてきたから、多少はリッチな考察ができるようになっている気がする。
- ところで最適化問題を立案しては claude に Python コードを書かせて結果を確認するというサイクルを繰り返している。雑に最適化問題を定式化して喋りかけるだけで、ものの1分ほどで300行越えのコードを生成してくれる。勿論自分の意図していなかった間違った実装をところどころ挟んでくるけれど、一から実装するのと効率性の観点では天と地の差だし、自分の考えたアイデアをすぐに検証に移せるのは嬉しい。宮戸さんと喋っていたとき (2025/02/19) は「宮戸さんは流石に格が違うな」と恐れ入っていたものだが、程度の差はあれこういうスタイルで研究を効率化するのは自分にもできそうだ。
2025/07/16 (Wed.)
- 先月にあれほど Yutong に K-cyclic monotonicity を考えるべきだと力説されてもあまり真に受けていなかったのに、僕が cyclic monotonicity の定義を1ヶ月間完全に勘違いしていたことがわかり、すごく後悔をしている。今の今まで 2-cyclic monotonicity（つまりいわゆる operator monotonicity）を cyclic monotonicity だと思っていた。Operator monotonicity では convex potential の存在に十分でないとなると、やはり K-cyclic monotonicity を考えなければ数学的に全く自然でないという気持ちになってきた。1ヶ月間、見当違いのことを考えていたような気がして脱力した。
- しばらく研究が進んでいない。面倒を見ている学生の分を含めても。明確に進捗があったのは半年くらい前の年明け直後の締切シーズンが最後だろうか。忍耐は必要だし焦っても変わらないのはわかるけれど、このままでいいのかという焦燥感は拭えない。
- 祇園祭にさっと出かけた。去年 (2024/07/15) は結構いろいろな鉾を練り歩いたけれど、今年は放下鉾だけを軽く見て、グルメを堪能した。放下鉾の手前に居酒屋が出しているビリヤニがあってあまりにも気になって手を伸ばしてみたらすごく美味しかった。実際ビリヤニの店らしい。また今度行ってみよう。
2025/07/15 (Tue.)
- いままでナイーブに考えてきた plug-in classifier も、実は多次元になると一気に難しくなるのだなあと今更ながらに気づく。確率単体の空間では多次元化しても分離境界は線形なのでそこまで複雑にならない（それでも d(d-1)/2 個の one-vs-one な線形分離境界が必要）のだけれども、これをロジットの空間に引き戻すと途端に構造がわからなくなってしまう。一次元であればロジットの空間でも結局しきい「値」で分離できるのだけれども、次元が一つ上がっただけで自由度がとてつもなく上がり、二次元だったとしてもロジット空間中でどういう曲線によって分離されるのか、いまだ検討がつかない。わかっていたけれども多値分類はここまで難しいのか。昨日の話じゃないけれども、多次元の問題をきちんと解ききることは、たとえ LLM 全盛時代になった2020年代のいまであったとしても、科学として価値がある問いになり得るか。
- 久しぶりに白眉の同期飲み会に出向いた。「研究の最前線に立っていない人間に指図されるのは癪だ」といった旨のことをずっと喋っていたような気がする。3ヶ月ぶりくらいにこの量の酒をあおった。たぶん前回も白眉の同期飲みのときだったような気がする。
- 帰り道歩きながらずっと研究の続きを考えていた。ひょっとして多次元の場合はランキングから多値分類に帰着するとき、一次元の場合のようにしきい値を調整するだけではダメで、本質的に単調回帰を解かないといけないのではないだろうか。だとすると一次元の場合と違う現象が起こっているので面白いような気もするのだけれども、実用上は辛いし、何よりランキング問題の意義がほとんどなくなってしまうような気がする。そうなのだろうか。これ以上の考察は酒が抜けるまで待つ必要がある。
2025/07/14 (Mon.)
- 暑すぎて3時間くらい寝付けなかった。
- Yutong に教えてもらっていた Kornblith et al. (2021) を読んだ。損失関数（この論文ではより正確には正規化の入れ方等アーキテクチャの変種のこと）によっては転移学習時に性能が低下し、これが学習時のクラス分離度と相関しているという観察を得ている論文。所見で直感的に「面白い」と思わされる論文で、素直に原理を調べたくなる気持ちを掻き立てられる。言わば意味のある問いの立て方がうまいのだろう。軽くサーベイをしてみたところ僕が納得の行く形で解かれている様子は見受けられなかったので、興味のある学生に取り組んでもらうと意義があるだろう。
- 良質な問いとは何なのだろうか。これは僕に未だ大きく欠けている部分で、だから「何を目指しているのか」と聞かれたときに曖昧な返事しかできないでいる。良質な問いは後進を引き付けるし、コミュニティを築き上げるし、何より問うている本人がそれを拠り所として生き甲斐を感じることができる。P≠NP もそうした問いの一つなのだと思うが、何が人を惹きつけているのだろう。工学的なご利益か？それとも単なる知的好奇心・ロマンか？僕自身は工学的なご利益に問いの価値をそれほど感じていないのだけれど、だからこそ何が問いの質に直結しているのかがわからない。
2025/07/12 (Sat.)
- 京都に帰る前に「10分」の10周年記念イベントに顔を出した。フランス滞在中に2時間くらいで作ったスライドでかつ発表もノーリハーサルで臨むことになったが、ライトニングトークに対する慣れだろうか、勢いで楽しく喋り切ることができた。コロナもあって結局5年越しに再開した人もいるから懐かしかった。お世辞でも「研究者として応援している」という言葉を貰えて嬉しかった。その分僕の肩にはやらなければならないことがのしかかっている。
2025/07/11 (Fri.)
- 英語が喋れるかどうかは体調によるのだが、日本語だってそうだ。今週前半にフランスにいる間英語があまり喋れなくて調子が良くないと思っていたが、今日のミーティングや事務員の方との連絡では日本語に数秒詰まる場面があった。日本語もそんなに流暢に喋れないことがある。
- フランス出張を挟んですべての事務仕事、スライド作成を乗り切った。だいぶしんどかった。
- 書類仕事をずっとしていると集中力が必要な研究に戻ってこれなくなった。先月考えていた問題を脳内の一次キャッシュにロードし直すのに1時間以上かかって、気持ちが乗らずに他のことをしてしまう。言い訳でしかないのはわかっているのだが、こればかりは要求される集中力の量の桁が違う。どうしたらよいだろう。
2025/07/09 (Wed.)
- 昨日 ENSAI での研究発表を終え、Rennes から CDG まで移動してきた。後は日本に帰るだけ。今回のフランス出張は精神的にあまり安定していなくて大変だった。研究発表もお世辞にも良い出来だったとは思えない（幸いなことに興味を持ってくれた人はいたものの）。もう少し滞在を短くすればよかったと後悔しているのだけれど、これから帰国すると思うとまた次のフライトのことを考えてしまう。難儀なものだ。
- 10日くらいいたおかげで段々と日常生活の最低限のフランス語（例えばホテルにチェックインしたりカフェで注文したり会計をする程度）はなんとか応答できるようになってきた気がする。それでもフランス語が「わかる」というレベルからは程遠い。それもそのはず、実学習時間はたぶん200時間にはまだ到達していないし、会話の練習は全然やっていない。それでも簡単なフランス語がきちんと通じているというのはモチベーションになる。300時間、400時間と継続したらどうなるだろうか。焦らずコツコツやっていこう。
2025/07/07 (Mon.)
- 周期的な重めのメンタルの不調が久しぶりに続いている。何もしていない。学科同期 discord で友人が家を買う相談をしているのに僕は何もせずにここで横になっている。研究も進んでいない。書類仕事も溜まっている。
- けれど必死に午前にミーティングを2件終えたので十分偉いということにしておく。部屋から這い出てブランジェリーでサンドイッチとコーヒーと水を買う。500ml の水を買おうとしたら “mais c’est plus cher que la grande” と言われて、咄嗟には曖昧にしか反応できなかったものの聞き取れはしたので自分を褒める。それ以外何もしてなくてもそれで十分じゃないか。
- もう少しだけでも書類仕事をやって外に出かけることにする。
2025/07/06 (Sun.)
- Lyon から Rennes へ。会議中中頃からホテルに居る間ベットでほとんど横になっており、立ち上がる気力がなくなってきた。そんなにキャパシティがある方ではないのに、無理をしてやるべきことの構想をしすぎたことから来た精神的疲労かもしれない。仕方ない。こういうときは自分のやる気が戻ってくるまで休むしかない。
2025/07/03 (Thu.)
- コミュニティの中心はオンライン学習側にあって、どうしても興味がそこまで持てなくて悩んでいたのだけれども、よくよく講演を聞いていると特に今日は GLM の話は興味を持てた。あとは今日は講演があったわけではないけれど、calibration や omniprediction は興味が持てる。このあたりであれば十分 COLT も射程範囲内であることを考えると、今年の後半で頑張って腰を据えて一仕事したい気持ちになる。このあたりの話であればアルゴリズムの話も入ってくる。そう、loss function の研究をしていていつも悩んでいたのは、アルゴリズムの話が一切ないことだ。
- 「はじめて COLT に来ました」という学生と話をしていると、自分もまあ歳を取ったものだと感じる。
2025/07/02 (Wed.)
- 今日の午後は social event があったが、気疲れしてホテルに帰ったら結局午後丸々寝ていた。ディナークルーズは参加登録をしていたので、なんとかホテルから這い出して行った。参加するのは気乗りしなかったけれど、意外に立っていると学生が積極的に話しかけてくれて、ありがたいことに新しい人たちと話す機会ができた。いろんな国の学生と話した。ミラノ、チュービンゲン、ブルガリア、アメリカ、セルビア、ケンブリッジ、トルコ、インド、などなど。学生は学生でやはり悩みを抱えていて、どうやったら COLT コミュニティに馴染めるのか、指導教員はどうあるべきなのか、など話のタネは尽きない（その話題を話す相手が僕であるのが適切なのかどうかはおいておくとして）。総じて言えることは、学生はできるだけ早めにこういう国際的なコミュニティに来て友人を作るべきということだ。今思い返しても COLT2020 (2020/07/10) がオンラインだったのは悔しさがこみ上げる。学生のうちに積んでおくべきだった経験を、いま教員になってから積み直している感じがして、一周遅れの感覚がある。こればかりはどうしようもないことではあるのだが…。
- 今日は自己紹介のたびに、臆することなく「proper scoring rule に興味がある」と繰り返した。特に学生相手には馴染みもあまりないトピックで全くピンときている様子はなかったが、それでいい。自分が臆することなく自分の研究の面白いと思っているところをエレベーターピッチで語るだけで、なにか印象に残ればそれで良い。自分の研究を適当に誤魔化すほうがよっぽど不誠実だ。
2025/07/01 (Tue.)
- オンライン学習の人たちと比べてどうしても自分がここにいても良いのかという気持ちが拭えない。こんな歳になってもまだウジウジしているのが情けなくなるが、どうしたら良いのだろうか。そもそも未だに自分の研究の自己紹介がうまくできない。「loss function の研究をしている」と言っても大抵の人には通じる気がしなくてお茶を濁して「learning dynamics」とか「deep learning theory」とか言ってしまっているが、それも嘘を言っている気がして自信を持って喋ることができない。自分は何をやっているんだ。