Random thoughts in Japanese. All optinions are my own.
2025/10/14 (Tue.)
- 論文投稿締切を終えたいまこそが勉強するチャンス、ということで、福水先生の25年前の論文をざっと読み終わった。かいつまんで言うと、2層MLPの層方向の「階層性（つまり幅が1大きいパラメータ空間に元の幅のMLPを埋め込む構造）」を解析の道具として使い、パラメータ空間で見ると一見安定に見える臨界点が、関数空間で見ると実は鞍点になっているような臨界点（便宜的に「intrinsic saddle」と呼んでいる）を構成的に与えている。滅茶苦茶に面白い。いまちょうど力学系の準安定性に興味のあるタイミングなので、すぐにも準安定性解析の適用可能性や、Muon 等の現代的な最適化手法を使ったときに抜け出せるのかみたいなことを知りたくなる。25年前に着想されているアイデアを現代的な深層学習の研究にリバイバルさせられたら、それこそワクワクするだろう。特異点論、パラメータが識別不能なんだなくらいの曖昧な認識だったが、ご利益が見えると俄然興味が湧く。
- 濃厚で良い論文を精読しているだけで幸せに浸れる。これだけでこの職業についていて良かったと感じる。
2025/10/13 (Mon.)
- 日課の論文読みをやって、ジム行って楽器の練習してフランス語のレッスンを受けて散歩をしていたら連休が終わった。もう少し本と論文を読みたかったが、時間は有限なので仕方ない。まあ振り返ると日常の延長線上だけど、退屈ではなかったと思う。なぜか毎日ピザ生地も捏ねて焼いた。
2025/10/12 (Sun.)
- 「アメリカ人はノーベル賞に興味がないのはなぜなのか: 文化的意義について」を読んだ。非常によく書けていて資料分析も行き届いている記事だった。アメリカにおける科学研究システムのサステナビリティに関しては、概ね僕が認識している様相と大きな相違はなく、人材を「育てる」のではなく人材を「引き寄せる」国であるという分析がなされていた。それは良い面も悪い面もあるだろうが、世界選抜的トッププレイヤーの場が意識的にせよ無意識的にせよ提供されているということは、アメリカ一国がどうかというのはさておき、グローバルレベルでの科学水準の向上には大きな利益をもたらしているのは間違いないだろう。そのため、アメリカ以外の国が同じ戦略を取って科学を遂行するというのは端から筋が良くない話であることは認めざるを得ない。したがって、アメリカ以外で科学に携わることを決めた時点で、人材を「引き寄せる」よりも「育てる」ことに舵を倒すべきなのか。しかしそうは言いつつも、アメリカほどではないにはせよ、日本はそれなりに諸外国の学生に対する魅力的であるのは肌感覚としてはある。そうした外国人科学者に対してオープンであることは、やはり科学推進の上では重要なのではないか。特にそれがアメリカ以外の場所で多かれ少なかれ実現可能であるならば、それは科学の（アルファ・ベータ両方の意味での）多様性の向上に寄与するのではないだろうか。アメリカではない土地で人材を「引き寄せる」戦略を取る意義はそこにあるのではないかと信じたい。
- はじめて高野川沿いを散歩した。秋の夕刻、透き通った高野川の水面に映りこむ、ほのかに赤みがかった青空とたなびく雲の佇まいは、目を惹きつけてやまないものだった。気づけば秋も中盤に差し掛かろうとしている。
2025/10/11 (Sat.)
- 朝一番でジムに行っている間、昨日まで修正していた証明のことが頭を離れず、帰宅の途中で突然証明が間違っていることに気づいた。その後掃除したり昼ご飯を作っている間も証明の修正をずっと考えてしまっていたのだが、夕刻に修正方法を思いついて直しきれた（と思う）。今回は結果がかなり自然なメカニズムとして理解できるので流石に正しいと思う（思いたい）。何度目の正直か。
- 寝ても覚めてもついつい研究のことを考えてしまうのは多分研究者としては僥倖なのだけれども、問題が解けないと気分が悶々として他の何事にも集中できなくなってしまうから、普通に生活に支障をきたして困ってしまう。贅沢な悩みなのだろうか。
2025/10/10 (Fri.)
- カメラレディ用の論文修正がようやく収束した（はず）。急いで導出した結果なので、途中で2回くらいそれなりに大きめのミスがあったけれど、確認を何回か重ねたので流石にもう大丈夫だろうと思う。昨日の続きだが、集中不等式を適用できるまで burn-in 期間待つのは、言い換えればS/N比が小さくなるまで待つとも言える。別に SGD の挙動からすれば何のことはないけれど、最適化が進むにつれてS/N比が小さくなっていく、という描像を式の上で確認できて、理解が一つクリアになったように感じる。良いカメラレディ対応だった。
2025/10/09 (Thu.)
- 今週の立川出張は学生との議論、マネジメント業務、諸々よく頑張った。こればかりはリモートワークではどうにもならないから、お金と時間を払ってでもオフィスに来ている意味がある。あと一日あるけれど、ねぎらって帰りの新幹線ではプレモルを開けた。
- さて、NeurIPS のカメラレディを用意している過程で、リバッタルの時点では自明だと思っていた SGD への拡張がどうも自明ではないらしく、きちんと整理すると GD よりもだいぶレートが悪くなることがわかった。その理由もかなりクリアに理解できて、ようするに確率的勾配に対して集中不等式を適用できるようになるまでだいぶ SGD を回さないといけなくて（burn-in みたいなもの）、それがボトルネックになっている。結果は理想的ではなかったけど、その数理的理由はよく理解できたし、その過程で人生ではじめてマルチンゲール不等式を使う機会を得たので、非常に満足。本当はカメラレディは今週の頭でさっさと終えてしまおうと思っていたので想定よりもだいぶ時間を費やしてしまったけど、良い勉強になった。
2025/10/08 (Wed.)
- 数日ぶりの晴天だ。秋晴れがこんなにも恋しくなるとは思わなかった。
- 昼ご飯を食べながら矢野さんにエレベーターピッチで先日仕上げた単調回帰の研究を紹介したらかなり興味を持ってくれた。矢野さんはいつもバックグラウンドが広くて色々な話を掘り下げてくれるし、並大抵の研究者ではできないよなと思う。特に自身のバックグラウンドが広いだけでなく、きちんと相手の研究を深ぼろうという意識を感じる。自分もそうありたいものだ。
- マネジメント業務を3つくらい同時にこなしながら、論文の修正と実験を回していた。まだまだ仕事は終わらないけど、マルチタスク能力は明らかに向上している。
2025/10/07 (Tue.)
- 先日気の迷いで海外の学部生からの問い合わせに応えて、今日インターンの面接をしていた。数学科の学部生だったのもあるけど、フランス人だったからというのも大きかった。けれど面接をしてみたら今すぐに研究をするには不安の残る受け答えで、やはり面接をしてよかった。学生には申し訳ないけれど、こちらもどうにもリソースが十分にあるわけではないので、無尽蔵に受け入れることもできない（無尽蔵に受け入れるのは教育に対する無責任さの裏返しですらあるから）。
- 大小様々なタスクがあるが、TODO リストに積まれているタスクが9個になった。僕がこれほどタスクを積んでいるのは初めてかも。関わっている学生の数も、マネージャー業務も、着実に増えている。そんな中、昼前の空いた小一時間で2000年頃の論文を印刷して精読している時間は非常に至福だった。やはり研究している時間というのは何にも代えがたい満足感がある。
2025/10/06 (Mon.)
- 締切明けに学生とミーティング×2。いよいよ教員然としてきた。整備の一通り終わったオフィスとホワイトボードが早速活用できているのも密かに嬉しい。二人ともトピックは僕がきちんと興味を持てる方向性なので、しっかり時間をとって貢献したい。自分の領分ではないので、僕自身は新しく学べることが多いものの、本人たちの研究の落としどころをどこに持っていくかは非常に気になってしまう。
- 急に秋本番の肌寒さが訪れて、気づけば立川では鈴虫と蛙がさかんに鳴いている。今日は雲が立ち込めて、5時半にはもう非常に暗くなってきた。このまま気持ちの良い秋も通り過ぎてしまうのか？日光が恋しい。
2025/10/05 (Sun.)
- 早朝から東京へ向かい、午前中のバンド練に行った。練習を終えて立川まで辿り着いて、糸が切れたように眠ってしまった。
- 高市さんが自民党総裁に決まった直後の「ワークライフバランス発言」を目にしたり（総裁選にはいろいろ思うところもあるが）、今日もバンド練の後で芝さんの相変わらずの仕事のスケジュールを聞いたりして、僕も覚悟を決めて仕事に向き合わないとならないよなあと思う。こういう職位にいる以上発生する職責を全うしなければならない。マネジメントと自分の研究、二足の草鞋を履きこなす。いまの一つ上の世代の研究者がマネジメントにすっかり回ってしまい、自分で手を動かす時間もなく研究の動向をわからずに教育職に留まっているのを見て、自分は反面教師として抗い続けなければならない。
2025/10/04 (Sat.)
- 締切の翌日でも癖が抜けず朝起きして論文を読む。まあこれくらいでもして習慣化しておかないと業界の動向に関してどんどん鈍くなってしまう。
- 昨日の件の続きを考えると考えるほど週明けが憂鬱になる。自分の能力不足、失態に起因しているなら自責で捉えることもできるけど、こと他人のことに至っては本質的には僕の力で抜本的に解決することはできなくて、本人が改善するしかない。それを促す責任はマネージャーである僕にのしかかっているから、そういう意味では僕の能力の至らなさにも帰着されるけれど、これまでの仕事上の悩みとは質が違う。どうすればよいのだろうか。
2025/10/03 (Fri.)
- ダメだ、マネジメントの件 (2025/08/04) が全く収まりそうになく、八方塞がりになっている。どうしたらよいかわからない。管理部に相談しに行ったら（泣きついたら）何かが変わるだろうか。なんで僕はこんなに雲を掴むような手応えしかないのか。
- しかし自分がこの件の愚痴を言っては絶対にならない。いまこうやってなまじややこしくなっているのも、井戸端で噂話が蔓延しているからなのであって、それを僕がやってはいけない。毅然とした態度で対応すべきことを対応するしかない。
- 締切当日ではあるが、今日はもうほとんどマネジメント業務。非常に面白い研究になったと思うが、実験を成功させて論文を書き始めてからおよそ1ヶ月 (2025/09/04)、自分の中では既に風化してしまい、面白みが薄れてきてしまっている。完全に自明になってしまう前に論文を書き上げられてよかった。実は今週非常に近そうな研究が arXiv に上がっていたりしたのだけど、よく読んでみると結局 vector quantile の推定にしか興味がないらしいので僕たちがやっていた研究とは違っていて、そう思うと客観的には全く自明ではないんだよな。しかしこれだけ2ヶ月ほど集中して研究しているとさも当然のようになってしまう。
- それだけ intense に考え続けても自明にならない研究ってあり得るのだろうか。僕の性質をもってしてもあり得るのだとしたら見てみたい。
2025/10/02 (Thu.)
- 締切前になると自分でも驚くほど集中して論文を執筆し続けられる。最後の詰めで文献整理をして原稿の推敲。一日脇目も振らず作業していたのでどっと疲れた。
2025/10/01 (Wed.)
- 気づいたら10月になっていた。論文の執筆と別論文のリビジョンと別プロジェクトの実験を同時並行でやっていて、本当に研究漬けである。1日の消費エネルギーは凄まじいが、自分が苦手だと思っていたマルチタスクが段々とできるようになっている（のかもしれない）。やりたいことは絶えないから、マルチタスクの処理能力を上げるしかないのだ。
- 学振の結果が公表されたらしく、今年は全体的に採択率が7、8%らしくて怨嗟の声がそこかしこから聞こえてくる。まあ色々と改善すべきことはあると思うのだが、僕らの目線から見たら手っ取り早いのは JSPS と JST を統合してしまうこと。明らかにいらない仕事が行政側でも研究者側でも発生していると思う。一度 JST 側の人に突っ込んで聞いてみたいものだ。