Random thoughts in Japanese. All optinions are my own.
2024/04/17 (Wed.)
- ひょんなことから隣にやってきた谷口研の研究員の吉田さんと話をすることになった。元々強化学習からロボティックス、自律システムへ段々と興味の対象をシフトさせてきた人で、オートポイエーシスと強化学習のつながりもスラスラと議論することができる人だった。そんな人が同じフロアにいるのが嬉しい。大学だとどうしても学生さんは訓練、学習の段階であることが多く（もちろんときに斬新な考え方を教わることも多々あるのは間違いないけれども）、真に専門的な議論となると教務でまだ忙しくない研究員同士の間に限られがち。それも自分の興味と十分に近い人となると本当になかなか巡りあいづらい。僕たちの興味が十分にオーバーラップしているかどうかはさておき、少なくともいろいろ学ぶべき知識、考え方があるのは間違いないということは、今日少し話しただけで感じ取れた。ますます魅力的な環境になっていく。いつかは去らねばならないと思うと惜しすぎる。
2024/04/16 (Tue.)
- しばらくずっと査読にリバッタルをやっていたのが、一旦今日で区切りをつけられた気がする。先週は本当にずっとリバッタルに時間をかけてしまった。おかげで納得の行く議論は出来たけれども。これで明日からまた研究に戻れるはず。
2024/04/15 (Mon.)
- 新入生の歓迎会でケータリングのかわりに Le Petit Mec でサンドイッチを買って持っていった。サンドイッチははじめてだったけれど、コンビニやスタバのサンドイッチに比べても全然高くない割に味が美味しくて満足度が高くて嬉しかった。今度からケータリングのかわりにこれで良いんじゃないか。店舗数が少なくて、周囲にはせいぜい今出川店、御池店、京都駅店くらいしかないのが悩みどころ。
2024/04/14 (Sun.)
- 周山にはじめて行った。京都で生活し始めてずっと身近にあった高雄・京北線の執着である周山、どんなところなのかがずっと気になっていた。桜の季節がきれいな場所だと聞いていたので、出張帰りの翌日だけれどもこの期を逃してはいけないと思ってバスに飛び乗った。京都市とは思えないようなのどかな、そして案外開けて整備の行き届いた小さな町が広がっていた。常照皇寺の桜は半分以上の種は満開を過ぎた様相だったけれども、荘厳な幹の形、落ちたばかりの花びらと芝の組み合わせなど、十分に風情のある庭園が楽しめた。何より人が少ないのが本当に良い。
2024/04/13 (Sat.)
- 出張終わり。3日間、打ち合わせに勉強会に、たくさんの予定をよくこなした。こういう出張だと時間あたりのパフォーマンスがよくて、公にもしめしがつけやすい。リバッタルに関しては現地まで来た甲斐が本当にあった。個人的には我々の仕事の貢献の非自明さを示すための sin(1/x) を使った病的な例が往路の新幹線の中で無事に作れたときが気持ちよかった。ポジティブな査読コメントではなかったにはせよ、本質をついているコメントだったし、それを踏まえて自分たちの仕事を見つめ直して理解を深める機会になった。OpenReview でやるような疲弊感の大きいディスカッションとは異なって、意味のある時間の使い方ができたと思う。
2024/04/12 (Fri.)
- 本郷で打ち合わせして、渋谷の乗り換えで歩きながら web ミーティング、駒場で勉強会に参加し、山手線で研究室のセミナーにオンラインで参加しながら、中野で友人と会う。自分史上最も一日に詰め込んでしまった。すべて収穫が大きかったが、ホテルに戻ってきて11時半、ヘトヘトだ。
2024/04/11 (Thu.)
- 3ヶ月ぶりの都立大に来た (2024/01/17)。高津さんとの打ち合わせ、今日も収穫が多かった。共通の研究上の興味がありつつ、適度に違う分野の背景を持っていると、お互いに見えるものが違ってくるから、当人にとっては何でもない思いつきの発言がお互いに刺激を与えることになる。一人で悶々とリバッタルの案を考えている間はどうにも自分の研究に自信が持てなかったが、高津さんと話していると面白さの別の解釈が見えてきたりして、自信にも繋がる。こういう共同研究は気持ちの良いものだ。
2024/04/10 (Wed.)
- 自分の論文のリバッタルをやらないといけないのだけれど、学生さんのリバッタルの手伝いをしたり、来客対応をしたり、新入生とディスカッションしたり。シニアになると（自分はそこまでシニアというわけではないけれども、所属研究室の中ではどうしても相対的にシニアなので）当然のことながら人のために時間を使う機会が増えてくる。どれも重要な仕事だし、自分は人と喋るのが嫌いではないので、個々の案件自体は苦ではないけれど、山積しているタスクが単純に多い。月曜も、火曜も、今日こそはリバッタルを終わらせようと思いつつ、結局水曜の夜になっても終わっていない。そして明日から出張。時間のやりくりをもっとしたいもの。
- 新入生とのディスカッション、機械学習の理論に興味があるということだったので、何を喋ろうかと思ってとりあえず理論の世界の概観を示すことにしてみた。ただ、もちろん概観を示したところで具体的な問題としてどんなことに興味があるかというのは一瞬にしてわかるわけではないので、次の一歩としてどう踏み出せば良いのか、なかなかうまいアドバイスが思いつかない。自分が M1 だったときはひたすらにランダムにアイデアを思いついては試してうまくいかない、というのを一年近くずっと繰り返していたように思う。本当は自分の研究の興味に近いところを積極的に宣伝しても良いのかもしれない/するべきなのかもしれないけれど、僕自身が損失関数の研究をやるのは良いとしても、どれくらい若い人を巻き込んでよいのか自信が持てない。それが僕の覚悟の欠如の現れなのかもしれない。
2024/04/09 (Tue.)
- ICML の査読議論フェーズが過ぎてそのまま COLT の議論フェーズへ。自分たちが示せたと思っていた結果が、査読者から自明ではないかという指摘を受けて、よく考えてみたらたしかにそういう風にも見える気がしてきて、しんどくなってきた。論文を書き上げたときはすごく良い結果だと思っていたんだけどな。数学的に自明でないことを主張できる差分はあるけれども、それは最終的な結果の差分で比較するとほとんど同じ様になってしまう。さんざん一日悩んだけれど、どうすれば良いかまだ検討がつかない。実は査読者の指摘では見えていないポイントがあるような気がして、でも検証してみるとそんなことはなかった、みたいなことを何度か繰り返した。議論フェーズが2週間以上続いているので、ちょっと体力と精神力が切れ気味である感が否めない。
- 最近は論文投稿がなかなかうまくいっていない。去年の COLT まではスムーズに論文が通っていたが、それからは自分の導出した理論の結果の意義を査読者に伝えるのにずっと苦労している。理論研究の本質的な難しさはここにある。対象のシステムを解析する自由度はいくらでもあり得るけれども、その中でみんなが面白さを共有できて、かつ解ける問題を見つけるのが難しい。自分が真に意味のある問題に取り組めているのか、不安に陥ることがしばしばある。
2024/04/08 (Mon.)
- 某所で比較的シニア目の先生たちが BOOST と学振の受給要件と大学院生の待遇について議論をしているのを見かけた。自分としては学振のブランド性はどうでも良い（権威性の象徴でしかない）というのが正直な感想だったのだが、思ったより支持されている方もいらっしゃったりして、その意見の裏には一介の研究員でしかない自分には見えていない構造（たとえばポジションやグラントの審査の仕組みなど）もあるのだろうなと思うと、自分には何も言う権利がないような気がして圧倒されてしまう。一介の研究員でしかないからこそ現場の感覚を正直な気持ちとして述べる権利はあるはずだと思うのだけれども。ただ、やはりシニアな先生たちが様々な運営に関わって、その中で制度設計の制約条件と何度も対峙してきたことを想像すると、どう踏み込めば良いのかわからない。
- そして自分がそういう運営側にゆくゆく関わりたいかと言われると、なかなかそうは思えない。どう見ても組織運営と制度設計、審査業のみに追われて、研究をするところではないだろう。そう考えると自分のような立場の人間は相当にシニアな先生たちから守られているのだろうと思ってしまうし、将来的にいつ運営に携わることになったとしても後悔しないように、いま満足の行く限りの研究をしておくべきだろうと思う。
2024/04/07 (Sun.)
- 長い間見る機会を見計らっていた『オッペンハイマー』をようやく観に行った。先日のアルゼンチンの帰りでも観ようかと思っていたけど、どうせもうすぐ日本でも公開されるから、ということで見送っていた。原爆の描写に関していろいろと賛否両論が既に聞こえてきていたが、自分としてはオッペンハイマーの心情描写がノーラン特有の壮大な音楽、間、役者の表情で、言葉に頼ることなく表現されているのにグッと来た。そういう意味で、やはりノーランらしい、映像としての良い作品だったと思う。3時間の超大作にしては間延びもしていない。
2024/04/06 (Sat.)
- 今年は花見をどこに行こうかと考えて、今週は石清水八幡宮にいくことにした。京都市と淀川の景色を見渡すことができて、桜も綺麗に咲いており、人も多くなくて快適だった。少しずつ京都の南の方も脚を伸ばしていきたい。
2024/04/05 (Fri.)
- 高木さんがやっていた科学哲学に関するオンライン勉強会をこっそり覗いてみたら、谷口先生もいた。ディスカッションを聞いていた中で面白かったのは、科学の責任の所在のなさと分散システムの相似に関する指摘があったことだった。それはある意味で集合知のようなものであり、たまたま僕自身が直近で予測市場に関する論文をいくつか読み漁っていたのもあって、もしかしたら集合知、分散システム、予測市場、そしてそれらをバックボーンとして貫く scoring rule、という形で何か研究ができるのかもしれない。予測市場周辺はプレイヤーが少ないようで、メカニズムデザインに関する高度な専門知識と理解が必要とされるものの、自分は凸解析側のバックグラウンドをそれなりに積み重ねてきたから、参入する余地はありそうに見えている。
- 新入生や新しい助教さんが研究室にやってきて、新学期気分がでてきた。特に、やはりフルタイムの研究者が増えるというのは嬉しい。新入生も外部からやってきた人たちはフレッシュな気持ちで目標を高く持っていて良いなあと思う。
2024/04/04 (Thu.)
- たぶん先週の同窓会で杉山先生と、僕自身が近い将来に PI になったときにどうやって研究員を集めてチーム作りをするか、みたいな心構えの話をしていたからこういうことを最近ぼんやり考えることになっているのだと思うけど、自分自身の研究の方向性をより明確にするべきな気がする。個人研究でやる分には本当に好きなことを好きにやればいいけれど、他の人に興味を持ってもらう、海外から招待講演に呼んでもらう、研究員に来てもらうためには、「このトピックと言えばこの人」と自然に思ってもらえるような研究のアウトプットが必要だ。人に自己紹介するときにそのマイナーさ故に一言目に「loss function」と言いづらいのだが、でも自分の興味とスキルと売り出すべき方向性を考えると loss function でもっと推す必要があると思う。そのためにはもう少しまとまった研究業績を溜める必要がある。こういう打算的な考え方は浅はかに感じてしまうような斜に構えた性格なのが困ったものだが、名声のためではなくて、より自分が重要だと思う研究をコミュニティに対して訴えていく、そして同じ興味を持つ人と集まってより良い研究をしていくために必要なステップだと捉えて、もう少し積極的に取り組むべき自分のキャリアの段階に差し掛かっているように思える。芝さんの言葉 (2024/02/13) も頭の中で共鳴している。
- ICML のリバッタルが相変わらずうまくいかない。ICLR のとき同様、そんなに関係のあるわけでもなさそうな先行研究を持ち出したり、実験結果の解釈をあらぬ方向に捻じ曲げて落とそうとしたり、端から落とすことを前提にしている査読者がいてメッセージが来るたびに疲れる。良評価の査読者もいることにはいるので、こればかりはもうくじ引きだとある程度割り切るしかないか。
2024/04/03 (Wed.)
- 年々知り合いの新年度の人事情報が気になってしまう歳になってきた。今年は伊藤さんが准教授にいつの間にかなっていたことに驚いた。仕事量を考えると至って妥当ではあるけれども。
2024/04/02 (Tue.)
- 学生さんの Polyak stepsize の収束保証の証明を読んだ。勾配が clip される iteration とされない iteration に場合分けを行うと、後者の regret は線形で、前者の regret は平滑性などを使う影響で square-root の形で現れる。そのため全体では regret の2次不等式となり、self-bounding technique の要領で抑えることができる、という証明のフローだった。この証明のフロー自体はわかりやすかった。
2024/04/01 (Mon.)
- 今年も新年度だ。自分はそれほど代わり映えしない生活だが、今年度から研究室に研究員が何人か増えるので、これから雰囲気がどうなるか楽しみだ。
- 新年度早々、SPIRITS チームでミーティング。そういえば、この話も一年前の花見 (2023/04/03) に端を発するものなので、ちょうど一年か。たくさん議論して、でも決してまだ納得の行くような結論が得られているわけではないけれど、この人たちと議論しなければ得られなかったであろう新しい視点はいくつももらっている気がする。なぜ自分の研究分野では、（少なくともジャーナル共同体の粒度では）「大きな物語」が「ぶつ切り」にされる、あるいは「借り物の物語」で良しとされるのだろう。聞かれたけれども明確な答えは返せなかった。たぶん研究対象自体に対して真に没頭している人が少ないんじゃないかと思う。