Dec 2024

Random thoughts in Japanese. All optinions are my own.

2024/12/31 (Tue.)

実家の細々とした仕事をいろいろとこなしたり研究費の報告書を書いたりして大晦日の夕方になった。やらないといけないことはやったので、まあ年越ししてもいいかなという気分になったきた。今年は10月下旬から large stepsize の研究が頭から離れず、日常生活も半ば上の空、書類仕事、発表準備は最低限ギリギリの水準で片付けてずっと研究のことを考えていたと思う。大学院生の頃だったらこれが本当に現実的な時間のうちに成果に結びつくのか気をもんで、それこそ何にも集中できなかっただろうけれども、いまの立場では多少余裕が出てきたので、成果が出せるかどうかわからないこの暗中模索の中でも結構研究を楽しめているように思う。
ただ、自分がどこに向かっているのか今までよりも多少強くキャリブレートする必要がある気はする。でないと目先の研究に没頭しすぎてしまって（それはそれで自己満足としては幸せなのだけれども）長期的に見たときに自己実現ができなくなってしまう。昨日も沖縄で山田さんとランチで雑談していたときに、自分の研究の長期的な目標を言おうと思ったときに「ダイナミクスや環境フィードバックを取り入れた人工知能」「パレート最適性を乗り越える数理最適化」「表現学習の意味、ないし Vapnik の原理との関係」などなど、話の文脈で思いついた自分の興味は口をついて出てくるものの、自分の中での統一性が曖昧になってしまっている。来年からキャリアの段階も変わることだし、きちんと自分が大部分のエフォートを投資して良いと思える対象を見定めなければ、何もできずに人生が終わってしまう。そう、人生は何かをなすにはあまりにも短いということを肌身をもって感じ始めたこの一年なのだ。
こうした長期的な研究の興味をもう一回り外側からメタ的に俯瞰したとき、いま自分にとって一つだけ重要な課題を挙げよ、と言われると、やはり「学習問題・損失関数間の帰着関係」に尽きるのかもしれない。それが翻って表現学習の意味、パレート最適性、価値観の科学につながっていく。より現代的なコンテクストでは、大規模基盤モデルの寡占、価値多様性の喪失に対して一矢報いることができるアプローチ（のひとつ）のようにも思われるのだ。たぶん、数理の水準から実生活の水準まで、僕が最も気になっているのは価値の調停、これ一点に他ならないのだと思う。これが確証バイアスなのかどうかはもはや自分には判断不能だけれども、今の僕から振り返ってみたとき、剰余リスク転移の枠組みに着目した大学院時代の僕はそれほどセンスは悪くなかったのかもしれない。
来年はどういう年になるかな。ついに30代に突入する。キャリアも大きな転換点を迎えて生活も変化するから、たぶん悩みもたくさん出てくるだろう。最近はそういう「これから遭遇しそうな悩み」に対して思いを馳せることが多すぎたようにも思うけど、もっと気楽に、トラブルに遭遇してから考えるくらいの気楽さがあっても良い。研究・仕事で進むべき道はずっと考えているから、いまさら畏まって抱負を立てるほどでもないだろう。今年アルゼンチンに行けたのが本当に嬉しかったから、一箇所くらいどこでもいいから満足できるような新たな国に出かけてみたい。

2024/12/30 (Mon.)

今まで最も肩の力を抜いた旅行、意味もなく糸満までゆっくりとバスで向かい、意味もなく海辺と国道沿いを歩きながら、ほぼ14年ぶりにひめゆりの塔を参観し、国際通りの居酒屋で地元の人の話を聞く。たまにこういう意味も目的もない旅がしたくなる。
そんなことで沖縄から広島へ。年末の実感のないまま大晦日になってしまった。

2024/12/28 (Sat.)

DIC 川村美術館に行こうと思っていたのだが休館日だったことが発覚して手持ち無沙汰になってしまったので、あまり意味もなく品川から御殿山を通って五反田まで歩いて、それから等々力渓谷を散歩した。都内はどれだけ歩いても全然見たことのない景色が尽きることなく、御殿山界隈もはじめて見た。摩天楼聳え立つ中に明らかに昭和の生活感が漂ってくる異質さ。神谷町や麻布界隈にも通ずるものがある。
羽田ラウンジでひたすら計算に没頭して、それから沖縄まで来た。はじめてプレミアムクラスに乗った。席がほぼフルフラット近くまで倒れるのが想像以上に快適だった。食事も少なくとも国際線エコノミーでは絶対に味わえないような温かい味噌汁と炊き込みご飯にありつけた。羽田から沖縄のフライト時間は3時間あってそれなりに堪能できるし、大人の贅沢としてお金を落とす対象としては割に良いように思えた。

2024/12/27 (Fri.)

領域会議2日目から研究室の同窓会に行った。0次会で誘ってもらった築地の Ladybirds Bottle Shop のスタウトが良かった。冷え込む冬にスタウトで体を温めて寒空の下を歩くのは良い。

2024/12/26 (Thu.)

領域会議からの funny meal での PFN 忘年会であまりにも濃密な一日だった。まさか夜中の1時半にタクシーで帰ることになるとは思わなかった。何よりも予期していなかったのは、ビジネスメンバーも多い中で損失関数設計の重要性に関する議論で一幕盛り上がったことだった。広義ではスタートアップの KPI も結局のところ損失関数設計に他ならないわけだけれども、そういった実世界のシナリオでも損失関数を単一のものに決め打つことは往々にして筋が悪く、どうにかして複数の評価指標のトレードオフを環境フィードバックを元にしながらとるのが重要なのだけれども、では何を「メタ基準」としてトレードオフを取るのか、何を基準として回避すべき最悪ケースを定義するのか、数理的に損失関数設計を長く考えてきた自分としては興味が尽きない。
一般論としては「探索と活用」の探索が重要なのでは？という気はするけれども、しかしどういう解に到達したくてそのためにどういう探索を戦略として取るべきなのかはどうしてもメタ基準が必要になるようにも思われる。領域会議の方でも話題になった話として表現学習の識別可能性があるけれども、本当にその通りで、メタ基準を入れなければ推定問題としては識別可能ではないし、しかしてメタ基準が入った時点でそれはもはや表現学習の本来の動機である（？）「可用性の高い潜在表現の獲得」になっているのかどうかは怪しい。
MLM が「多様な目的関数を包摂しているのでは」という仮説も出たが、これは面白い。僕の博論のテーマの一つでもある剰余リスク転移に全く通ずるところがある。しかし、これを極端に推し進めると識別モデルではなく生成モデルの学習が損失関数の「多様化」の観点から重要なのではないか、というテーゼに達する。Vapnik の原理、Bob Williamson の “We should persuade practitioners to choose the decision problem; otherwise we end up paying a price for being indecisive.” という教訓も頭をよぎる。ここ数ヶ月は自分の中では「表現学習は意味がないのではないか」という方向に傾いていたけれども、今日の話を通して再び「表現学習は損失関数の多様化に寄与しているのではないか」という方向に傾きつつある。タスク過適合のような観点から表現学習の良さを定量化できないだろうか。Bob の信念に反駁する形にはなるけれども、僕はこの点をいつかは明確にしなければならないように思う。

2024/12/25 (Wed.)

あっという間に年内最後のオフィス出勤日。温泉で養った英気のおかげか少し計算に進捗が見られているような気がする。もう一年経ったのだ。
明日からもまだまだ東京、沖縄、広島と移動が続く。体を崩さないように。

2024/12/24 (Tue.)

週末から今日まで2泊3日で青森・八甲田に旅行に行った。パソコンも自宅に置いて行ってきたので正真正銘の休暇。飛行機で青森空港に降り立った瞬間から城ヶ倉や酸ヶ湯まで登るまで全く雪の勢いがとどまることなく、酸ヶ湯では横殴りの吹雪で積雪量も 3m を優に超える中、雪原を歩いた。見渡す限りの雪、脚を雪に取られぬようバランスを取りながら歩くのは神経を尖らせる必要がある。終わって酸ヶ湯温泉に浸かって城ヶ倉のホテルの部屋でひたすら休む。雪が深まる中でこの時間を過ごしてみたかった。期待以上の休暇だった。

2024/12/21 (Sat.)

桂離宮に訪れた。桂の方なんて用事がなければ永遠に来ることはないから、前々から予約をして来ることを腹に決めていた。どことなく新宿御苑の趣も携えながら、茶室の造りがどれもハイカラで面白い。苔と飛び石の細部に意匠が見られる。
やけに日の短さを感じると思ったら冬至だった。冬が深まる。

2024/12/20 (Fri.)

MLSS のときの参加者が京都を訪ねてくれた。日本は外国人にとって決して暮らしやすい国だとは思わないけれども、それでも気に入って来てくれる人は本当に大事にしたいと思う。少なくともアカデミアの環境だけでも海外の人に対してフレンドリーにならなければ。

2024/12/19 (Thu.)

バンクーバーから帰ってきて2日目。出張帰りで普段通り朝起きするのはややつらいが、少しずつ元通りの生活に押し戻す。フランスから1ヶ月京都に来ているポスドクとランチに行ったりした。バンディットをやっている人なのだけれども、techno-optimism に対する課題意識を結構持っているらしく、技術畑と人文畑のコミュニティのギャップをいかに乗り越えるのかを真剣に考えているようで、共感できた。自分が最近やっていた予測市場の仕事 (2024/10/11) にも興味を持ってくれた。マジョリティからは共感されにくいことでもこうやって地道にやったことが誰かと共有できるのは嬉しいことだ。自分のやっていたことが間違ってはなかったと思える。
かれこれ一ヶ月ほどパーセプトロンの拡張で停滞してしまっている (2024/11/28)。さてどうするか。残った時間はもうあまり多くない。

2024/12/16 (Mon.)

というわけでバンクーバーを旅立つ。国際会議に6日間参加するのはやはりちょっと間延びする感じはある。特に今回は直前に Simons に行っていたのもあって、NeurIPS のワークショップは早めに切り上げて帰国しても良かったような気はする。とはいえワークショップでしか会えなかった人たちもいるし、全体的には喋るべき人と喋る機会を作れたので来てよかった。あとは帰って黙々と研究をするのみ。締め切りシーズンまで50日弱、そう遠くないので、本気を出してやらなければ。

2024/12/14 (Sat.)

ワークショップ会場を歩いていたら Yifei に鉢合わせた。去年 (2023/12/13) よろしく理論のコミュニティの進むべき方向性について話し込んで、意気投合した挙げ句にポジションペーパーを書こうという話になってその場で overleaf を作り上げた。お互いメインストリームの理論コミュニティに入れていない一匹狼同士、大勢の理論家が見ている方向性に感じる違和感は少なくない。線形の in-context learning をいつまでやるのか。お互いの経験と見方をフレーミングすれば面白い方向性が見えてくるんじゃないだろうか。

2024/12/13 (Fri.)

NeurIPS、海外の知り合いとの同窓会的立ち位置で楽しいのは間違いないのだが、いささか人が多すぎるきらいがある。体力を温存するためにポスターセッションの間は部屋で寝ている。それくらいでちょうどいい。楽しいのだけれども、やっぱり COLT とかの方が学会参加のトータルでの経験はいいように思う。

2024/12/11 (Wed.)

Yutong と5年ぶり・Ann Arbor ぶり (2020/01/17) に再会した！あまりにも嬉しすぎる。この間お互い論文だけ認知し続けていたけれどもパンデミックが長引き、ライフステージの変化もあって、気づいたら5年も経ってしまった。バーに向かって歩き始めて3分目で損失関数の話がはじまり、席につくなりナプキンに確率単体の絵を書き始めて、お互いに高揚感を抑えられていないのが見え見え。
僕が日本に帰国したあと、Yutong が損失関数に関してかなり solid な仕事をずっと続けていたのは知っていたが、会って話して彼の知識と経験が確かなものであることを追認した。多クラスの損失関数の扱いが一般に相当難しいのは周知の事実だが、それを扱うために Fourier-Motzkin の消去法という、Gauss の消去法を線型不等式系に拡張したアルゴリズムについてずっと調べていたらしい。かと思えば、彼は理論一辺倒ではなく、SVM の実装効率を上げるためにソート時の定性的な挙動を調べこんでいたりと、クリアな目標に対して外堀から着実に埋めている。それだけやりこんでいる彼本人が、5年越しに僕のことを信じてディスカッションに来るのが本当に嬉しい。相当にニッチな課題だけれど、僕も重要性に心の底から共感できるし、あつく議論できた夜だった。

2024/12/10 (Tue.)

バンクーバー、今年は会議場の真横にホテルをとったので非常に快適。朝日も気持ちよく差し込むし、バンクーバー湾を高層から臨める眺望。気持ちが良い。学生のときは出張のときは安宿で節約生活をしていたが、こうやって気持ちよく休める宿に泊まれるのを思うとふとしたときに感傷的になってしまう。今週も1週間、会議を頑張ろう。

2024/12/09 (Mon.)

バークレーを後にする。夏とあわせると計10日ほど、短いと言えば短いけれども、10日もいると街に慣れてきて愛着が少しずつ湧いてくる。ピッツバーグ、アナーバー、そしてバークレー。自分を確実に構成するアメリカの街。

2024/12/08 (Sun.)

友達と1年半ぶりに再開した。ポスドクから渡米して現地で生活基盤を立てるバイタリティは羨ましい。何事も隣の芝生が青く見えるだけではあるのだけれど。久しぶりに合ったけれども相変わらずで、本当は昨日の夜だけ飲むつもりだったけれども今日の昼までテックスメックスでもてなしてもらった。博士課程の間はパンデミックのせいもあるけれども、海外で博士課程をやっている友人に「そのうち訪れるね」詐欺になってしまったケースが少なくなかったのは心残りだったので、今回みたいに少しでも空き時間があるなら絶対に行こうと思っていた。研究コミュニティの話、海外と日本の違い、30代若手研究者の人生設計などなど、いくら話しても話し尽くすことがない。来てよかった。

2024/12/07 (Sat.)

週末にダラスに来た。ほぼ10年前（！）、ピッツバーグに行くときの往路のトランジットで立ち寄った振りか。
強い雨が降っている。テキサスと言えど思いの外に寒い。カリフォルニアの気候がはやくも恋しくなる。

2024/12/06 (Fri.)

最終日は午前だけだけれど機を逃すまいと新しい知り合いを増やすべくコーヒー片手に話をしていたら、Daniel Hsu のところで博士をやっている Samuel に知り合って、outcome indistinguishability の話で思いがけずとても盛り上がった。僕自身 OI の話を技術的にできる相手が欲しいと思っていたところなので、彼の研究が multicalibration 関連だというのを知った瞬間に食いつかずにはいられなかった。確率的意思決定に対抗すべき数理モデル (2024/08/20) という話は彼にとっても新しかったらしく、興味を持ってくれた（と信じている）。やっぱり数打って知り合いを増やすべきものだと思う。
体感ではあっという間だった1週間の Simons Workshop。月次だけれど本当に来てよかった。夏に来たとき (2024/08/30) は精神的にちょっと参り気味だったが、それがカンフル剤になったのか運良く乗り切れたのか、今回はコミュニティ活動の面ではとても良く頑張れた。出張費は十分にもとを取っているだろう。
ランチで Samory と話していたときに突然 EPFL の人が入ってきて、Samory はフランス語が喋れるらしくて会話がフランス語になりかけたが、反射神経で超初歩的なフランス語で少しだけ乗り切った。フランス語が喋れているとは言い難いレベルではあるけれども、少なくともスタートラインには立てていると信じたい。

2024/12/05 (Thu.)

会場で近くに座っていたので、意を決して Jingfeng に話しかけてここ数ヶ月考えたりシミュレーションしていた large stepsize の結果を共有することにした。夏に会ったときより心なしか物腰柔らかくてほっとした（さすがに僕が相手の論文をここまで読み込んでいるからか）。流石の著者本人だけあって、僕が報告した現象もものの数分で大まかなメカニズムは把握してくれてまあまあ面白がってくれた模様。ただ、勇気を出して聞いてみたコラボレーションは流石に（遠回しに）難色を示された。自分が同じ立場だったら（よほどのことがない限り）同じような態度を取る気はするし、そればかりは仕方ない。やはり取っ付きにくさは拭えないけれども、それでも話しかけたのは僕にとっては良かった。気が向いたらもうちょっと研究が進んだ段階であと一回くらいメール越しでコラボレーションを聞いてみるのはセーフだろうか。素直に引き下がった方が礼儀ではあるかもしれないけれど、それくらいの積極性はあってもいいような気がする。
午後は UT Austin から来ていた Hongru Yang とコーヒーブレイクでたまたま話したのをきっかけに、晩ごはんまで割と話し込んだ。彼も今週だけ（プリンストンの街から逃げるべく）Simons に来ているという似た境遇のよしみで打ち解けやすかった。Transformer の勾配流解析をやっているらしく、研究の興味の近さとしてもキャリア段階的な近さとしても接しやすく、アメリカの博士課程の雰囲気についていろいろと話したりできてよかった。彼くらいフレンドリーだと話している自分の方もポジティブな気持ちになれる。なんのことはないけれど、そうやって周りの人の気持ちを明るくできるような人柄を目指したいものだ。

2024/12/04 (Wed.)

時差の関係で夜寝る前に学生ミーティングをやった。今回も「もし何の進捗も出せなかったとしたらどうしよう」と本当に気が気でなかったのだが、学生が実験を期待通りの結果でないなりに頑張ってくれたおかげで、次のステップとして何を試すべきかが見えてきて安堵した。彼の時間をいたずらに浪費してしまうことだけが怖いから。ミーティング終わって一夜、緊張感から解放されて弛緩している。
リバッタルしたり発表資料作ったり研究ミーティングしたり。仕事の一山を越えて少し落ち着いて頭の中がスッキリした。今週は残りはワークショップを聴講しつつ、ある程度落ち着いて研究を進められそう。
MLSS のときも含めて知り合い伝てでちょっとずつ輪に入れてもらっている。ワークショップ後に Denny に誘われて、横でやっていた内部セミナーの聴講に混ぜてもらった。Convex Gaussian Min-max Theorem に関する勉強会で、かいつまんで言うとガウス行列の二次形式の上界を抑える代わりにより簡単なガウスベクトルの内積の上界を抑える問題に（コストを少し払って）帰着できる、という話だった。線形代数と双対性をいくつも積み重ねて得られる、シンプルかつ自明ではない内容で面白かった（特に 2-norm を AM-GM 不等式で 2-norm の 2乗に緩和するくだりは面白かった。こんなに初等的なのにぱっと見では検討がつかなかった）。
こういう場に来てインターンを直接人伝てで探している積極的な学生を見ると、自分の場合ちょうどパンデミックでそういう対面の機会が丸ごと失われてしまって今に至るのがすごく悔しく思われる。今学生だったらよかったのに、と思わずにはいられない。そんなことを言ってもどうにもならないので、今できることを前向きにやるしかないのだけれども。

2024/12/03 (Tue.)

シンポジウム、今回も social できるのかとそわそわしていたが、幸いチュービンゲンから来ていたポスドクとコーヒーブレイクで打ち解けることができて、ランチも一緒にいけた。新しい知り合いを作るのは大きなエネルギーが必要だが、バークレーに来た理由の半分以上を占めている以上力を振り絞る。
Terry Sejnowski の講演を聞いた。例の海馬モデルの論文もふんだんに紹介されている中で自分が見落としていたのが、どうやら海馬モデルから traveling waves と呼ばれる、時系列入力からニューロンの周期発火のパターンが生じる点だった。このパターンは Toeplitz 行列で表現することができ、状態空間モデルの Toeplitz 行列によるモデル化も念頭に置くと時系列入力を効率的に処理するために必要なパターンだと思われるのだが、状態空間モデルと異なるのは海馬モデルの学習から自然に Toeplitz 行列がパターンとして創発すること。だとしたら Transformer、状態空間モデルの先を行く面白い時系列モデルが考えられるのではないか、あるいはそうした理論が考えられないか。Terry に直接質問する機会にも恵まれたし、初日で良い成果を得た。

2024/12/02 (Mon.)

自分の研究コミュニティを作ろうとしてる人たち、自分の周りだと中村さんとか板尾さんとか横井さんとか菅原さんとか、分野は違えど「大分野の中ではマイノリティ」であり、大分野の方向性に納得がいっていないというのが一つの共通項なのだろう。自分はどうか。機械学習分野が自分にとっての大分野だとするなら、納得はいっていないのは間違いない。ますますブラックボックス化していく大規模モデル、当たれば良いという過激なプラグマティズムに対して、「『当たる』ことの定義ってなんですか」と問い直したくなる。予測可能性の定義はそれほど自明ではないはずで、仮初の「うまくいく」で皆が満足するのは違うと思う。それでも、僕は彼らのような「分野を作りたい」というエネルギーが足りないのだ。「自分でやりたい・満足したい」気持ちの方が勝ってしまい、自分の周りの第三者が課題解決するのは喜ばしいことだけれども僕自身の達成感には繋がらないのだ。それって不遜なエゴイズムなのだろうか。
ひょっとして僕はアカデミアで研究をやっていくほど研究に対する信念がさほど強くないのか？
季節は巡って再びバークレーへ (2024/08/26)。9時間ほどのフライト、実験コードをゼロから書き始めて期待するシミュレーション結果を出すところまで漕ぎ着けた！正直フライトの間で実験を完成させるのは無理だろうと思っていた。最近実験でうまくいかながちだったので、人工的な設定とは言えども綺麗に結果を出せたのは自信になる。当初想定していたよりリバッタルが強くなったのではないだろうか。9時間のフライトはあっという間だった。

2024/12/01 (Sun.)

科学哲学会のワークショップを終えた。科哲の人たちは想像以上にフレンドリーな人たちで、何を話せばいいか悩んでいたけど、自分らしく知的誠実に話しただけで肌感覚としても面白がってもらえたように思う。
ワークショップ中のディスカッションや終わった後の懇親会でも、話題は言語哲学が中心だったのがもどかしかった。言語哲学は言語哲学で当然面白いと思うんだけれど、機械学習自体はなかなか直接的な議論の俎上に乗らないものか。確かに分析哲学自体が言語・論理の枠組みに乗っかかっているので、そちらに親和性が高いのは自然なことではあるのだけれども。僕の課題感、すなわちロバスト性の哲学的含意とか、目的関数の哲学的含意とか、そういうのは興味を持たれないのか。自分の力不足を感じる。あるいは自分のストライクゾーンが狭すぎるのかもしれない。
なんだか無気力感を感じる。いまの研究をやっていて何の意味があるのか。