May 2024

Random thoughts in Japanese. All optinions are my own.

2024/05/31 (Fri.)

JSAI に日帰りで参加。今年も正直半信半疑の社交儀礼で参加登録していたみたいなところはあったのだけれども、間違いなく来てよかった。理論的な方面では福地さんと思いの外に盛り上がった outcome indistinguishability の話、そして科学哲学方面では大塚さん交えた企画セッションの議論、特に「信頼性」を reliability と trustworthiness に分解する話が、言われてみれば当然だったにも関わらずそれを自分が全く認識できていなかったという点で目から鱗だった。1日で得られたとは思えない情報密度だった。

2024/05/30 (Thu.)

白眉の年次報告会。相変わらずみんな好きなことを語っていて（仏教学をどう「応用」するかとか、ペルシア語とアラビア語の相違とか、JWST によってなぜ観測天文学分野が沸き立っているかとか）いいな。栄養になる。自分も飲み会でシンタックスとセマンティクスの話をしたりした。自然・形式言語を扱わない分野では意外と知られていないんだな。

2024/05/29 (Wed.)

一夜明けて快晴の中、日帰りで伊根・天橋立に行ってきた。伊根湾の水面を眺めながらお造りをいただき、天橋立と青い空を眺めながら温泉に入り、特急に揺られながら帰ってきた。日帰りでも全然満喫できる。天橋立も走破できた。気持ちの良い一日だった。

2024/05/28 (Tue.)

久しぶりの大雨。未明に雨音で目が覚めた。
今月末に向けた一連の締切をなんとか捌き切りつつある。振り返ると、NeurIPS 投稿5件、ICML のカメラレディ、さきがけ申請、その他細かい仕事がいくつか。よくやりきったなと思う。
次は何の研究をしようかな。結局この妄想の時間が一番楽しい。
先週は疲れていたので、しきりに共同研究をしてほしいという誘いに対して前向きな返事をできる気持ちになれなかったけれど、週末を経てぼんやりと「共同研究の申し出を（それも相当に優秀な学生さんから）いただけているのは相当な栄誉だよな」という気持ちになってきた。仕事を頼まれるうちが華という考え方はあながち間違ってはいない。

2024/05/27 (Mon.)

締切慰労旅行ということで日帰りの天橋立の切符を勢いで買った。こういうお金の使い方をしたっていいじゃない。

2024/05/25 (Sat.)

昨日の ACT-X 研究者セミナー、元々自分が「せっかく京都に ACT-X の研究者が来るなら研究室の若い学生さんにも見てもらったら刺激になるんじゃないか」という思いつきで始めたものだったが、直前になるとそもそも学生さんも学会前で忙しい中でさらにイベントを増やしてしまって申し訳ないと感じていた。それでも夕方に「刺激になった」というフィードバックをある学生さんから（僕から聞いたわけでもなく彼から自発的に）もらって、「ああ、一人でもそうやって思ってもらえたならやった価値はあった」と思えた。
その後いろいろと議論している中で、僕が可能であれば softmax は線形近似すべきでないと言ったときに「理論はそもそも近似が入っているから、見たい結果が見れればよいのであって、不必要に複雑にすべきでない」と切り返されたとき、ちょっと言葉に詰まった。でも後から考えたらやはりその考え方は道理に適っていないと思う。見たいものが見れればよいだけであれば、理論は経験的事実に対して過適合してしまい、設定に少し摂動が加わったときにロバストでない説明を与えてしまうのではないか。言い方を変えれば、見たいものを見ているだけにならないのか。
でも僕のこの反駁が妥当であることを実証するには、そういったロバストでない状況を与える必要がある。ここで一周して、半年前に唐木田さんと議論したとき (2023/10/27) に出てきた「線形と非線形で何が異なるのかを見たい」という言葉がリフレインする。
理論の役割とは何なのか。結局まだこの問題から抜け出すには自分はまだ未熟に過ぎる。
久しぶりに昼前まで寝た。昼下がりに Song Bird Coffee でゆっくりと作業している。今月はずっと息継ぎせずにここまで来たので、ようやく落ち着けた。

2024/05/24 (Fri.)

学生さんの発表練習に付き合って、来客のセミナー発表に参加して。一日中セミナーを聞いている。これで NeurIPS 締切直後の仕事の波は一段落。まだ来週も締切が控えているが、一旦心のなかでは区切りをつけてよいだろう。
なにはともあれ山田さんたちとやっていた論文が arXiv に上がった。先月出張中に渋谷スクランブルスクエアを歩きながら zoom をしてはじめて話を聞いた (2024/04/12) ときは全然突飛なアイデアで、正直こんな話うまくいくのか半信半疑だったが、最終的には経験的な性能も力学系の観点からも、そして神経科学との繋がりも含めて、非常に良い研究になった。たった1ヶ月で予期できないほどエキサイティングな研究だった。思いもよらないポジティヴな形で自分が巻き込まれた。こうやって自然と人を巻き込む研究、とてもいいなと思う。

2024/05/23 (Thu.)

帰りのバスに乗りながら McCaslin の Stadium Jazz を大音量で聴く。McCaslin の音楽を聴くとなぜだが自分が異国の地にいるかのように錯覚する。
なんとか投稿を終えた。自分の中では終わっていない論文もあるけど、とりあえず頭の中の脇におく。今日くらいダラダラ仕事したってバチは当たらないだろう。
根を詰めて締切と格闘していると、自分がこんな生活をしたかったのかわからなくなる。でもそうじゃない。僕には僕が目指しているものがある。締切に追われているときこそ、それを思い出すべき。

2024/05/22 (Wed.)

締切当日になってもあくせくしている脳神経モデルと単語埋め込みの研究、慌ただしい一方でどちらもエキサイティングに感じられるのだけれど、その理由は何かと考えるとやはり共同研究者一丸になって一つの目的に向かっていること。そしてその「場」がどうやって発生したのかと振り返ると、結局は良いアイデアがあることと締切直前になってもまだ完成していないこと。たぶん良いアイデアがあるだけでもダメで、締切直前になって火の車になっているのが一つの舞台装置として機能しているのは間違いない。締切に追われるのは健全ではないのだけれども。そう考えると、研究合宿が折衷的な解決案になるのかな。
しかしやはり周りを見渡していると、著者として名前を連ねているのに禄に原稿をチェックしないのが信じられない。多忙なのはわかるし、僕も別に原稿をチェックしないのが道義的にどうとか言うつもりはなくて、単純に自分の名前を掲げた文章が公に出ようとしているのに、自分で責任を取らないのが信じられないというだけだ。道義心ではなくて、生理的に無理ではないか。僕だったら著者から降りる。責任を持てない文章を自分の名前では出せない。
そう考えると、大学の名前を掲げて論文を発表しても大学当局は誰も確認しないのも不思議なことだ。私企業だったら間違いなく監査が入ってから世に出るだろう。もちろんそれが大学の自由さであり良いところでもあるが、それは同時に構成員に高度な倫理感が求められるということだ。果たして我々は倫理的責務を全うできているのか。それは常に自問しなければならないことだ。
そんなことをぼんやりと考えながら、実際のところはひたすら原稿を直して、直して、直している。終わりが見えない。できるところまでやるしかない。

2024/05/21 (Tue.)

オフィスで必死に論文を修正している横で、「使える理論」「使えない理論」の話をしているのが耳に入る。「使える」「役に立つ」という言葉を聞くと心がささくれる。無意識の「使える」基準の内在化を意識下の明るみに出さなければ、それは自分の基準の押しつけにしかならないので。そして、逆説的に自分が理論の「役に立つ」と思っている点が、まさに基準の顕在化を行うことにある。
学生さんと前ラフに話していた研究アイデアについて、その動機は何なのかと問われた。当然僕は僕で答えはあるけれども、でもどうにも表面的な動機しか喋れていないような感覚がある。僕は理論研究でそんな小手先のロバスト性を追求したり、数理モデルの変種を考えて喜びたいのか。そして、仮に学生さんがこの研究をセミナーで話したとして、僕は我が身のことだと思って研究の面白さを大衆に向かって喋ることができるのか。彼の質問ひとつが、究極的には僕自身が何を内発的動機としているのか、という問いに繋がっていた。学生に教わるとは、こういうことも言うのだろうか。
つまり、本質的には「人にわかってもらえない」恐怖。それが自分にある。ただ、研究の道に進もうと思った大きな理由の一つが「自分しか持っていない価値観の埋没を食い止めること」(2021/09/05) にある以上、裏返せば常に大衆には共感してもらえない中で生きていくしかないことを覚悟する必要があることになる。人にわかってもらえないことは怖い。しかしそれは僕自身が選んだ道なのだ。

2024/05/18 (Sat.)

仙台出張終わり。毎日午前も午後もコンスタントに進捗が出続けて、問題の理解が進み続けていた。これほどまでに生産性の高い研究経験もなかなかない。元々旅行は好きな方ではあるが、普通は出張中はどうしてもオフィスにいる日よりは実際に作業できる時間が限られてしまうためにトータルで生産性が高いかどうか自信は持てないのだけれども、今回の出張は明確に自信を持って、仙台に来なければこれほどまでに研究が進むことは決してなかったと断言できる。おかげで仙台の街はほとんど何も楽しんでいない。それは次の機会に譲るべきだろう。
NeurIPS 締切間近、自分が関わっているプロジェクトではどれもかなり面白い結果が出揃ってきた。共同研究者が創意工夫を凝らして、そして試行錯誤を繰り返してきたおかげだ。自分の仕事も多少なりの貢献になっていたら嬉しい。あと一息。

2024/05/17 (Fri.)

今日も一日青葉山でタコ部屋合宿。考えれば考えると SGNS の目的関数がどういう生成モデルに対応するのかとか理解が進んでいて、単語ベクトルに対する解像度が上がっているのは間違いないのだが、解像度が上がっているがゆえに謎はますます増えるばかり。苦しくもあり楽しくもある。まだまだ全然わからない。でも考え続けたいと思える。
夜はホテルに帰ってきて Jessie とミーティング。最後に話したのはもう3年半前に一緒にオンラインワークショップをやったとき (2020/12/15)。あのときは正直な話、彼女の話を理解するのに要求される前提知識が全然身についていなくて、話の半分も理解できなかった記憶がある。親しいトピックを研究しているはずなのにこんなに話がわからないのが若干トラウマだった（もちろん彼女は気さくなので抑圧的な態度なんて全くない）ので、今日も話すまではドキドキ半分だったが、お互いよく何を考えているか伝えあったと思う。自分がわからないことをハッキリとわからないと言えるようになったのと、若干の英語のリスニング力の向上と。3年の時間の研鑽も小さくないものだ。

2024/05/16 (Thu.)

初めての仙台空港。東北も JR 東日本の管轄であるというのがいつまで経っても直感的に理解できなくて、仙台空港駅でも山手線と同じ発車メロディーが鳴るのを聞くと自分がどこにいるのか本当にわからなくなってしまう不思議な感覚。
仙台駅、最後に来たのはいつだろう。18年くらいに友人と銀山温泉に行ったときに、帰りに一瞬だけ降りて牛タンを食べたような気がする。その前は東北を鈍行で巡っていたとき、14年の春に石巻まで行ったときは確実に仙台駅で降りたと思うが、もしかしたらそれ以来なのだろうか。あまりにも久しぶりすぎて、来るまでは何の印象も残っていなかった（駅舎が大宮駅みたいという漠然とした印象はあった）けれど、改札前コンコースを目の当たりにした瞬間、昔の記憶がフラッシュバックした。そうだ、あれからもう10年も経ってしまったのだ。
本当に文字通り8時間くらいタコ部屋に籠もって単語ベクトルのことを考え続けた。おかげで8年越しくらいに単語ベクトルのことがよくわかってきた気がする。文脈ベクトルとはそもそも何者なのか。それは実体があるのか。パラメータなのか。指数型分布族の世界で見るとどのように見えるのか。様々な観点が一つ絵の中で見えてきた。仙台に来なければここまで見えることはなかったことは確信できる。

2024/05/15 (Wed.)

Forbes 30 Under 30 の審査を夢の中で見て、明け方早くに目が覚めたので、そういえば 30 Under 30 の候補者ってどうやって選出されているんだろうと思ってふとんの中で調べていたら、なんとちょうど昨日から推薦がはじまっていた。何かの妙な縁すら感じる。心のなかではこういったセルフプロデュースに対して斜に構える気持ちが常にあるけれど、実際過去にそのせいで機会損失があった実感はある（Masason foundations に応募すらしなかったこととか）ので、我を抑えて出すだけ出すのは大事そうだ。
今日はどうせ午後から移動するし午前だけ大学に行ってもあまり意味ないと思っていたが、講義帰りの学生さんに transformer に関する質問をされて、それがことの他に面白い議論（transformer を固定長 + ゼロ埋めで学習するときにうまくいくメカニズムが実は行列補完と関連があるかもしれない？）につながった。オフィスにいることの重要さをしみじみと感じる。
移動の道中、伊丹行きのバスで論文添削をし、フードコートの待ち時間で論文を1本読み、ラウンジに駆け込んで大量のメッセージに返事を返して。仕事を捌く能力は確実に向上しているし、時間が効率的に活用できている実感はある。アドレナリンが出る。それでもやりたいことが終わらない。昨日も白眉セミナーの帰りに佐藤さんとそんな話をしていた。やりたいことが多すぎて時間が足りないのはもどかしくはあるが、自分の尽きない好奇心という観点ではこの上なくポジティブなことなのだ。
ということでこれから仙台へ飛ぶ。先日の中国帰省に続いてプレミアムクラスラウンジを存分に活用している。仕事を効率化できるものは何だって活用する。仙台で一息に研究を仕上げる所存だ。

2024/05/14 (Tue.)

最近滑舌があまりよくない気がする。たまによく人に日本語でも英語でも聞き返される。声帯をきちんと震わせて口を開けて喋るように心がけるべきか。
締切に追われていて気が気でない時期ではあるが、そんなことは一旦脇において白眉セミナーに出た。今週の田近さんの話も面白かった。話にウィットがきいているのはさておくとしても、古生物学における数理モデルの活用、たとえば放射性同位体の観測量から古生物の生息海水温を算出して成長過程を推定する話とか、同じく放射性同位体の観測量から基礎代謝量の推定を行う話とか、古生物という一見太刀打ちが困難な記述対象に対してそうした数理的アプローチで挑戦できるというのが自分の目には新しく映った。忙しかったけれども話を聞きに行ってよかった。

2024/05/13 (Mon.)

一日 RAND-WALK モデルと SGNS モデルとにらめっこしているが、やはりよくわからない。締切直前でこんな理解では到底間に合いそうにもない気がするが、この期に自分を追いこなければいつになっても手を動かす時間は来ないと思うので、意を決して仙台まで行くことにした。いまの理解では喉元に小骨が刺さった状態が続いていて、なんとか心の底からスッキリできる理解にしたい。

2024/05/12 (Sun.)

今週末は平衡点解析の結果をじっくり書き上げた。気晴らしに突然どこかに遠出したいものだけれど、締め切り前でそうもいかないので我慢。代わりに自宅でビリヤニや赤ワイン煮込みを作ったり、美味しいものを作るのに精を出す。

2024/05/10 (Fri.)

やっぱり根本的に凸共役に関する理解を間違っていたらしい。主双対空間の両方を確率単体に取ろうとしていたが、それはできないのではないか。しかも数式の上ではなんとなく無理そうなことはわかるが、それをはっきりと原理的に説明できるほど理解はできていない。もっと考えて理解してから論文を書く必要がありそうなので、NeurIPS の投稿は一旦やめることにする。自分で理解できることが大事だから、じっくり時間をかけよう。
それにしてもやりたい研究は山積していくし、一本投稿をやめたところで他にも同時並行で抱えているプロジェクトが多すぎる。どれも面白いのだけれど時間だけが足りない。5月末までは全く気が休まることがなさそうだ。

2024/05/09 (Thu.)

COLT は自分メインでやっていた論文は通らず、共著のほうが通った。共著の論文（online structured prediction）は坂上さんが非常に丁寧に仕上げた仕事で、共著者4人の得意技が組み合わさったクオリティの高い論文で、投稿した時点でも手応えは相応にあったし、査読でも非常に高評価だったのですんなりと採択。これくらい綺麗な仕事を自分もしたいものだなあと思う。坂上さんは初の COLT 論文ということなのでめでたい。自分も COLT に行くかどうか悩ましいけれど、自分の論文が通らなかったのと、単純に ICML と COLT に両方参加すると出張で時間がなくなってしまいそうなので、今夏の出張はウィーン@ICMLだけの見込みかな。
本を読みながら頭の中を整理していたけど、僕自身は相当な楽観主義者、合理主義者だろうなと思う。これはいま読んでいるカー『危機の二十年』の中で整理された。悪く言えば理論偏重、過度の一般化、抽象論。言葉にしてしまえば自分の性質がそうであるのは火を見るよりも明らかなのだけれど、ラベリングしておくというのは馬鹿にならないことで、思考の整理になるのだ。自分の中の合理主義者と、自分の中に欠けている経験主義のバランスをどのように取るか。研究の方法論の上でも一つ重要な課題であろう。
実装のバグが直らないと一ヶ月ほど悩んできたが、どうやら自分の proper loss に対する理解に誤りがあったことがわかってきた。エントロピーとその凸共役各々の勾配は互いに逆関数の関係にあると認識していたのだが、これは1次元の場合に限る話で、多次元の場合は一般に逆関数にはならない！ずっと逆関数だと思っていたのがまさかの誤認だった。どうりでたまに数式の上でもおかしいなと思うことがあったわけで。

2024/05/08 (Wed.)

ミーティングから雑談まで人と話し続ける一日だった。ランチで谷口先生と初めてゆっくりと喋る機会が持てた。自分の興味が（単一エージェントの）コスト関数をマルチエージェントに拡張したときの調停可能性にあるということを整理しながら議論できただけでなく、それに対して経済の方で研究されている shadow price という、マルチエージェントで各エージェントが独立な効用関数を持っているとき、全体効用がベンサム効用（加法的）であることを仮定すると未定定数が最適な全体価格と一致するという結果を教えてもらった。言い換えれば、独立な効用関数だったとしてもある種の仮定の下では調停できるということになる。
遠くから見ていると色々な興味を持っておられる先生なのだな、くらいの認識だったが、実際に話してみると相当に自身の思考を積み重ねてきたんだなということがよくわかる。そんな人がオフィスの扉の斜向かいにいるといういまの環境は恵まれすぎている。残された時間はそんなに長くない。この環境が最大限活用できるように戦略的に動かなければ。

2024/05/07 (Tue.)

ICML の採択論文一覧が見れるようになっていたので眺めていたら、3月にぼんやりと unconstrained feature model でできたら面白いんじゃないかと考えていたアイデア (2024/03/23) とほぼ同じように思われるタイトルの論文を見つけてしまった。まだ中身は見ていないけれど、タイトルがかなりの部分を物語っている。このアイデア、他の人は容易には思いつかないだろうと思っていたので、まさかこんな直近で既に手を付けているグループがいるとは思わなかった。かなり悔しい。明日また論文の詳細を読んでみようと思う。

2024/05/06 (Mon.)

連休最終日くらいは休むことにした。はじめてのビリヤニを作ってみたり、ケーブルタップの収納箱を DIY してみたりした。連休でもないとなかなか思い立たないだろうからできてよかった。

2024/05/05 (Sun.)

いろいろとやるべきことが山積しており、GW にもかかわらずてんやわんやしている。昨日今日とで月末締め切りのさきがけの書類の大枠をざっと書き上げたので、これは締め切り直前まで一旦忘れられる。あとは査読の返事をしたり、知り合いからきた研究に関する議論に返事をしたり。でも、どれも研究者らしい仕事でとても良い。多忙すぎて嫌になるとか、自分が本質的だと感じられない仕事にばかり追われているとか、そういうことがない。

2024/05/03 (Fri.)

先月は USJ に行ったり中国に帰ったりとそこそこ休暇を謳歌していたので、GW の間は仕事に精を出すことにする。学生さんの論文を添削して、平衡点解析を進めた。進捗は悪くない。

2024/05/02 (Thu.)

ICML に1本通った。通ったのは Transformer 論文の方だった。日記を見返したら締め切り4日前に初稿を埋めていた (2024/01/28)。よくもまあこんなスケジュールで通したものだ。査読でもモデルの仮定が強いという批判はあって、それは全く同意するんだけれど、一方でギリギリ許容できるくらい単純なモデルで綺麗な結果を出しておくのは研究の初期段階で必要なステップだと思う。こういう結果はなかなかハイインパクト重視な場では評価されづらいのだけれども、なんとか一回目の投稿で通ったので安堵した。
ICML でウィーンに行くのならチュービンゲンの Bob Williamson のところに立ち寄れたら嬉しいなと思って連絡したら、ものの10分で快諾のメールが返ってきて驚いた。研究ができる人はおしなべて反応も速い。これだけ Williamson の論文を食い入るように読んできたのにこれまで話す機会がなかった。本当に会えるのだとしたら、この数年を損失関数の研究に捧げてきた我が身としてこれほど嬉しいことはない。
その傍ら、いよいよ NeurIPS が火の車になってきた感じがある。自分が何らかの結果を出さなければならないプロジェクトが並行している。そして自分がメインの研究が一番進んでいない。依頼されていた平衡点の安定性解析は終わりが見えてきた。革新的に面白いほどではないけれど、ぼちぼちの面白さはある。時間を効率的に使わなければ。

2024/05/01 (Wed.)

羽田から直接大学へ戻って仕事。大学でデスクに向かったほうが実装も進む。まだ期待した挙動にはなっていないものの、PyTorch で逆関数を計算するコードを少し書いてみた。