Random thoughts in Japanese. All optinions are my own.
2023/06/30 (Fri.)
- 内職しながら聞こうかと思っていたけど、結局面白い発表が全体的に多めで、朝から晩まで通しでほとんどの講演を聞いていた。いくつか印象に残った話はあるけれど、行列式点過程の基本を学べたこと、mode connectivity（NN loss landscape の局所解同士を線形補間してもその間は最適）の概念を知ったこと、cross attention の気持ち（興味のある系列に対してマスクをかけたいという動機）あたりは特に学びが大きかったのではないかと思う。
- 教員が集まって飲み会するとどうしてもキャリアの話になってしまう。僕は根拠のない楽観があるのでなんとかなると思っているけれども、それでも数年後にどうなっているのかは気にならないことはない。
2023/06/29 (Thu.)
- 6年振りの OIST での IBISML への参加。6年前の自分にとっては大学院に進学して初めての学会発表だったので、懐かしい気持ちを思い出す。終わった後に何人かで安居酒屋に集ってエントロピー最適輸送の実装について（沖縄の片田舎で！）盛り上がるのもなかなかに感情を揺さぶられるものがある。
- IBISML の運営経緯について、裏事情を少し聞いた。こうして少なくないリソースを投入して開催しているのには意味があったんだと知った。
2023/06/28 (Wed.)
- 重み付き有向グラフに関する行列木定理の一般化の証明を一通り追った。証明の過程で冪零行列やジョルダン標準形、行列の同時三角化などを使ったので、線形代数の勉強にはとても良い練習だった。本当はこういうのは学部生で済ませておくべきだったのだろうけれども、もう学生を卒業してしまった以上、贅沢は言えない。
- 沖縄への移動中のバスやフライトで三中先生の読書論『読む・打つ・書く』をひたすら読んでいた。読書に対する相当の執念を再確認させられる筆致で、なかでも面白いと感じているのは、読書を「利用可能な資料を探す」過程として捉えている点だった。これは極めて純研究者的発想だと思う（文筆家は得てしてそうなのかもしれないが、僕は研究者視点しか知らない）。特に書評の書き方が後で資料として再利用可能になるようなスタイルである点。僕自身は本を読んでもここまでの執念をもってして記録をつけることができない。その大きな理由はひとえに僕の怠惰なのだけれども、記録に残して頭から忘れてしまうと自分の無意識の思考の糧にはならないだろうなと思ったり、再利用可能性を度外視した、読んでいるときに掻き立てられた感情的な側面もそれなりに大事にしたいという気持ちもあるからかもしれない。その点は何必館の梶川さんの文章に惹かれるところが大きいのだと思う。
2023/06/27 (Tue.)
- 後輩が日帰りで京都まで訪ねてきて進路相談にやってきた。自分なんかに比べてもずば抜けて優秀なので、心の奥底から沸々と湧き出る「それだけ能力があればどっちに転がったってどうにかなるでしょ、何を悩むことがあるの」という気持ちをなんとか堪えて、自分なりの視点で意見を述べる。でもそんな20もそこらの若者の行く末を僕が一人でどうこうしてしまうことには抵抗感がある。バイアスはなるべく与えたくないという自家撞着を抱え込む。結局は「できるだけ後悔しない道を選んだら」という、毒にも薬にもならない言葉しか最後は出てこない。これで良かったのか。
- 「これまで後悔したことないんですか」と聞き返される。一瞬答えに窮して「近頃は何事にも期待していないから後悔することもあまりないんだよ」と口を衝いて出る。そんな言葉を後輩に果たして投げかけてよかったのだろうか。諦観的に過ぎる態度は周囲をニヒリズムに巻き込むだけで良いことがないのではないか。
- 梅雨本番の湿度の高く生暖かい空気が立ち込める。最近の自分の言動は陰鬱な空気を周りに振りまいているような気がしてならない。
2023/06/25 (Sun.)
- 昨日は去年の8月ぶり (2022/08/27) に何必館に行った。今回は荒木経惟の写真展で、特に90年代から00年代にかけての「花」をモチーフにした作品群。最近はようやく写真作品の見方がわかってきたような気がする。写真家が他人とどういった違う視点から世界を切り抜くのかという点に面白さがあると思う。2月 (2023/02/25)に Lenbachhaus でリヒターの写真群を見たときも同じことを思った。荒木経惟の作品は、テーマとしては死生観が色濃く漂うのだと思うけれど、自分が感じたのは現実と虚構の境界の曖昧化。写真は現実を忠実に写し取る機械のように思われるけれど、荒木経惟の技にかかるとあたかも「死んだ」絵画のような作品として世界が切り取られる。そこに面白さがある。
2023/06/24 (Sat.)
- ここ最近、少し上の世代の人と話している時に少なからぬ違和感を感じて消化しきれなかったことがあった。
- その1。ある先生と話していたときのこと。僕はいまの白眉の職位は適度な頻度で全く専門も違う同僚と交流する機会が与えられるので、それらのイベントに対して肯定的なのだけれども、「白眉って仕事多そうですよね」という言葉遣いをされたことに引っ掛かりを感じた。その先生は業界内でも人当たりが相当良い人で人望が厚いのだけれども、僕は言葉の節々から他人と関わることに対する厭世観が感じられていて、それは教育者の立場としてどうなのだろうと考えてしまう。
- その2。別の先生と話していたときのこと。最近はかのTerrence Taoでさえも最先端の数学にLLMを使うことに対して積極的な見方をしているが、その先生は「学問的創造性をAIから得ることは時には可能かもしれないが、本来は研究者の仕事のはずだ」という意図のことを言っていた。僕自身はAIに世間ほどの熱狂を感じてはいないけども、ただその保守的な見方と言葉の選び方から過度な矜持を感じ取ってしまった。（古典的な意味での）人間の知性が最上位に位置付けたり、知性の研鑽が十分でない人を無意識的に卑下したり、勿論別にそこまで明言しているわけではないけど無意識下ではそういうことを考えているのではないか、そうでないとその言葉遣いにはならないだろうなと邪推してしまった。
- それでは自分はどうなのか。3月に岡野原さんに久しぶりに会った折の雑談で「なんでも機械学習で解決しようとするのはエンジニアのエゴだ」という発言をしてしまったことを未だに反省している。そもそも口をついて出た言葉の語気が思っていたよりも強くて自分でも驚いてしまったのと、結局僕も先の先生のように保守的な見方に囚われているのかと身につまされた。岡野原さんは直後、in-context learningの進展と技術的展望を語ってくれて、自分の思慮の浅さを思い知らされる結果となった。
2023/06/23 (Fri.)
- 前の研究室の後輩がワークショップで京都に来るということで、久しぶりに会ってお昼ごはんを一緒に食べた。最近圏論を使った論文を新しく書いたのは知っていたけどずっと論文リストに積んでいたので、この期に午前に読んでから行った。自分は圏論のことは何もわからないけれども、圏論を適切な抽象度で使って論理と最適化を繋げていて機械学習の枠に留まることがなく、素人目ながらにとても良い論文だと思った。おそらく数年の時間この仕事に没頭しなければできなかっただろうし、こういう仕事が後世に残っていくのだろうなという直感がある。自分にはできなかったことなので非常に羨ましく思う。
- 体力がない。1週間仕事を終えて帰宅して、もう何もする気力が残っていない。仕事中の休憩の取り方を工夫すればもう少しマシになるのか。単純に仕事時間を減らすべきか。今はそれほど忙しいタイミングではないので、その裁量が自分に委ねられているのはまだ幸いだが。
2023/06/22 (Thu.)
- 査読の間に蓄えた論文読みのスタミナを保ったまま、今週も色々な論文を大量にサーベイできているので嬉しい。昨日も今日も3本ずつ attention 関連の論文をサーベイした。最近は attention に興味のある学生さんが多くて、その影響でじわじわと attention のことを知らなければならないような気持ちになって、それはそれでサーベイする強制力が働いているという意味では良い環境ではある。これくらい論文を読むと attention の中でもだいぶ狭い領域しか見ていないにはせよ、1年前の知識から比べるとだいぶ解像度が上がってきたと思う。
2023/06/20 (Tue.)
- 四ツ谷に立ち寄ったのは2年振り (2021/03/29)。四ツ谷の地形は起伏に富んでいて、エッシャーの騙し絵のような錯覚感をしばしば覚えるがゆえに、何度立ち寄っても観察眼が肥えない。
- 修士の卒業から数えるともう4年以上も経つもので、当時大学、大学院同期だった友人と話をしていてもだんだんと噛み合わなくなっていく寂寥感を感じる。これは30代に差し掛かりかけている人間に普遍的な現象なのか、自分がいつまでも大学という特異な環境にいる所以なのか。昔は親友だと思っていた人とも話がすれ違うようになっていく。寂寥感も感じないわけではないのだが、それよりもむしろ自分が生きている世界が当たり前だと思っていた、その気づかぬ間に当たり前が成立しない世界に迷い込んでいる不安感の方が強いのかもしれない。
2023/06/19 (Mon.)
- 査読を全部終わらせた。常に仕事が何か滞留しているような感覚で不安だけれども、きちんとやるべき仕事は全部やっているはず。それ以上の仕事は抱え込まないことが鉄則。
- 明日は早朝から都内で仕事なので前入りで東京へ。東京駅に着いてそのまま中央線に乗るけれども、全く久しぶりだという感覚とか、もう引っ越してしまったという感覚がしない。9年間も東京の電車のリズムを体に刻みこまれた結果か、違和感を感じない。新宿駅南口のタカシマヤタイムズスクエアのあたりは流石に再開発されていて、見慣れない光景に少し戸惑った。
- ギリギリ仕事が回っているような回っていないような。理想的にはもう少し自由に発想ができるような時間的余裕があるのが良いかもしれないけれども、現実的にはこれくらい少し緊張感があるくらいがちょうどよいのかもしれない。
2023/06/17 (Sat.)
- 休日でゆっくり腰を据えて本を読めるのは少し久しぶりかもしれない。三中先生の『系統樹思考の世界』を読み返しているところ。この本自体はもう自分の読書記録にも残っていないので、たぶん買ったのはもう7、8年前にも遡るのかもしれない。漠然と良い本だった印象だけが残っていただけで内容に関しては覚えていなかったのだが、読み返してみると自分が悩んでいたことが全て書かれている。歴史学の手法、最適化基準の選択、科学を科学たらしめる基準、などなど。それでいて自分になかった視点を挙げるとしたら、歴史学の手法として「比較法」を様々な歴史学的学問に普遍的に見られるアプローチとして取り上げている点だろうか。とにかく自分の思考の整理になる。学部生の頃はここまでは刺さっていなかったと記憶している。あの頃から考えれば、本当に遠いところまで来たものだ。
2023/06/16 (Fri.)
- 1週間のうちに気合で 5本査読を終わらせて、学生さんの原稿を添削し、学生さんの研究のディスカッションにたくさん乗った。目に見える仕事をたくさんしたので自己肯定感が高い。
- 学生さんとの議論は良い。今週も Lie 群の表現論や MST の線形計画法帰着の一つである MTZ formulation を知ることができた。こういう機会があると自分ひとりでは遭遇できなかったトピックに触れることができて、結果的に幅が広がるので嬉しい。
2023/06/14 (Wed.)
- 査読の季節。今日は気合で査読を 2本終わらせた。
- 中尾さんの AI の技術倫理の本を読み終わった。中尾さん自身は最終章にもあるように AI の技術として見たときの人間からの「他者性」と、ユーザーとのフィードバックを元に中身が逐次的に更新されていく「自律性」に焦点を当てて、従来型の技術倫理や科学技術社会論では取り扱えない課題を浮き彫りにしたかったらしい。個人的には技術権力論のところが面白かったというか考えさせられたところ。技術を通じてその技術を生み出した人間が間接的にユーザーに対して権力を行使する構造になるため、何らかの形でその権力構造に抗わなければならないという論調になるわけだが、果たしてエンドユーザーはそれほどまでに自分の行動に対して自律性や自己決定権を欲しているのだろうか。仮に全ての自己決定権を委ねられたとしたら、意思決定だけで膨大な量の情報を処理しなければならなくなるし、そんな労力を費やせる人は極稀だと思う。そうなったときにどこまで技術に人間の自律性を委ねていいのかは難しい問いだろう。思うにこの手の権力論は西欧の自由意志概念に強く根ざしていて、即他の文化圏で受容されるかどうかは微妙なところだと思う。
2023/06/12 (Mon.)
- 沖縄滞在の時間をほぼ証明の書き上げに費やしたけれども、なんとか書き上げることに成功した。最後に躓いていたのは sub-exponential random variable の裾確率の振る舞いで、実際に計算をして試行錯誤してようやく理解できた。Sub-exponential な場合は sub-Gauss な裾と sub-exponential な裾が混在するけれども、n が大きいときは最終的に sub-exponential な裾に支配される。証明を書き上げる過程には予期していたよりもかなり時間を費やしてしまったけれども、こういう細かい箇所に対して理解を深めることができたので大満足している。この研究は割りと進んだので大詰めにかかっているのではないか。
2023/06/09 (Fri.)
- 6月の沖縄滞在の前半戦が終わった。本当によく働いたと思う。証明はもっとさっさと書き上げるつもりだったけど、結局滞在中の空き時間はほとんど証明を書くのに費やしていた。でも逆に言えばこの滞在で集中して作業する時間が取れなかったらもっと時間がかかっていたかもしれない。そういう意味では良かった。あと1ピースだけ残っているが、明日空港で仕上げてしまいたいと思う。
- 日に日に湿度が上がっているのを感じる。今日はもう沖縄らしいサウナのような湿度の高さだった。これくらいで一度京都に戻って逆リフレッシュするのが良いのかもしれない。
2023/06/08 (Thu.)
- 朝8時に大学に着き、夕方7時半に大学を離れる。その間、ディスカッションしたりセミナーを聞いたり、空いた時間はひたすら証明を書き続ける。理想には届かないけど、着実に仕事が進んでいる実感はある。ずっとこの仕事量を続けるのは厳しいけれど、たまにこうやって1週間くらいカンヅメになるのは効果的だと思う。
2023/06/07 (Wed.)
- 滞在中のユニットトークをやった。FIMI (2023/03/14) のときの使いまわしで準備時間もほぼゼロ、スライドを回している自分さえも次にどんなスライドが来るかちゃんとはわかっていないような状況だったけれども、その前提のもとではまあまあうまくやった方な気がする。別にすこぶるうまくプレゼンしたわけでは全くないと思うけど。本当はもっと時間を割くのが理想ではあるけど、研究とプレゼンとその他の仕事の時間のバランスをどうやってとるか。いつも難しい問題ではある。
- 午前中は Han Zhao さんも交えて分散最適化に関するディスカッションをしていたが、Han さんのアイデアを説明する流れがわかりやすすぎて舌を巻いていた。ホワイトボードにマーカー一本で、ここまでクリアにエッセンスを喋れるのか。どれくらい事前に準備したんだろう。アイデア自体は昨日考えたと言っていたので頭の中では新鮮な状態なのだろうけれど、自分に同じことができるだろうか。
2023/06/06 (Tue.)
- 滞在中の UIUC の Han Zhao さんと会った。元々修士の頃に教師なしドメイン適応の研究をしていたときに既に名前は知っていたので、まさか一周回ってこんなところで会うことになるとは思わなかった。見た目通りの気さくな人（しかもアメリカあるあるのハードワーカー気質の模様）。
- ひとつ証明の間違いを直すともぐらたたきのように別の箇所に間違いが見つかる。本当は先週中にもう証明を直し終わっているつもりだったので、この証明をひたすら直していくプロセス自体はしんどくはあるのだが、直していくうちに自分の集中不等式に関して理解の甘かった部分がクリアになっていくのが肌で感じられるので、そこにはやり甲斐がある。
2023/06/05 (Mon.)
- 6年越しの OIST 訪問。あいも変わらず呆れるほどにキレイなキャンパスと海の眺めに圧倒される。ユニットが入っている建物が一番新しい建物で、まだそれほど他ユニットが入っていないのもあって、かなり静かに作業に集中できる環境だった。海とカフェとコーヒーと静かな環境がある。あとは仕事で成果を出すだけなのだが。
2023/06/04 (Sun.)
- OIST 出張のために沖縄に来た。沖縄も前回 OIST に行った 6年前が最後で、こんなにも時間の流れは早いのかと思わされる。バスで恩納村に近づくにつれて風景を思い出す。普段暮らしている街からすると建物の間隔が大きくて、しかも完全な田舎と比べるとそれでも建物は並んでいるのに、絶妙に入る用のありそうな建物が一つも見当たらない、この不安の感情を掻き立てる町並み。それこそインドの町並みに微妙に似通っているところがあると思う。
- 明日から一週間の OIST 滞在。雑務もまあまあ片付けて、研究も躓いていたところは乗り越えて持ってきた。どれだけ仕事が進むだろうか。
2023/06/03 (Sat.)
- 3月に帰国するとき (2023/03/13) にシャルル・ド・ゴールの tax refund で長蛇の列に並んでいるときに出会った、小学生の娘さんを連れたアメリカ人の母親研究者のことがふと頭を過る。コロナで1年延期になっていた娘さんとの北海道旅行に行くところだったらしい。なぜ今思い出したのかもわからない。娘さんに対しては厳し目の人のように見えたけど、延期になっていた海外旅行にちゃんと連れていっている親の甲斐性と言うのか、人間味を感じたのかもしれない。僕が知床に行ったとき (2022/02/14) の流氷の写真を見せると、待ちぼうけでやや機嫌を悪そうにしていた娘さんが一気に目を丸くしていたのも愛らしい。母親はユタのどこかで土壌環境の研究をしているらしい。ユタの研究機関ということは、普段はまあまあの田舎で暮らしているのだろう。そういうところまで想像して、異国フランスでフライトを待っている親子二人を見て、なんだかありそうでないような、不思議な親子像に見とれていたのかもしれない。
2023/06/02 (Fri.)
- ここ最近はゆったりと研究する時間が取れている気がする。4月以降まあまあ落ち着いているのだが、去年もこの時期はそんなに忙しかった記憶がないのに、あまり研究が（少なくとも成果が）出ていなかった。だんだん効率が良くなっているのだろうか。
- ランダム行列の集中不等式を考えていると、sub-gaussian 変数の 4乗みたいな量の集中不等式が欲しくなって、2乗なら sub-exponential になるのだけれども、実は一般の p乗にすると sub-Weibull 分布というのが本当にここ数年で提案されているらしくて、ちょうど sub-Weibull の集中不等式が使えることがわかった。相変わらず最先端の学びが多いと同時に、やはりこのあたりの確率論に関しては必要な道具立てが実はそれほど整備されていないのだということがわかる。前も Vershynin を読んでいてそんな場面に遭遇したことがあるような気がする。
2023/06/01 (Thu.)
- 本当は今日から沖縄出張の予定だったけれど、台風で飛行機が欠航したので、京都で仕事をしている。こういう元々あった予定がなくなった日はボーナス感があってお得な気持ちになれる。
- なんとなく LLM で理論が作れるのか雑談しているが、正直データの詳細もわからないし RLHF で各社が何をやっているのかも具体的にわからないし、成功しているように見えている LLM も純粋な数理モデルというよりは単なる Web サービスなのではないかという気すらする。それを対象としてサイエンスができるのかどうかは（理論・実験問わず）謎。その試みは必要だろうけれども、僕にはまだ思いつかない。世界の理論家たちは続々とプレプリントを出しているけれど、いまいち芯を食った論文がなくて、おそらく皆次のステップを測りかねているのだろう。