Han Bao

Random thoughts in Japanese. All optinions are my own.

2023/09/30 (Sat.)

• 朝から久しぶりの KAMEE COFFEE でモーニングに行ってきた。ホットコーヒーとウィンナーの組み合わせは意外と好きだったことを思い出す。
• サークルの先輩のブログをなんとなく眺めていた。前からずっとそうだったけれど、決断とか計画的行動力に本当に長けている。我が身を振り返ればいつもその場その場でなんとなく進路ややりたいことを決めてきて、結局芯となる信念が足りないと思ってしまう。確固とした信念を持った人間からしてみれば、浮草のようにどこに向かっているかもわからないようなふらついた足取りに見えるのだろうか。だからといって自分の生き方を変えられるわけではないけれど。

2023/09/29 (Fri.)

• プレプリントを公開した（arXiv）。これで一つ手元の仕事を片付けた。原稿確認の旅路はまだ続く。
• 昔の日記を読んでいると、キルケゴールが言っていたという「認識の自由」のことを自分がメモしているのを発見した (2021/10/03)。これ、この間読み終えたばかりのフェルベークで強調されていた、フーコー的な「権力に対抗しない自己」「外的権力も自己を構成する一部」という考え方に非常によく通じている。

2023/09/28 (Thu.)

• 最後に少し論文を校正して、投稿とプレプリント公開の準備をした。先行研究の直接的な拡張ではあるものの、個人的にはランダム行列やダイナミクスで学ぶことが多くて今後の研究にも活きそうだし、示した結果も意外に非自明で面白くなったと思う。何より、たった半年で背景知識を叩き込むところから解析まで終えたので、よく頑張ったと思う。
• 何にせよ、1、2年前に比べても深層学習の理論に対する解像度がかなり上がった実感がある。もちろんそれでも知らないことだらけだけれど、昔より格段に読んでいて気持ちやテクニックがわかる論文が増えてきた。優秀な学生は博士の間にそういう力を身につけられるのだろうけれども、自分でも焦らずゆっくり腰を据えればここまで来れるものなのだなと感じる。

2023/09/27 (Wed.)

• この忙しい最中にもう一本原稿が積まれた。「もう少し早めに初稿を上げられないか」と言いたい気持ちをぐっと堪えて自問すると、そもそももう1週間か2週間早く原稿が上がってきたところで、自分の忙しさは大して変わらないだろうなと思った。たぶん気乗りのしない理由の本質は、そこまで興味があるわけではない研究トピックにあるんだろう。まあそうも言ってられないし、先入観で興味がないと思っていたら実は面白かった、みたいなことがないわけでもないし、これが大学教員の仕事であると甘んじて受け入れるまで。
• もう一件、ジャーナルの査読依頼も飛んできた。これもこれで大変だなと思いながらカバーレターを眺めてみると、全く知りもしない著者（過去の論文を眺めると活発に頑張っている方のようだ、少なくとも自分よりは名がしれていそう）から直々に僕の名前が査読者として推薦されていた。他に推薦されている査読者たちはみな自分も認める海外の有名な若手研究者たちで、その中に自分の名前が並んでいるというのはかなり嬉しい。どういう風の吹き回しか知らないけれど、海外からも多少は認知されているということだろうか。結局、研究にしたって執筆にしたって、誰かに何らかの形で届いているというのが何よりも嬉しいことなのだ。

2023/09/26 (Tue.)

• 領域会議終わり。ここ最近は本当に能率よく働いている。学生さんの原稿もいくつかじっくり目を通してフィードバックもできたし、書類仕事や出張申請も全て片付けている。集中してあっという間に時間が経っているせいか、渡欧予定までもう一週間なのに驚く。

2023/09/25 (Mon.)

• 昨日に引き続き学会のポスターセッション中に議論を続けて、かなり重要な結果を軒並み示せたように見える。というかほとんど示してもらった。こんな綺麗に解けてしまうものか。下手すれば後は証明をまとめるだけで次の論文になるような気がする。数学者の馬力にただ唖然としている。

2023/09/24 (Sun.)

• 2日連続休日に大学に呼び出される用事があってあまり気乗りしなかったけれど、収穫はあった。特に今日。先日の COLT 論文で積み残していた「modulus が可逆なのは loss がどのような性質を満たすときか」という open question に対して、おそらくフォーマルに通っている証明をその場で書いてもらった。まさかこの2時間少しの間にできるとは。これなら次の論文にも繋がりそう。
• ICLR に投稿予定の自分の論文は一旦推敲を終わろうかと思う。まだ締切まで5日ほどあるけれど、それ以外に処理しなければいけない案件が多すぎる。やや人工的なセットアップではあるものの、結局 CIFAR-10 での pilot study も週末に捻り出すことができたし、メインの知見は普通に面白いだろうと思う。ただ力学系解析の研究ははじめてだから、コミュニティにどのように受け止められるか。

2023/09/23 (Sat.)

• ここ3ヶ月で一番涼しくて快適な日。こんな日が続けば良いのに。
• ふと仕事はじめてから1年半経とうとしていることに気がついた。博士課程の半分。それだけに見合う仕事ができているのだろうか。

2023/09/22 (Fri.)

• 先週の東京出張で印象に残ったアイデア。異なる文化圏における普遍的な社会構造を抽出することで、逆にその文化圏の特殊性を特徴づけたい、という考え方。これは普遍化による特殊性の捨象とは真っ向から違う動機に立脚していて、普遍法則の研究に対して肯定的になれる考え方。数理的にはどういう枠組みで捉えられるだろう。「外れ値」検出的な方向性になるのだろうか。数理の人間としては、この特殊性の記述の枠組みをきれいに定式化できるのかどうかに興味がある。

2023/09/21 (Thu.)

• フェルベークを読み進めている。今日印象に残ったのはラトゥールの引用だったか、人間主体の道徳を考えるためにはそもそも他者主体のあるべき普遍法則を想定する必要がある、という一節。このときの他者主体は人工物であることも可能だから、そこから人工物の「主体性」「道徳性」を語ることが可能になる。なかなか鮮やかな理論。自分で納得できるほど有無を言わさぬ説得力を持った人文学の理論に出会うと、これこそが価値観の転換だと感じさせられる。
• 天寿を全うするまで人生を謳歌したいという価値観が自明であると思い込んでいるがゆえに生じている話のすれ違いを見ると辛い気持ちになる。僕はそれは自明な価値観だと思ってなくて、僕自身は（少し惰性なところもありつつ）今自分にできることをやろうと思っているけれど、誰かが早逝したいと思っていてもそういう考え方もあり得ると思う。その価値観を無邪気に否定して踏みにじっているのを見ると、それはそれで当人を傷つけているような気がする。

2023/09/20 (Wed.)

• お昼になんとなく思い返していたら、今年は思い出しただけでも映画館で映画を7本観ていることに気づいた。
• 能力のある一世代下くらいの大学院生がこれから海外の研究室にインターンに行こうと息巻いているのを見ていると羨ましく思わずにはいられない。悔いてもしかたないけれど、自分のときは D2 から渡航制限がかかってしまったので、本来だったらもう2、3回くらいどこかのラボに滞在したいくらいだったのにそれができなかったと思うとやりきれなくなる。「じゃあそれなりに自由な身分の今やればいいじゃん」となるが、学生であるかないかというだけでだいぶ精神的なフェーズが変わっているような気がする。学生のうちは他所の技術を積極的に学べるし、学ぶことが期待されているフェーズだけれど、今はどうしたってどこかしらで独立研究者としての個を確立させることを暗に陽に求められている。自分がどこかに滞在するのではなく、自分が他所から学生や研究者を受け入れるフェーズなのだろうと薄ら思う。
• そうは言っても今海外滞在しなければ将来的にはもっと腰が重くなるのは目に見えているので今やるべきだと奮起したい。一方で、他人と積極的に共同研究したいほど他人に期待できない自分もいる。というか、そもそも自分でやりたい研究は京都で自分でやればいいのでは、と思ってしまう。今の自分が海外滞在する目的は、たぶんほぼネットワーキングになってしまうんじゃないか。

2023/09/19 (Tue.)

• フェルベーク『技術の道徳化』をゆっくりと読んでいる。自分が考えていた主客二元論の超克や、技術としての客体の存在感の増大、主体の決定権の喪失など、既に明確な筆致で論じられている。専門家でもない自分でもわかりやすくて感心する一方で、自分が敢えてこのフィールドで論考をすることの意味とはなんだろう、と考えさせられてしまう。
• 原稿を一旦書き上げたので、Transformer の研究に戻る。一日没頭して微分方程式を解析して、わかったことは割りと当たり前のこと。このまま続けていって意味のある結果が潜んでいるのかわからない。いつもそういう不安と隣り合わせのまま、突き進んでいる。でも、予定調和的な研究よりはきっとこの方が良いんだろう。

2023/09/18 (Mon.)

• 昨日は今月で閉館との話を聞いて京都みなみ会館に行った。同性愛ドキュメンタリーの香港映画『ブエノスアイレス』と、自然愛護をテーマとしたポーランド映画の『EO』を観た。普段はこんなに一日で映画を観ることもないので新鮮な気持ち。独特のブレ感のあるカメラの視点とか、セリフが少なくて表情に訴える描写など、ミニシアターらしい映画の良さがある。去年京都シネマで観たヒルマ・アフ・クリントのドキュメンタリー (2022/05/08) を思い出す。明確なストーリーとセリフを持たない映像作品だと、なおのこと作り手の技量が要求されそうだ。二作とも違った方向性の、監督の個性があった。商業的な香りが清々しいほど漂ってこないところに、人間固有の信念が滲み出ているように思われる。

2023/09/15 (Fri.)

• 初稿を書ききった。まだ投稿していないどころか推敲もしていないけれど軽く振り返っておく。フランスから帰ってきながらなんとなく non-contrastive learning の理論ができそうな気がして長野さんに相談したのが3月 (2023/03/20)、それから1ヶ月しないうちにそもそも既存理論の特徴量正規化の扱いの雑さを改善する重要性を認識して方向を切り替えたのが4月中旬 (2023/04/13)、その後何度も何度もランダム行列の集中不等式の扱いに慣れなくて計算しては直すのを繰り返し、解析結果の大筋が固まったのがインドに行く直前 (2023/07/08)、そしてそれから原稿をきちんと書き上げるのに2ヶ月かかった。流石に時間をかけすぎた感があるが、この半年間、沖縄やインドに行ったり、本の原稿を書いたり、他の研究の着想を得たりと、同時に多くのタスクをこなしていたので、まあこのスピード感だったのは仕方ないかもしれない。

2023/09/14 (Thu.)

• 文化進化の人たちは先細りしてしまっている（？）分野なりに、自分たちの学問領域がどうやったら豊かになるのかを考えながら動こうとしている。ベースには「きっと面白そう」という好奇心が研究の核として感じられる。そういうのを見ていると、また僕自身は「なぜ研究しているのか」と自問自答してしまう。別れ際に「今後は文化進化との接点を考えようとしているんですか」と聞かれて、いや、そもそもそれ以前に自分の研究に上辺以上の動機があるのかと咄嗟に感じてしまい、返事がまごついてしまった。
• 僕だって損失関数と凸解析の背景構造に惹かれている。でもその対象に対する「好き」と彼らの「好き」の間には何らかの差を感じる。根底にはコンピュータサイエンス分野の気持ち悪いプラグマティズム (2023/07/27) (2023/08/19) に支配された自己があるのかもしれない。

2023/09/13 (Wed.)

• 2週間ぶりの東京出張。いつもの文化進化学セミナーのメンバーの初対面で。正直文化人類学の界隈からして見たら自分なんて異端も異端だと思っていたのであまり気乗りはしなかったけれども、自分よりも若手で元気な大学院生の数理モデルに対する熱い思いを二次会で聞けたのは小さくない収穫だった。純粋に、こういうエネルギッシュな若者が活躍して欲しいと思う。自分の研究とイミディエイトに交わることはたぶんないだろうなとは思いつつ、でもこういう人と研究哲学に関して語り合えることができるのは、全く論文にはならないけれども有意義なことである。

2023/09/12 (Tue.)

• ずっと塩漬けにしている原稿 (2023/08/08) をようやくもう一度開いた。最低限の数値実験のコードを一日かけて書き上げる。ここまで来れば最後の一踏ん張り。楽観的に見れば今週中に原稿がまとめられるのではないか。そうすればもう一つの研究の方も進められる。2、3ヶ月ほど研究がやや停滞気味だったが、そろそろ次のステップに踏み出せそうな気がする。少し心の重荷が降りた。

2023/09/10 (Sun.)

• ようやくシンボリック計算のプログラムを書き終えた！9月に入ってからこの計算に集中力が囚われ続けたので、本当にスッキリした。まだ計算結果はきちんと吟味していないけれども、当初の想定とやや異なっていくつかの項が T の8次式になっているので、オーダーを見ると結構きれいな形になるんじゃないかという気がしている。結局シンボリック計算は内部的には割りと SymPy に頼った（例えば数式の構文解析をしたり代数計算をしたりするには絶対に SymPy を使うほうが楽）けれど、ところどころ SymPy のハマりポイントがあった（主に行列計算の実装が甘い）ので、必要に応じて強引に正規表現で数式を書き換えるというバッドプラクティスの塊のようなアプローチで計算しきった。

2023/09/09 (Sat.)

• 一心不乱にシンボリック計算のプログラムを書き続けている。4次モーメントまでは様々な入力ケースで安定して計算できるようになってきた。6次モーメントまで計算できるようにするための実装はまだ残っている。これが終わらないと他のことが何も手につかない。

2023/09/08 (Fri.)

• 学生さんとの議論、気づけば1時間半くらい経っていたけれど、躓いていた点を解決する糸口が提示できたようで、自分から提供できたものがあってよかった。Neural collapse や unconstrained feature model はシンプルかつまだまだ面白い結果が出そうな理論モデルで、概念自体はそこまで難しいわけではないので、結果的ではあるけれど意欲のある修士の学生さんにはちょうど良いレベル感の課題になっているように思う。
• 突然とあるポジションの打診がやってきたけれどどうしよう。

2023/09/07 (Thu.)

• 理論計算が激しすぎて全く終わる気配が見えない。とりあえず数日かけて一つのケースでは6次モーメントを手計算し終わったのだけれども、冷静に考えれば同じ重さの計算をあと少なくとも十数パターンの組合せでやらないといけない。流石に手計算では終わる見込みが立たなくなってきたので、重い腰をあげてシンボリック計算のプログラムを書き始めた。本質的には2次の微分方程式になるだけなのは手計算の結果から薄々見えているけれども、係数のオーダーや正負を厳密に知るためにはこの計算を完遂するしかない。

2023/09/06 (Wed.)

• 奥野さんに誘われてランチに行った。なんだかんだで落ち着いて二人で喋るのは初めてかもしれない。奥野さんの研究は前々から渋いけれど良い勘所をついていると思わされることが度々あったけれど、今回の学会での発表や雑談を通して、バックボーンになる芯の存在に気付かされた。噛めば噛むほど味が出る研究、というスタイルに感じられて、僕は好みのタイプだ。
• 個人的に同時にかなり良かったのが、ロバスト最適化とロバスト統計の関係についての話ができたことだった。これに関しては自分も数年来度々考えてきた (2021/02/24) (2021/03/02) のでとても興味がある。どうやって適切なスコープの記述範囲を切り出すかにセンスが問われると思う。

2023/09/05 (Tue.)

• 昨日の今泉さんとの話の続きを自分の中で考えていた。最適化を考えたくなる動機としては、逆にこれまで自分は損失関数ばかり考えてきて、具体的に最適値が達成されるのかどうかについてはあまり気にしてこなかったので、そこにギャップを感じていたことが挙げられる。最適化なしの損失関数設計はありえないと思うのだ。

2023/09/04 (Mon.)

• たまたま吉田で開催されていたので、はじめて統計連合大会に参加してみた。セッションによるのだろうけれど、自分が参加したセッションは発表者の偏りもあってオーラル版 IBIS といった雰囲気だった。
• 今泉さんとの立ち話で「ダイナミクス解析の意味は何なのか」と聞かれて、あまり的を得た回答ができなかった。むしろ今泉さんがここまで明確にダイナミクス解析に対して肯定的でないのはやや意外目だった。自分の動機は表面的には non-contrastive learning の理解のためには最適化の構造の理解が必要だから、といったことになるけれど、本音のところはダイナミクス解析のいろはを理解したいという点に尽きるかもしれない。「ダイナミクス解析は異常に難しい割に挙動を観察する以上の知見が得られにくい」という指摘は、たしかに当てはまることが多い。でもそれを言ってしまえば推定誤差解析だってそうだと思う。
• ふと3月に Tengyu Ma が「最適化の深掘りはしない」と言っていたこと (2023/03/16) や、（コンテクストはやや違うけれども）三中先生の「解くべき問題はたくさん残っている」(2023/08/07) という言葉を思い出す。自分の研究が本当に意味があって、今ここでやるべきものなのか、という批判的問いかけとなって抉ってくる。でもその意義付けを行うのは他でもない僕自身なのだ。

2023/09/03 (Sun.)

• 世の中の（若手）研究者はそんなに PI になりたいものなのか、と意外に思う。自分なんかはできるだけ自分自身が研究できる時間を向こう数年は大事にしたいという気持ちの方が強くて、学生さんを巻き込んでマネジメントをしっかりしてチームで研究をしたいという希望が今のところは微塵も湧かない。もちろん分野の差もあるのだろうけれども、先日もデータ分析界隈の研究者でできるだけ学生さんを雇って人手を増やしたいというのを聞いて、世の中そういうものなのかと思っていた。自分にはまだ遠い境地に見える。

2023/09/02 (Sat.)

• なんだろう、全然力が入らなくて、夕方までほとんど寝てしまった。体調が悪いとかでもなく、ただただ貧血で起き上がれない感じ。
• 久しぶりにライブ行ったことでライブ熱が戻ってきて、直近の来日情報を調べていたところ、今年の5月に Marcus Strickland が来日していたことを知る。気づいていれば行きたかった。たぶん東京でコロナ前に最後に行ったライブが2019年7月の Marcus Strickland のライブだった気がする。11月には Gretchen Parlato と Mark Guiliana がペアで来日するらしい。大阪にも来るらしいし、これもできたら行きたいなあ。

2023/09/01 (Fri.)

• 関東大震災から100年。特に何かがあるわけではないけれども、100年という時の流れをなんとなく想像する。
• 出張中それほどなにかしたわけでもないが、疲れが溜まっていたのか、昼下がりに数時間寝ていた。計算が重すぎてなかなか本腰を入れてやる気がしないせいもあるかもしれない。