Han Bao

Random thoughts in Japanese. All optinions are my own.

2023/10/29 (Sun.)

• IBIS 初日、そんなことよりも、とんでもないお誘いが舞い込んできた。一体どうすればよいのか。

2023/10/27 (Fri.)

• 唐木田さんとディスカッションする貴重な時間を貰った。自分が夏休みから細々とやっていた attention の研究 (2023/10/01) の内容で、僕自身は畑違いの分析をやっているので結果や仮定の妥当性の判断が自分ではなかなか自信を持ってつけられなかったのだが、途中の結果で既に面白いと思えてもらったようで嬉しかった。自分の感覚が見当違いでないことがわかる安心感。特に「ここでやめたら勿体ないですよ」との言葉がじわじわと嬉しい。この研究も、この先やるべき解析とその方針自体は検討がついているのだが、ただただ単純に計算が激しくて食指が動いていないので、冷めないうちに一気に仕上げたいところ。
• この研究の過程で激しかった高次モーメントの計算 (2023/09/07)、中では Wick/Isserlis の定理を使って愚直にやっていたのだが、僕がやっていたその力技の計算がどうやら Pennington 界隈がやっているランダム行列理論や素粒子論の計算にかなり近いらしい。そう思うと、いかに非線形力学系と言えども理解可能ではあるのだなと思う。

2023/10/26 (Thu.)

• 先月の領域会議 (2023/09/25) での議論の結果をメモにまとめる過程で、微分不可能関数を扱うために劣微分で書き直しているが、細かいところを見始めると面倒くさいと同時に面白くもある。基本的に凸関数の domain の境界での挙動に注意する必要があって、内点であれば比較的双対性で綺麗に扱える。こういうトピックに触れ直すたびに、凸解析の枠組みのエレガントさを感じずにはいられない。
• ドイツのシンポジウムで立ち上がったプロジェクト、正直誰が先陣を切って貢献するのかもわからずうまくいく気がしていなかったのだけれども、今日の1時間のミーティングで方向性が相当まとまってきた。シンポジウム中のディスカッションでは説明可能性に対する個々人の立場が食い合わずに議論が発散していたのだけれども、逆に言えば現状議論が発散してしまうしかないというところに説明可能性という分野の解決すべき点があるわけで、皆の見方の合意を取っていく過程だけで十分に研究としての価値があるのだろうなとミーティングが終わってから思った。

2023/10/25 (Wed.)

• 3日間の集中講義を聴き終えた。各論では知っている話もあったけれども、それらが一つのストーリーとして連関を持って語られるということにはやはり研究者の語り口としての意義は少なくないと思う。あと、（特に線形回帰の）double descent は分散が N = D で無限に飛び、それ以上 overparameterized になると減少することに起因していて、それが Marchenko-Pastur 則で特徴づけられる固有値分布のパラメータを変えたときの挙動と密接に関係しているという知見はかなり面白かった。この見方だと自由確率論の理論が非常に直接的に汎化誤差に現れていることになる。

2023/10/24 (Tue.)

• ここ数日科学哲学、倫理学のことを考えるとちょっと胃が痛くなる。全然専門性もない自分が領域を踏み越えて語ろうとしているのが浅はかに思えてきた。専門家はその領域で古典から最新の話題まで追って日々論考を重ねているのに、異分野の若造が取ってつけたような浅い考察で何かを喋るのは思慮と敬意が足りなすぎる。自己批判に苛まれて今朝は嫌な夢まで見てしまった。自分ができることだけを細々とやっていたい気持ちが募る。
• 近い世代の優秀だなと思う人たちを見ると、自分と根本的に違うのは「何をやりたいか」がハッキリしているところだと思う。僕は結局その場その場で興味を持ったことを思いついたようにやってランダムウォークしているだけで、今の自分からこの先どこへ向かいたいかが何も見えていない。それが僕の非効率的な仕事を生み出しているのだと思う。必ずしも効率的である必要があるとも思わないけれども、人と比べると少しもの悲しくなるし、なすべきことを信念として強く持っている人の方が他人に少し何と言われようと我道を信じて自分の主張を打ち出すことができる。そういう力強さを欠いている。

2023/10/23 (Mon.)

• 唐木田さんの深層学習理論に関する集中講義が京大であるとの噂を聞きつけて、空き時間に聴講している。Edge of chaos の概念の詳細、NTK の導出など、大雑把にはなんとなく理解しているつもりではいるものの、詳細の理解とかそもそも概念のお気持ちだとか、胸を張ってわかっているとはとてもではないけれど言えなかったので、識者の語り口がこういうときに役に立つ。おそらく自分が学部生や修士課程くらいの前提知識だとついていくのは容易ではないと思うのだけれど、講義って別に必ずしも学生が受ける必要はなくて、僕みたいな「もう学生は卒業したけれどようやく少しずつ分野の基礎に対する把握ができてきた」ような輩が受けたって良いのだと思う。全参加はできないものの、明日以降も楽しみである。

2023/10/22 (Sun.)

• 今週末は宮島旅行に行ってきた。ヨーロッパ出張から帰国して間髪入れずに旅行に入ったので正直準備が間に合っていないことがいくつもあって焦ったけれども、結果的には人混みにあまり巻き込まれることもなく、静かに宮島を楽しむことができた。最後に宮島に行ったのは中学生のときの弥山登山だったので、厳島神社の記憶がほとんどない。夕方の満潮、早朝の干潮の大鳥居のコントラストや、海からの眺望など、天気が気温も含めてすこぶる秋旅行に適していたのもあって、思い出深い写真がたくさん撮れた。

2023/10/20 (Fri.)

• Peter Flach の2019年のポジションペーパーを読んだりしていた。彼の20年来の評価指標に関する考え、経験をまとめた内容なのだが、20年もこのトピックを自身が最前線を切り開きながら粘り強く考え続けたのだと思うと本当に畏れ多い。ICML2004でチュートリアルをやって以来、自身でも主著論文を書きながら、共同研究者を巻き込みながら、評価指標の理論的性質、実際的な経験則、見てきたものが詰まっている。昔博士課程のときにチュートリアルのプロポーザルを提出したのが恥ずかしく思えてくる（結局リジェクトされたが）。自分にはそこまで粘り強く考え続けることができるのか。もっと謙虚にならなければならない。

2023/10/19 (Thu.)

• 帰国。日本時間に戻ったのと、帰国当日の昨日は荷物の整理を終えて疲労困憊で気づいたら寝てしまっていたので、あっという間に3日くらい経った。今日も今日とて海外からの来客を接待する重要な任務を一つ終えたところなので、少し気が楽になった。来週も再来週も予定が詰まっている。空き時間を見つけて溜まっている研究を少しでも良いから進めておきたい気持ちだけがある。

2023/10/16 (Mon.)

• ブリストル滞在最終日。大御所 Peter Flach に呼ばれて1時間のディスカッションへ。これだけ proper scoring rule や ROC 曲線について理解している人が集っている空間は世界でこれ以外にないんじゃないかというくらい、背景を飛ばした思い切りの全速力のディスカッションで、とても1時間で話した内容の深さとは思えないほど遠くまで到達した。日本から12時間かけて到達した地球の裏側、本当にここまで来た甲斐があるものだ。ブリストル、ぜひまた近いうちに訪れたい。

2023/10/15 (Sun.)

• 念願のコーンウォールへ。いつからだろう、Aphex Twin の音楽に魅了されてからコーンウォールという土地への理由のない憧憬があり続けた。イングランドの文字通り地の果てに位置しているのも旅人の心を惹きつけるものがある。ブリストルからは片道で4時間以上かかる長距離の旅にはなるが、だからこそ後生簡単に来れるような場所じゃないということがわかっている。意を決してチケットを握りしめてやってきた。
• 電車をプリマスで乗り継いでペンザンスまで。電車の遅延があったり、借りようと思っていた自転車屋がやっていなかったりで思ったようにいかないが、旅人が最後に信ずるのは自分の脚。モスクワだって、知床だって、自分の二本脚で歩いてきた。ペンザンスからセイントマイケルズマウンテンまで3マイル。これならわずか4時間のペンザンスの滞在時間でもなんとかなる。Aphex Twin と波音をミックスして聴きながら海岸線を歩き続ける。これがイングランド、コーンウォールの海か。左にはイギリスの田園風景、右には海岸線に打ち付ける冬の波、眼前には海岸線の白い遊歩道が広がる。何もないけれどこれで良いんだと思わされる風景。マラジオンの麓の砂浜で、無心にセイントマイケルズを見つめていた。

2023/10/14 (Sat.)

• イギリスでの週末、今日はまずオックスフォードへ。ブリストルからは想像以上に近い。電車に乗って寝て起きたらもうオックスフォード。人々は皆オックスフォードは何もない片田舎、と言うけれど、僕の感覚では十分な都会。少なくとも Ann Arbor に比べたら何でもあるように見える。友達に5年振りくらいに会った。オックスフォード大学やクライストチャーチから、さらに Port Meadow という広大な公園に連れて行ってもらった。イギリスらしい牧歌的な風景が広がっていて、何もないのに心浮き立つ。7時間ずっと散歩したりカフェ入ったりしながら喋っていたけど、全く話が尽きない。あまりにも久しぶりだったけど、シベリア鉄道旅を2週間共に過ごしたくらいだから。

2023/10/13 (Fri.)

• ブリストルのセミナートークをやった。スライドは相変わらず OIST のとき (2023/06/07) の使いまわしだけれど、朝起きてからアニメーションを入れたり軽く手直しをしながら頭の中でリハーサルをしただけで、めちゃめちゃうまく話せたような気がする。今更ながら当日にアニメーションを入れる作業をするのはとても良くて、まずスライドを見返しながら頭の中でストーリーを再構成するし、入れたアニメーションのお陰で発表中にどこにフォーカスしながら喋ればいいかも整理されるので、極めて的を絞りながら喋れたと思う。年初の SOMA (2023/01/06) を更に超える良いプレゼンができた実感がある。自己満足かもしれないけれども、まあ何はともあれやりきった感と嬉しさがこみ上げる。
• ブリストル大学の数学科は統計の人たちも結構いるので、セミナーはほぼファカルティメンバーだったにも関わらず、ざっと見20人以上いて賑やかな会だった。Proper loss の Peter Flach にも相当感触よく興味を持ってもらえたようで手応え十分。ブリストルに来た甲斐があった。
• Left Handed Giant Brewery、Brewdog Brostol、そして The Old Dukes。一人で飲み歩きながらイギリス人のオススメを辿り歩いている。イギリスのパブ文化、こればかりは他国は到底敵わないと思う。
• 今に始まったことではないけれど、このポスドク like な自由な身分、あまりにも楽しすぎるんだよな。。。自分の好きなコラボレータを見つけて、相手と自分の興味の赴くままにディスカッションをして、共通の知り合いを経由して自分の研究に興味のある人を呼んできて自分のトークをして、そして自分の過去の仕事から更に拡張して。勿論これだけだと利己的すぎるのはわかっていて、だからこそこういう機会を通じて日本と他国の国際交流というか、コネクションを広げていって、翻って日本にも人材を誘致するキッカケになると信じて。多かれ少なかれ今日の自分のトークはその手の人には興味を持ってもらえたと思っている。そういう自信はある。当然万人受けするトークなんてない。それでも、少しでも共通の趣味嗜好を通じて、国際的なコネクションを広げていく。それが個人のキャリアレベルでも勿論だし、国のレベルでもゆくゆくは人材交流を促すのではないか。僕はそう信じて自分のなすべきことをする。

2023/10/12 (Thu.)

• 今日もディスカッションが捗った。Songさんは人のアイデアを面白がるのが本当に上手い。僕は基本的に心の底から面白いと思えないと即座に面白がれなくて、よく人と喋っていると他人のアイデアに対して否定的、批判的すぎるなと思ってしまうことがある。教育者や共同研究者としては、少しでも他人の良いところを見つけてそれを伸ばすことができる人との接し方だろうなと思いつつも、なかなか実践できないでいる。
• 昨日も今日も学生さんの原稿をひたすらリバイズしている。2本同時のリバイズにしてはかなり懇切丁寧なんじゃないかと思う。今は他の共著者があまりコメントをしていなくてもどうでも良い。他の人には他の人の都合があるかもしれないし、僕は僕でこうやって一人一人の学生さんの原稿リバイズを通じて一人でも多く良い文章が書けるようになってくれれば、それで良いと思う。

2023/10/11 (Wed.)

• 初めてのブリストル大学へ。半年ぶりに会った (2023/03/14) Songさんに迎えてもらって、ブリストルでの生活の話を聞きながら大学を見て回った。その後お昼の時間を跨いで ROC 曲線と拡散モデル、最適輸送の関係について2時間ほどぶっ続けで議論した。相変わらず Songさんのアイデアはニッチでありつつもワクワクさせてくれる良い話。相当忙しいだろうにこんなにも時間を使ってくれて、自分ももっとビジターに対して寛容に、歓迎するべきだなあと思う。
• ブリストル大学自体は最近リノベーションされた建物も多くて結構綺麗だが、でもどうやら留学生も含めた学生の受け入れ数がかなり増加していて、かつ給与水準が良くないので、仕事が多い割に大変だという。イギリスにせよフランスにせよ、ヨーロッパのアカデミアの待遇はちゃんと話を聞いていると全然日本のほうが良いと思えてしまう。

2023/10/10 (Tue.)

• ドレスデンからブリストルの移動、あり得ないくらいトラブルに見舞われて、本当は昨日の夜には着くはずだったのに今日の昼になってしまった。まず、ドレスデンから経由地のアムステルダムまでの飛行機が遅延して接続に間に合わず。KLM の振替便が翌日になって宿泊用のホテルが提供されたものの、シェンゲンビザの有効期限が昨日までだったのでオランダに再入国できず。これは今回のドイツ領事館がしつこく「5日だけしか滞在しないよね？」と聞いてきて実際に5日ピッタリのビザを発行してきた件に関しても不満が募る。あと数日余裕があればこんなことにならなかったのに。それから空港内のホテルを探すように KLM のスタッフに言われるものの、ほとんど予約は埋まっており、辛うじて空いているのが6万円近いカプセルホテル。仕方なく泊まるものの、寝ようと思ったときにアムステルダム空港全体の火災報知器テストが狭いカプセル内に爆音で鳴り響いて、もはや休むどころではなくなってしまい、ホテル外の閉店後のフードコートで火災報知器が鳴り止むまで1時間近く呆ける。そんな感じで初めてのオランダ（結局入国はしていない）にうんざりしながらもブリストルになんとか辿り着いたところ、予約していたはずのホテルに予約が入っておらず、予約も満杯。結局スーツケースを街中で引き摺りながら、1時間くらい空き部屋のあるホテルを探して彷徨いつつ、なんとかホテルを確保した。本当なら午後半日空いているからブリストルの観光でもするところだけれども、もうやる気が出なくて昼寝をしていた。トランジットに間に合わなかったのは前にも一度ミュンヘンで経験したけど、今回のトラブル度はその比じゃなかった。
• ところでシンポジウム中はお金をほとんど使わなかったので意識しなかったけど、どこもかしこも物価が高い。1ポンド130円くらいの感覚だったけど、なんと180円以上するらしい。日本のコンビニパック寿司みたいな弁当を食べたら1500円になった。

2023/10/09 (Mon.)

• シンポジウムも終わって、今日はドレスデンからブリストルへの移動日。フライトが昼過ぎで絶妙に空き時間があるので、どうしようか躊躇していたもののポーランドとの国境付近まで行ってみることにした。ドレスデンから東に行くこと1時間半、ドイツとポーランドの国境の街、Görlitz と Zgorzelec に辿り着く。雨がそこそこ振っている中、Görlitz の駅からナイセ川（かの有名なオーデル・ナイセ線のナイセ川！）へ足早に歩いていき、国境のナイセ川の橋の上で物思いに耽る。ナイアガラでも似たようなことをしたな (2020/02/04)。Zgorzelec 側から Görlitz を見ると、心なしかより華やかに見える。中世東欧風の教会が丘の上に佇んでいるのを川越しに眺めると良い絵になる。今後の人生で再びこの2つの街を訪れることなんてほぼおそらくないだろう（ドイツでもベルリンやミュンヘン、ポーランドでもワルシャワやグダニスクでもあるまいし）し、そう思えば思うほど今こうして踏みしめている一歩一歩の価値が計り知れないものだと思う。
• ヨーロッパの田舎町を歩くのは良い。元々自分は日本でもシャッター街が並ぶくらいの規模感の街を眺めるのが好きだ。だってそのほうが現実味があるから。地に足の付いている感じがする。パリを観光するのも悪くはないけれど、歴史性以上の人工的な香りが強く漂ってくるので、誰かの手のひらの上で踊らされている感覚になる。そういう意味では Görlitz くらいの街は良い。早朝に訪れたのもあるけれど、街を歩いていても明らかに地元の人が早口のドイツ語で誰かと電話しながら足早に歩くのを少し見かけるか見かけないかくらい。駅前は多少華やかな作りではあるものの、少し離れると補修の行き届いていないレンガ造りの建物が残っている。別にそれで良いんだと思う。

2023/10/08 (Sun.)

• 3日間のシンポジウムがあっという間に終わった。本当に怒涛という形容でしか言い表せない。科学分野で横断的に議論すると、ひとつ大きな「モデル化の意味」の壁に共通してぶち当たる。今回の機械学習セッションのトピックが説明可能性だったのも相俟って、「何が科学的『真実』なのか」「何が『説明』として妥当なのか」という話題は議論が尽きない。議論が止まらないのは良いけれども、それをどうやって収束させるかは本当に困難を伴う。人が違えば同じ分野の中でも「説明」や「モデル化」に対するスタンスが異なる。各々のスタンスの違いに批判的（かつ建設的）に議論する機会が持てたのは良かったと思いつつ、しかし十分な合意に至ったとは到底言えない（合意に到達できるか、すべきかどうかも自明ではない）。帰国後のディスカッションの予定もなんとか立ったけれども、この話がどれくらい軌道に乗るのかは自分には未知数である。
• 他分野のセッションを聞いていて、当然尖っていて面白い話は多かった中で、自分の研究の興味に薄く繋がるという点では、気象シミュレーションモデルのグリッドサイズに対する「創発的」予測性能向上の話題が興味深かった。4kmスケール程度のグリッドにすると突如予測性能が上がるとのことだったが、それは結局のところ雲のスケールの解像度を超えているのが重要とのことらしい。この気象学的知見をどのように人工知能の創発へと輸入するかは全くわからないが、一つの事例としてぼんやりと心に留めておく価値はあるように思う。
• 最終日の夜ということで、話も大いに盛り上がった。分野の尊敬する先生とフランクに喋りつつも、社会学的な課題に鋭く切り込んだ話ができたのは良い。自分と干支一回りくらい違う分、ジェンダーバイアスや所得格差のような問題に関してどのような考えを持っていたのか、普段の生活で敢えて聞く機会はなかなかない。シンポジウムのディナーが馬鹿にならない重要性を持っているのはこういうところに間違いなくある。

2023/10/06 (Fri.)

• 本当に息継ぎの間もないほど予定の詰まったシンポジウムで驚いている。昨日の今日にしてはまあまあ頭が動いている方ではある。
• 昨日の夜は結局11時直前までレストランでずっと「人間がどこまでモデルを理解する必要があるのか」について、物理学者や経済学者の中で激論していた。自分は理解に価値を感じている側の人間ではありつつも、自己批判的には「その理解は何のためなのか」ということは常に自己問答してしまう。それ自体が研究の意義付けだから。あながち「予測できればそれでいいじゃない」というスタンスを頭ごなしに馬鹿にはできないと思うのだ。
• ドイツに来てまで「機械学習は応用を探すべき」論を押し付けられてしまい、時差ボケで眠いのも相俟ってかなり辟易としてしまった。大前提として、なぜ開口一番にコラボレーションの話をするのか。相手がどんな研究をしているのかもまだまともに知らない。自分の専門との交わりがあるのかもわからない。コラボレーションが自己目的化しているようで虚しく見える。そして CS のお決まりのプラグマティズム (2023/08/19)。計算機は道具以上ではないという立場。僕たちには計算という自然に立ち向かう科学者としての矜持を持つことも許されないのか。

2023/10/05 (Thu.)

• ドレスデンへ。飛行機の中でしっかりポスターも作り終えたし、それなりに睡眠もとって思ったよりもあっという間に14時間のフライトを終えてドイツに着いた。今は夕方の5時だけれど、まだもう少し睡魔に耐えられる気がする。半年前のレンヌのとき (2023/02/21) のときは着いて数日の夕方の時間帯は眠くて眠くて仕方なくて時差ボケの解消に本当に時間がかかってしまったが、今回は気合で乗り切りたい。
• 着いた初日の今日だけ少し街を散策する時間があるので、その場にいたシンポジウムの参加者10人くらいで特段に当てもなくドレスデンのオールドシティを散歩していた。こういう行き先も決めずに適当に歩く感じ、高校生の修学旅行みたいな気持ちが蘇る。

2023/10/04 (Wed.)

• 3ヶ月ぶりの関空へ (2023/07/10)。今回は夜出発だったのだが、夜間発着便が少ないためか全く飲食店が開いておらず、まさか空港まで来てコンビニで食料をかろうじて調達する羽目になった。成田もお世辞にも空港施設が充実しているとは言い難いし、日本の国際空港のサービスの貧弱さは最近ますます際立っているような気がする。
• 移動中のはるかでスライド（2週間後の帰国翌日のシンポジウム用）を一つ作り上げ、今からラウンジでポスター（IBIS）を作り上げる。明日からドレスデンをしっかり楽しめるようにするために。

2023/10/03 (Tue.)

• バンド練に行くも譜読みもままならない状態でリードもボロボロ、まともな音が出せずにメンバーから白い目で見られて居場所がない、みたいな夢を見て目が覚めた。目覚めは最悪。そういう心理状態なんだろうか。
• Transformer の研究は流石に AISTATS の締切は諦めることにしようと思う。ゴリ押しで計算すればできなくもなさそうだけれど、強引に締切に間に合わせるには精神が摩耗している。半年前の NeurIPS のときも結局締切を諦めていた (2023/05/05)。ちょっと疲れている。
• あまり本心から面白いとは思えない原稿を確認している時間がなんとも言えない。正直テクニカルにこれ以上改善するポイントがなくて単純作業に近いので、仕事をやった感だけは得られるけれども、クリエイティブな感じではない。自分が PI じゃないので「このネタはもう少し議論して面白くしよう」とか提案しづらい（してもいいけど指導学生でもない以上僕は最後まで責任を持てない）。どれも理想論を言えば PI ないし誰か周りの人ともう少し初期段階から議論を重ねて方向づけをするべきだと思うんだよな。そういう意味でも、今直接面倒を見ることになった学生さんはここ2ヶ月ほどずっと定期的に議論しているので、ちゃんと着地させられるかどうかはかなり全面的に僕の技量にかかっている。

2023/10/02 (Mon.)

• 朝からアメリカのビザ面接 (前回: 2022/06/14)。面接の列で待っていると、今日はどうやら複雑な事情を抱えた方が何人かいらっしゃるようで、あまり他人の詮索をすべきではないと思いつつ少し聞いてしまった。面接だけ済ませて梅田からすぐに百万遍に向かう。
• 先週くらいから一気に秋めいてきた。今週ヨーロッパに行くならもう長袖やニットでも良いのかもしれない。季節があっという間に移ろう。

2023/10/01 (Sun.)

• 9月、相当に忙しかったので、感覚的には一瞬で過ぎてしまったし、今週末はやや燃焼気味でぼんやりしている。こういう時間も必要なのだが。しかし、10月も忙しさが落ち着く気配が全く見えない。とりあえず今手元にある attention の研究をどうやってまとめるのか、早めに考えたい。
• 数えてみたらこの間 arXiv に上げた論文で主著相当の論文が10本目になるのか。大学院に入ったタイミングから6年半。研究のプロトコルや考え方はだいぶ身についたと思う。これからどうするか。