Han Bao

Random thoughts in Japanese. All optinions are my own.

2022/07/31 (Sun.)

• 前に引越し先を探していたときに見つけた西洞院のhereに行ってきた。西洞院は烏丸よりも少し西なので、場所の割に人通りが多くなくて落ち着いていて過ごしやすいカフェだった。
• 7月も終わってしまう。白眉への採用が決まって (2021/07/19)から一年。あれから人生が大きく動いたなと振り返ったりする。任期はあと4年と2ヶ月。

2022/07/29 (Fri.)

• じりじりと暑い日が続く。日中常に頭の体温が上がりっぱなしな感じがあるので、諦めてしばらくの間は低出力モードでもいい気がする。
• 強凸性がノルムに関して一般化できることを知った。これは特にmirror descentを考えているときに最適化変数によっては（例えば確率分布のとき）L1ノルムなどのL2でないノルムを考えたくなるときがあるのが動機だと思う。特にnegative entropyのL1強凸性について触れられている文献が数多く、逆にL2強凸性については触れられていなくて、Lp強凸性間の関係はあるのだろうか（L1強凸であってL2強凸でない例はあるのか）と思ったのだが、Lpノルム間の不等式を使うと任意のLpノルムに関して強凸であれば別のLqノルムに関しても強凸であることが直ちにわかる。マニアックな事項だけど、ちょっと嬉しい新たな学びだった。学生さんと喋っていたら自己解決した。気軽に壁打ちできる相手がいるのはやはり何にも代えがたい福利厚生だ。
• BFGSの収束証明を眺め終わったけれども、どれも関数の強凸性を仮定している。強凸ではない凸関数に関して収束保証はできないのだろうか。

2022/07/28 (Thu.)

• 相変わらず自分の手が遅すぎて、仕事していると「もっと速く手が動きさえすればもっとたくさんの研究ができるのになあ」と思う日々。Strategic classification、ROC divergence、strongly proper loss、gradient flow、まだまだ知りたいことはたくさんあるのに。そう思っていても仕方ないので、自分のできる範囲で手を動かすしかない。

2022/07/27 (Wed.)

• 昨日は小さいワークショップでの久しぶりの英語発表。心配だったので事前に少し練習したおかげか、自分ではまあまあうまく喋れたと思う。英語ネイティブでもプロの研究者なら発表練習はすると聞くし、一回一回のプレゼンの質を上げていく心がけは必要かなと思う。
• Liu and Nocedal (1989)やByrd et al. (1987)を読んでいても完全にわかり切っていなかったcosの評価について、今日はPowell (1976)をじっくり読んで理解した。これで胸を張ってBFGSの収束証明を追ったと言ってよいだろう。最適化の収束証明を追っていると、実装でしれっと述べられているline searchに含まれているArmijoやWolfeの条件がどんなに重要な役割を果たしているかがよくわかる。逆に言えば、最近の微分パイプラインではそこまで学習率を各ステップごとに気にして実装しているケースはほとんどないから、その条件下でちゃんと収束するのかはかなり気になる。AdaGradやAdamの収束保証を追うのが良いのだろうか。

2022/07/25 (Mon.)

• 先週 (2022/07/21)から追ってきたBFGSの収束証明を一通り眺め終えた。Liu and Nocedal (1989)とBryd et al. (1987)を中心に追った。これでいまの研究の最終ステップに進めそうだ。実はちゃんと最適化アルゴリズムの収束証明を1ステップずつ自分で追ったのははじめてで、例えば勾配と最適化変数のなす角度をtraceとdeterminantで抑えていくあたりなど大変勉強になった。

2022/07/24 (Sun.)

• Brian Eno Ambient Kyotoに行ってきた。1ヶ月前 (2022/06/25)に当日券で入れないかチャレンジしたときは満員で入場できなかったのだけれど、会期2ヶ月目ともなってそれほど混んではいなかった。
• 期待以上のクオリティで、最初のインスタレーションから空間設計、照明、音響のすべてが良かった。重々しい曲調の響きを体で感じながら浸るダークブルーの空間は京都の夏を忘れてしまいそうだった。Brian Eno自身がどの程度意識していたかは知らないけれども、僕は作品全体のコンセプトとして「連続性の不気味」を感じた。人間を含めた生物は自然の斉一性ないし時空間的連続性の下ではじめて事象の予測を行うことができて生存競争に役立てることができるわけで、その意味では「連続性」は非常に安心できるものなのだけれども、顔写真の連続的な変化を見せられると自分の記憶の不確かさや自己同一性に対する疑問提起を行われているようで、その不気味さが印象強く残った。

2022/07/22 (Fri.)

• 読書に気分が乗らず、1ヶ月近く読み続けた『ツァラトゥストラはこう言った』の下巻をようやく読み終えた。正直上巻が終わったあたりで話の筋がもうよくわからなくなっていたのであまり読み進む気持ちになれなかったのだけれど、昨日クラフトビールを飲みながら読んでいたらなんだか唐突に面白く感じられて一気に100ページくらい読めた。ビールを飲みながら本を読むとまた違った世界が見える気がする。そういう勢いも大切かもしれない。
• 今日も（一応）代休なので岡崎公園の散歩でもしようかと思ったのだけれど、少しだけ作業するつもりで来たロームシアターの蔦屋につい長居して作業に耽ってしまった。おかげでBFGSの収束証明の理解がだいぶ進んだ。まあ仕事に気分が乗るときは仕事をするのが良い。

2022/07/21 (Thu.)

• 今日は一応今月頭の出張の代休という体なので、（お昼過ぎまで大学で作業した後）河原町丸太町で少し気になっていたカフェに行ってみた。大学院生の間、特に最後の2年間はコロナで研究室が閉鎖されていた期間が長かったのもあってよくカフェで作業していた(2021/05/17)のに比べて最近はご無沙汰気味だったけれど、いい気分転換になった。やはり僕は環境を固定化すると集中力が落ちてくる傾向があるらしい。カフェで短時間集中でBFGSの復習をした。

2022/07/20 (Wed.)

• 先週偶然会った (2022/07/14)末永先生と早速ディスカッションをした。形式検証の人に見てもらうとcalibration analysisをbisimulationみたいに捉え始めて新鮮だった。まさか5年越しにbisimulationの単語を聞くとは思わなかった。
• ICMLに行けなかったことで参加することになる来週のワークショップのために、自分の過去研究をまとめたスライドを作る。スライドを作る過程で少しずつ自分の研究のつながりを自分で捉え直す。自分で語っている世界観を地に足がつく程度まで確立されるまでにはまだ果てしない時間がかかりそう。

2022/07/19 (Tue.)

• 久しぶりの3連休で、金曜日は祇園祭の宵山、土曜日は西賀茂の散歩、日曜日は映画（PLAN 75）、月曜日は逢坂関にある鰻屋さんに行ってきた。振り返ってみると立派に連休然とした楽しみ方をしている。実はどこも1時間かからない（逢坂関が二条駅から電車で30分かからないのは驚き）。普段は大学と自宅の往復に終始しているけれども、少し足を伸ばすだけで魅力的な場所がたくさん溢れている。
• Blondel et al. (2018)にならって、提案法もscipyのL-BFGSソルバーで解くように実装してみたところ、ほぼデバッグではまることもなく1時間ほどで非常に安定した解が得られるようになった。ここ数ヶ月実装で試行錯誤していたのが嘘のように思える。実行時間も随分短いし、やはり毛嫌いせずに最適化ソルバーはどんどん使うべきだと思い知らされた。

2022/07/15 (Fri.)

• 3日くらい椅子に座って解析方針を考え続けているだけなので、ちょっと焦りがある。最適解のスパース性を定量的に理論評価しようと試みたけれどもどうやらそれは難しそうだということに納得するまで2日。今日は何度目になるかわからない、Blondel et al. (2018)の読み直し。この論文もようやくわかってきて、本質的には双対問題を導出して勾配法で解いているだけ。だからこそ提案法よりもだいぶ安定して動く (2022/06/21)理由がわからなくて悩んだりする。
• ビザは相変わらず何の音沙汰もない。本来の出発は明日の夜だったけれども、当然間に合わないのでキャンセルした。もうどうでもよくなった。

2022/07/14 (Thu.)

• 藤澤くんが遊びに来てくれた。会うのは僕が東京から引っ越してくる直前に大学でディスカッションをした、2月中旬 (2022/02/18)ぶり。先日投稿した論文 (2022/05/19)に論理の穴が見つかってしまってその相談を、ということだったが、話を聞いていると論理を通し直すことができそうだということがわかった。投稿直前に結構がんばって変分自由エネルギーを軸にストーリーをまとめ直したので、なかなか達成感があった。これで修正できるといいのだけれども。
• 引っ越してきてからもうすぐ5ヶ月、（人工知能学会が間にあったのは大きいけれども）この間に京都を訪ねてくれた友人が8人いて嬉しい。東京-京都間は比較的行きやすい距離だし、それくらいの距離があるくらいが会って喋れることの価値が増すんじゃないかなあと思う。
• 帰りに河原町に出るためにバスを待っていたら、バス停でそれらしき顔を見かけて、まさかと思ったら本当に蓮尾先生だった！京都で歩いてたら偶然会うなんて全く思ってもみなかった。どうやら末永先生（僕がご挨拶するのははじめて）らと形式検証界隈でディスカッションをしていたらしい。大学から三条までの間、ずっと蓮尾先生と末永先生とブラックボックスモデルのsaliency mapに関する議論をするという、驚くほどに贅沢な時間を過ごしてしまった。去年のIBIS (2021/11/10)の蓮尾先生の招待講演のときも研究の目指しているところが近しかったのもあってオンラインながらひたすら質問させてもらったし、末永先生とは今度議論することになったし、全く世の中何があるかわからない。
• 数週間ぶりに四条通を通る。いよいよ街が祇園祭めいている。

2022/07/13 (Wed.)

• 実験をもう少しいくつかの設定でやって結果を図示してみると、q-エントロピーの最適化の結果なかなかいい感じのスパース解が得られていることがわかる。Sinkhornに比べて正則化を弱めても数値的にそれなりに安定している傾向も見てとれるし、存外に悪くない結果なのかもしれない。図を眺めてたら少しずつ元気が出てきた。
• 平岡先生の学術変革領域の研究協力者として誘われた。入ってみると機械学習側も数理側も知り合いが結構いた。平岡先生のチームだからきっといるだろうと思っていたけれど、やはり井元さんもいた。今年に入ってからそれぞれ全く別の文脈で井元さんに出くわすのがこれで3回目。東山通の向かい側にいるわけだし、井元さんの研究は気になっている。

2022/07/12 (Tue.)

• 先週に比べて気温が落ち着いてきたのもあってか、だんだんと体の調子が戻ってきたような気がする。雨がちな空模様なのが嫌だが、湿気には体が順応しつつあって、それなりに頭が動いているように思う。
• 先週の研究のデバッグ (2022/07/07)の続きをやっていて、ひとつ実験コードのカッコの対応付けを間違えているタイポを見つけたので、とりあえず明らかなバグは取れた（これで数日間悩まされていたと思うと脱力感は甚だしいが）。ただ、Tsallisエントロピーによる定式化がどうしても数値的には安定しづらいようで、少し考察するとスパース化が激しく起こってprimalの実行可能解が得られないケースがあるのが原因な気がしている。そもそもTsallisの定式化はdifference of convexというのもあって、q-エントロピーの強凸な目的関数に比べると最適化の観点からもいささか見劣りする。おそらくq-エントロピーの定式化でまとめてしまうのが良いという気がしつつあるけれども、統計力学的にはTsallisの方が意味付けがある（i.e. なんとなくカッコいい）し、停留点条件の式の計算をちょっぴり頑張ったので、その結果が埋もれてしまうのは少し悲しい。
• 明日から本格的に残りの内容を詰めようかと思う。スパース性と近似誤差の考察をきちんとすれば、何らかの論文にはなるだろうと思う。あと1ヶ月くらいで仕上がらないだろうか。

2022/07/11 (Mon.)

• 今の研究室に来てはじめての研究室セミナーだった。あまりうまく発表できなかった気がする。後から振り返ると、セミナートークでテクニカルに細かい点に踏み込みすぎると議論が発散してしまうのを経験的に知っているにもかかわらず、少々踏み込んで話しすぎたのが原因のように思う。多人数セミナーではまだまだ相当削る必要がある。

2022/07/08 (Fri.)

• どうにも実験をする気持ちになれなくて、お茶を濁すように淡々と翻訳の仕事を進めていた。集中もできないしやはり夏バテのような感じがある。
• まさか2022年にもなって、1922年かのような凶弾事件が起こるとは思わなかった。にわかには信じられない。疫病、戦争、凶弾事件。本当に100年前を追想しているかのよう。自分の気持ちが追いついていかない。

2022/07/07 (Thu.)

• 先月末から少しずつ書き始めていた (2022/06/22)研究メモ、精査しているうちに結構怪しい点がいくつかあることがわかってきた。まず、Tsallis entropyの勾配を計算し間違えていて、想定していたのは別のエントロピーだったこと（この検算は半年近く前にやっていたのに忘れていた）。そして、今までスケーリングアルゴリズムを周辺化条件から導出していたけれど、最適化理論から厳密に言うと双対問題を解く必要があって、Sinkhornでない場合は双対問題の停留点条件と周辺化条件が一致しないという点。そのため、もう一度はじめから実装を修正し直す必要がある。
• ところが今の実装が絶妙なバランスのもとで動作しているので、少し勾配やヘッシアンを修正すると全然期待通りの挙動にならない。また実装のデバッグをやり直すのが本当に頭が痛い。さっさと終わらせたい。

2022/07/06 (Wed.)

• ビザのことが気になって仕事が手に付かない。領事館に2度目の問い合わせをしたが、相変わらず機械的な返答のみ。またビザのせいで渡航できないのかと思うと虚しくなる。今回に至っては出張が判明してから全ての手続きを最速で終えているので、もはやこれ以上どうしようもない。
• 出張続き、仕事続きが一段落して、どっと疲れが押し寄せてきて、なかなか何もやる気が起きない。家に帰っても読書や楽器を触ったりする意欲もなく、ジムで運動しているときなどに普段ならYouTubeをかけっぱなしにして勉強したりするものだが、それもやる気が起きない。どうしたものだろうか。

2022/07/03 (Sun.)

• 立ち上げから4ヶ月ほど幹事の一員で動いてきたワークショップが無事に開催できた。上半期の大きな仕事のひとつで、そこそこの規模のイベントの開催をしかもハイブリッドで行うということで、今後開催するための気をつけるべきポイントや知見は得られたけども、同時に閉幕したことで大きな脱力感を感じている。本番での音声系統の大きなトラブルもなく終えられた。ほっとしている。
• この規模のイベントを開催するとなると少なからず「参加者の時間を預かっている」という責任感が大きく、昨日現地でイベントが開催されるまではそれなりの重圧を感じていた。けれども始まってみると久しぶりにACT-Iの研究者とオフラインで出会えただけでなく、昔の雰囲気が蘇ったり、相変わらずの研究成果に圧倒されたり、刺激を受けるような未来ビジョンを語ったりで、楽しいことづくしだった。とても良い出張だった。
• 帰りの新幹線で書いている。今週は出張が2件で計5日間。充実感との引き換えで体力を根こそぎ持っていかれた。しばし眠りにつくとする。

2022/07/01 (Fri.)

• GW頭ぶり (2022/05/02)に東京に来た。今回は仕事で出張。新幹線に乗る機会が増えてきたからか、意外と最近来たばかりな感覚。
• アメリカのビザはまだ出ない。前回ビザを申請したとき (2019/09/27)のメールを見返すと、面接に行ったのが8/29でadministrative processが終わったのが9/27だから、ちょうど30日かかっていることになる。今回も30日かかるとすると7/14になるから、本当に予定している渡航の数日前になる。パスポートが郵送で返送される時間もあるし、なかなか厳しい気持ちになる。