Random thoughts in Japanese. All optinions are my own.

2021/03/29 (Mon.)

  • 5年振りに高校の英語の先生に会った。前に会ったのもちょうどこの時期で、まだ鹿児島にいらっしゃったときに僕が初めて鹿児島にふらっと電車で立ち寄ったときのことだった。上京の報せを受けてからずっと会う機会が作れないか考えていたけれど、COVID-19の様子を窺っているうちに東京を離れることになったそうで、そうこうしているうちに5年も経ってしまった。20代も半ばになると、こうやってあっという間に時間が過ぎ去っていくのだろうな。
  • お昼時の2時間少しだけご一緒させてもらった。自分も博士3年目に差し掛かる、それなりの人生の岐路であるタイミングで、日本社会や政治、教育のあるべき姿、国際関係における立ち振舞いと理想について、濃密な雑談ができて刺激になった。自分はウィズコロナ時代でも結局こうやって人との物理的なコミュニケーションに頼ることでしか気持ちの調整ができないオールドタイプだと落胆することもあるが、こういった対面コミュニケーションはいかに情報技術が進歩したところで置換できるものではないのではないか。体験の共有性、希少性が人間関係に果たす役割は小さくない。
  • 四ツ谷に立ち寄ったのもおそらく5、6年振りなのではなかろうか。外濠公園の桜並木は立派だった。

2021/03/26 (Fri.)

  • 出張講演が終わった。自己採点としては55点くらいだなあ。ギリギリ及第だけど反省すべき点が多すぎる。
  • 何よりもまず長くてわかりにくかった。スライドが50枚超えた時点でなんとかするべきだったのだが、やはり80分近く喋ってしまった。自分が講義を受ける学生の立場だったら、あの質量で80分も喋られたらかなり嫌だろう。
  • 喋った内容も細かい話が多い。今回の発表準備では、最後のメッセージにはかなり面白いアイデアが含まれていると思って自己満足していたけれど、それに到達するために最短経路を辿るために途中のストーリーを再構成するための作業がまったくもって不十分だった。毎度発表で失敗したと思う時の原因はだいたいいつもこれだ。伝えたいメッセージに対して最短経路でない。
  • 総じて見ると、やはりまだまだ発表が自慰的になってることが多い。喋りたいことを伝わりやすさ度外視で喋って気持ちよくなっている。喋りたいメッセージは大切にするべきだけれど、なぜそれを伝えたいのか、聴衆はどうやったらそのメッセージに興味が持てそうか、何が知りたそうか、あたりを考えないトークは自己満足にすぎない。

2021/03/25 (Thu.)

  • ひょんなことから、以前から気になっていたスタートアップからスカウトが来てカジュアル面談をしていた。何よりも驚いたのが、（本当に先方も偶然だったらしいのだけれど）僕のCOLT論文が社内勉強会で最近読まれていたらしい。流石にIBISで発表したから目に留まったと思うのだけれど、こうやってダメ元でアウトリーチしているのが少なからず届いているという事実が何よりも嬉しかった。
  • 働き方は自分の性に合っているかもしれない。マイクロマネジメントはほとんどなく、ある程度のサイクルでプロジェクトが回る感じ。心のどこかでは基礎研究を続けたいという気持ちがあるけれど、それもpivotingしているだけであるというのも理解している。自分ではやはりどうにも決断ができないし、最終的には流れに身を任せてキャリアを選ぶことになるのだろうか。

2021/03/23 (Tue.)

  • 査読や発表準備など積まれていた仕事がかなり減ってきた。残すは年度末年度初めの僅かな書類仕事のみ。どうやら年度初めはゆっくり迎えられる予感がしてきたので、新しい研究をゆっくりと温める。
  • 発表準備をすればするほど、excess risk transferのアイデアはもっと調べられてしかるべきなのでは、という思いが強くなってくる。面白いアイデアの割にはコミュニティではほとんど認知されていないし、おそらく著者のHari自身もそんなに重視していなさそう（彼の最近の研究の傾向を見ると）。自分の頭の中にある拡張アイデアは一見突拍子もなく見えるのだけれど、これくらい何に使えるのかハッキリとはわからない、でも何かの役に立ちそうなくらいで、そして他の誰も考えていなさそうなアイデアだと思うし、近く論文にするべきだなあと感じてきた。はじめの第一歩である定式化の貢献はきっと小さくない。
  • ひょんなことで無意識の差別の地雷を踏み抜いたような気がしていて、ちょっとショックを受けている。自分には喋りながら考える、しばしば知識が曖昧なまま確認しながら話を理解する、みたいなコミュニケーションの傾向があって、それを差別や公平性がセンシティブになるような文脈でやると、相手によっては思わぬ誤解を生み出しかねないことがある。例えば、今日は「アファーマティブ・アクション」という言葉に対する自分の理解が不十分だったことによって不快感を与えてしまったかもしれない（自分は少数派の地位向上くらいで捉えていたが、「弱者への下駄履かせ」という逆差別的なニュアンスも文脈によっては生まれてしまうようだ）。これに関しては、明らかに自分が我が身として真剣に考える時間が少なかったと言わざるを得ない。非常に落ち込んでしまう。

2021/03/22 (Mon.)

  • 帰京。京都に行く直前の精神不調はすっかり治った。週末にはささやかながら花見にも行けて嬉しかった。研究も作業もしない日があるのはとても重要なことだと思う。
  • AISTATSに採択された論文が、元々のFenchel-Young lossの著者であるMathieu Blondelさんに早々に発見されてツイートされていたことに気づく。自分がやった仕事がCOVID-19下でもこうやって海の向こうの人に届くというのは何にも代え難い嬉しさがある。自分の研究は（機械学習というホットな分野の中では）決してトレンディな方向ではないから人口も多くなくて、多くの人の興味の琴線に触れるようにアウトリーチするのは常々難しいと思っているけれど、こうやって反響があるとやりがいがある。

2021/03/19 (Fri.)

  • お昼に散歩で久しぶりにKAMEE COFFEEによって、コーヒーを飲みながら本を読んだ。かなり気分転換になった。ここ1週間くらいは物理的に疲労感が蓄積していて、本を読む気力もあまりない状況だったが、これはやはり負のスパイラルな気がしていて、本を読んだりカフェに行ったり新聞を眺めたりする気分転換の時間が取れると頭もスッキリする気がする。久しぶりに飲んだKAMEE COFFEEのコーヒーも今までで一番美味しく感じたし、ストレスが溜まっていたに違いない。
  • 来週の講演スライドの準備が一通り終わった。去年もこの時期に外部向けの講演スライドを作っていた。こういうハイレベルな研究の方向性を示す講演だったりとか、予算獲得書類を書く作業は、僕自身は意外と好きだということに気づいてきた。具体的な研究の手を動かすのもいいのだけれど、たまにはハイレベルなことを考えるのは気分転換になるし、なによりワクワクする。素人発想、玄人仕事、というか、バランスの問題はとても大事だ。
  • 弊研究室は外で論文として未発表の内容を喋ることが推奨されていないけれど、僕としては喋ったほうが良いと思う。特に大雑把な研究の方向性など。自分がやりたい研究はあまりにも多いので、より多くの人に興味を持ってもらえて巻き込めるのならそれに越したことはないし、他の人に自分の研究が盗られるという発想ではなく、自分の時間が節約されたという発想。そのためにも他人に興味を持ってもらえてワクワク感を持ってもらえるようなトークをしていきたいし、修士の学生にも講演に来てくれるよう呼びかけたにもかかわらず興味を持ってくれたり反応がないというのは、まだまだ悩みのタネだなあと思う。

2021/03/17 (Wed.)

  • 同僚が理研の年例の研究奨励賞を受賞していた。とてもめでたいと同時に、どこかしらでやはり功名心が出て嫉みの感情が拭いきれない。実際彼の研究は素人目に見ても過去の研究の流れに大きな貢献を残していて評価されるべき一石だと思うのだが、自分の気持ちにはどうにも嘘がつけない。以前よりはだいぶそうした感情を無視できるようになってきたけれど、まだまだ足りない。
  • 実際のところ、良い研究ができるか、研究成果を出したとしてそれが評価されるのか、は運でしかないというのは重々承知している。自分がするべきことは、目の前の自分の課題に真摯に取り組むことだけだ。例えば、来週の研究ディスカッションに向けて今精を出して準備している発表を、自分の全力を以て丁寧に執り行うことが、回り回って自分の自信や何かの結果につながると思って気長にやることだ。成果を狙ってやっても仕方がない。

2021/03/16 (Tue.)

  • 週末から京都に来ている。約40日ぶり今年2回目。週末は東山で焼肉を食べたり、ゆっくり散歩したり、ザッハトルテを食べたり、とても幸福度が高かった。
  • 今日は後輩と年末ぶりに会って晩酌を交わしていた。居酒屋らしき場所に立ち入るのは本当に今年初めてで、居酒屋でいただく食事やお酒がこんなにも美味しいのかと感動していた。博士の同僚というのは非常に貴重で、こうやって気兼ねなく語り合える間柄の人間というのは増々減っていく。今日はそんな中でも久しぶりに研究やキャリアや日常について話ができてストレス発散になった。

2021/03/13 (Sat.)

  • ここ数日で、次の五月祭のトークのネタを頭の中で考えていた。先週末ランニングしながら「『距離』について話したら面白いんじゃないか？」ということに気づいたのだけれど、意外とLp距離、最適輸送、編集距離、符号理論、KLダイバージェンスから情報幾何、クラスタリングに距離学習・表現学習と、周りには「距離」という一言では言い尽くせないほどたくさんのトピックが転がっていて、10分のトークにまとめられるように再構成するのに手間取った。これだけでも何回も話せるくらい豊富なトピックで、考えていて結構楽しかった。今のところは符号理論からKLダイバージェンスと最尤推定の情報幾何的解釈に持っていく方向性を考えた。相変わらず10分で一般聴衆に話すにしてはチャレンジングな重さだけれど。
  • 途中、KLダイバージェンスをどうやって一般聴衆にわかるように喋るかで結構悩んでいた。自分が初めてKLダイバージェンスを知ったのは今でも覚えていて、大学1年生のときの田崎先生の「現代物理学」の講義だった。8年経った今でも面白かったという印象は鮮明に残っていて、駒場時代の思い出の一つと言っても過言じゃないと思う（駒場時代の思い出って意外と残っていない）。田崎先生はどう説明していただろうかと思って8年前の板書が残ってないか本棚を掻き回していたら見事に発掘されて、懐かしい気持ちに浸っていた。今考えても10年代に入って構築された最先端の熱力学を高校出たてのひよっこ学生達の前で講義していたことは並大抵ではないと思うし、トピックとしても熱力学第二法則の破れという非常に興味をそそられる内容だったのもあり、肝心のJarzynski等式は残念ながら忘れてしまったので、また週末の暇なときに講義ノートを読み返したいと思った。

2021/03/12 (Fri.)

  • 後輩を誘って東北大乾研でお話をしてもらった。毎回乾研にお邪魔するたびに活発な議論へのコミットメントと気軽に発言できる雰囲気に驚かされる。いまだにどうやってコミュニティマネジメントをしているのか聞き出せていない。とても気になる。

2021/03/11 (Thu.)

  • 東日本大震災10年。ちょうど広島の家にいて、突然速報が雪崩のように流れこんできたのを思い出す。当時は地理的に遠くてテレビの向こうで実感の湧きにくい出来事だったけれど、こうして東日本に何年も暮らしたり、今日は新宿駅でも2:46に黙祷が行われていたのをニュース越しに見ると、本当に多くの人の記憶に刻まれた出来事であることをまざまざと見せつけられ、抉られる。これが10年。次の10年後、2031年、世界はどうなってしまっているのだろう。

2021/03/10 (Wed.)

  • 普段より朝の惰眠を貪って、自分でゆとりを持てるペースで作業をなんとか進める。やる気がないときには無理をしないことだ。
  • そういえば今日は東京大空襲の日だ。地味にあと2年で関東大震災100周年だったりもする。

2021/03/09 (Tue.)

  • 全くやる気が起きなくなった。4ヶ月ぶり。日中は本の校正は進めないといけないのでほんの少しだけやったが、残りは寝たりネットサーフィンをしていた。夜になっても、本を読んでも目が滑る。

2021/03/08 (Mon.)

  • やはりもうそろそろ締切ドリブンで研究をやるのはやめるべきに違いない。駆け出しの大学院生なら一つでも業績を稼ぐためにやるインセンティブがあるかもしれないけれど、もうそういう立場ではないし、自分の納得がいく本質的な仕事をしたい。例えば次のNeurIPSだって間に合わせようとすると研究の細部を詰める時間なんて全く残されて無くて、満足できる研究にはならない算段のほうが大きいだろう。去年だって2月から新しい研究をはじめてNeurIPSに間に合わせようとしたけど、間に合わなかった実績がある。もっと腰を据えて、余裕を持って、落ち着いて研究をすればいい。自分のやっている研究は決して世界の他の研究者と容易に被るような、過当競争に晒されているわけでもない。

2021/03/06 (Sat.)

  • 今日も引き続き週末ランニングで17.5km。上野・日本橋・東陽町・錦糸町・スカイツリー・浅草の周回コースにも慣れてきて、脚もあまり痛めないようになってきた。もう少し距離を伸ばしたい気もするけれど、しばらくはこのペースで保って脚を慣らしていって、ハーフマラソンまで持っていきたい。自分の走っているペース的には、今ならもうハーフマラソンは走れる気はする。2ヶ月前からの進歩。

2021/03/05 (Fri.)

  • AISTATSに向けて早めにスライドやポスターの発表準備を始めた。こうやって発表準備をしていると、作業が地味ゆえにいろいろと考え事をしてしまう。機械学習の国際会議文化に浸かり続けると、基本的に年間3回程度の論文投稿締切があるわけだから、平均すれば常に査読をしながら発表準備をしながら、そして残った時間で次の研究を締切に間に合わせようとする生活が続くわけだ。しかもこれは今博士学生で比較的暇である状況下での話で、キャリアを積めばこれ以外の雑務でより忙しくなる一方だ。こう考えていると、果たしてこの生活をずっと続けていくことに自分は耐えられるのだろうか？どれくらいの価値を見出だせるのだろうか？なかなかに憂鬱な気持ちにはなる。それと同時に、そもそも自分はどのような人生を送っていくのが理想なのだろうか？
  • 今日の夜は高校の後輩に誘われて、機械学習を研究している学生の対談のネット配信をやったりなどした。先日香港デモに関する書籍を出版して、自分もなかなか考えるところがあって久しぶりに連絡をとって感想を言ったら、話がとんとん進んで今日になる。対談相手は香港大学でアルゴリズム取引をやっている学生だったのだけれど、自分と違ってこうやってコードを書いて現実問題に帰着し、リターンを得ようと努力しているのを見ると、自分がやっているような理論研究は虚業なのではないか？と悩まされてしまう（対談自体は楽しかったけれど）。
  • ところが、自分が社会問題や環境問題といった、何か個別の問題を解くべくして努力している姿というのは想像がつきにくい。そもそも学生時代から長く「物事の動作原理」に興味を持って勉強し続けてきた身なわけで、自分にとって最大のリターンというのは好奇心の充足なのかもしれない。これからどういう人生を歩むべきか？を考えるならば、好奇心の充足可能性という軸を大切に考えるというのが現状持てる解法といったところなのだろうか。

2021/03/03 (Wed.)

  • NicklのStatistical Theoryを10日で半分程度目を通した。前々から読みたいと思っていたやつ。全部で120ページ程度なので読み切れる量だし、数理統計の基礎が必要最低限まとまっていて分量とレベルが良い。例えば、はじめて一様大数の法則の概収束の証明を追った。確か昔読んだvan de Geer (2000)はステートメントは概収束で書いてあるのに証明は（Dudley積分を使った）確率収束しか載っていなかった。証明自体はブラケティングのアイデアさえあれば初等的な測度論で示せるので、測度論の応用としてもとてもいい水準だった。測度の可算劣加法性がいい感じに効いてくるので、測度論の理解の確認にも良い。他にもlocal asymptotic nomalityやBernstein-von Mises定理もコンパクトにまとまっていてスッキリしている講義ノートだと思う。残りはミニマックス下限、回帰、delta methodあたりに軽く目を通したいと思う。
  • 思い返せばvan de Geerを読んだのがM1の春休み、ICMLの投稿を終えて一段落した時期だったわけで、これが3年前になるわけだ。3年間で数理統計に関する理解が大きく向上したとは思わないけれど、懐かしく感じる。3年間で身についたものはなんだろうか。技術的にはやはりSteinwartのcalibration analysisになるのだろうか。
  • 重い腰を挙げてもう一つの公募のために書類を準備した。準備を始めるのに無の2時間を過ごしてしまい悲しくなったけれど、逆に2時間のおかげで準備を始められたのだと肯定的に捉える。
  • 今日は良い天気だったので、夕方に6km走ってきた。先月は毎週末10km以上コンスタントに走っていたのもあり、自分の中で自然と6kmがウォームアップ程度の距離に捉えられていることに気づく。高校生の頃は授業で4km走るのも嫌だったのに比べると、本当に大きな進歩だなあとしみじみ感じる。

2021/03/02 (Tue.)

  • 一週間後にまた査読が始まるので、今週は自分の研究を進める絶好のチャンスだ。Lee et al. (2020)を読んだ。この論文はロバスト最適化でよくあるrisk-averse lossと、逆に「最良」ケースを最適化するrisk-seeking lossを考えて、それぞれの汎化誤差を出している。後者はある文脈ではロバスト統計的な「最悪ケースを無視する」挙動とみなせなくもないけれど、今ひとつrisk-seekingが「ロバスト性」を担保できる直感があるようなないような、わからない気持ちがある。このあたりをうまく言語化してクリアにしたい。
  • それと、influence functionの計算に関しておそらく新しく得られた知見がある。今まではconvex lossでないと（一次の最適性条件が必要十分でなくなるから）IFの解析解を得るのは難しいのではないかと思っていたのだが、最適性条件が必要条件でさえあればIFは計算できる（はず？）ので、別にlossがnonconvexであろうと気にする必要はなさそうな気がする。だとすれば、IFの適用可能範囲は思ったより大きい。ただし、lossのHessianが正則であることは担保しなければならない。

2021/03/01 (Mon.)

  • 計算量理論自主ゼミの3回目。今日は[KKMS05]、一般の（少なくともhypercube上のconceptに対して）agnostic learningがNP-hardなのに対し、この論文では入力の周辺分布がhypercubeやunit sphere上の一様分布のように性質が良ければ多項式時間で学習できることを示唆。キーアイデアはL2損失の代わりにL1損失を用いること。なぜかといえば、L2損失は三角不等式が使えず"almost-triangle" inequalityと呼ばれる |f+g|2 ≤ 2(|f|2 + |g|2)に頼らざるを得なくて、この「2」という係数がagnostic learningを不可能にしてしまい近似アルゴリズムしか構成できなくなる。一方でL1損失は三角不等式が使えるので、先程の係数2が1になって嬉しい。彗眼としか言いようのない華麗な解法だ。余談だが、"almost-triangle" inequalityに関する情報が全く見つからず、自分で式展開しても証明できず云々唸っていたのだけれど、Minkowskiの不等式の証明（のはじめの3行）を追うと示せる。こういう初等的な結果はみんな知っているものなのだろうか。
  • コツコツと計算論的学習理論の論文を3本読んできたので、半年前とは比べ物にならないくらい理解が深まってきた。以前はこの業界の論文はどこから手を付けて読めばいいのか途方に暮れていたけれど、今なら腰を据えれば自力で読める水準にはある。ささやかな成長を感じられて嬉しい。