Random thoughts in Japanese. All optinions are my own.

2020/07/30 (Thu.)

  • 帰京。往復切符の期限ギリギリまで滞在。このご時世、どうしても移動するだけで憚られてしまう。実際のところはdoor-to-doorで黙って移動しているだけなのだけど。
  • COVID-19の情勢、特に世界経済に与えている影響を見ると、本当にどうすればいいのかわからない。あまりにも重い無力感だけがひたすらのしかかってくる。

2020/07/29 (Wed.)

  • Fenchel-Young lossでまわりで思いついていた小ネタ、ちょっと考えてみたけど意外と面白いかもしれない。話としては割と地味だけど、（思ったより応用の難しい）Fenchel-Young lossの一応用先として映えるかもしれない。あと、このアイデアは世の中の誰も思いつかないだろ、という確固たる自信はある。とりあえずしばらく考えてみようかしら。

2020/07/28 (Tue.)

  • Fenchel-Young lossのproperness、既に元論文で調べられていた。。冷静に考えればBregman divergenceなのでidentity of indiscerniblesからシンプルに従うし、そんなに難しい話ではなかった。Mathieuさん、あの周辺分野でかなりintensiveにlossの性質を調べきっているし、それくらいはやっていて当然だよなあ。
  • ううむ困った。ポジティブに捉えれば、他の人が既に自分のやろうと思っていたことをやってくれているので、自分は他に知りたいことに集中できるというのはあるけれど。

2020/07/27 (Mon.)

  • 今学期のセミナーがすべて終わった。結局この4ヶ月ほど、学期中は研究的な意味ではあまり進まなかったな。まあ比較的勉強はできたように思える（凸解析、proper loss、Fenchel-Young lossなど）ので良しとする。
  • あと夏休みのインターンはやはり飛んでしまったなあ。こうなると夏休みは家に一人で籠もり続けることになるのか？？少し心配だなあ。

2020/07/23 (Thu.)

  • 学科 & サークルの後輩の結婚式。結婚式自体に行ったのは初めてだったのと、参加者に知り合いが少なくほとんど年下なのもあって、終始少しそわそわしていたけど、おめでたい。二人に初めて会ったのがもうかれこれ5年前なので、全く人生というのは気づいたときにはあっという間に過ぎているものだなあと感じる。
  • Proper lossやclass probability estimateに関する重要な文献として、Telgarsky et al. (2015)にようやく目を通した。この論文はconvex loss (not necessarily proper?)のminimizerがどんなclass probability estimatorに収束するのか、その条件とレートを詳らかにしたもの。この手のトピックではふんわりとconditional risk minimizerのinverseとか、proper composite lossのinverse linkがprobability estimatorとして使われてきたのだけど、Fisher consistencyの観点から本当に大丈夫なのかイマイチしっくりと来なかった。それが（少々制限的なlossに対してではあるけれど）きちんと示されている。余談だけど、未だにたった6 citationなのが少し意外。COLTなのもあり、関連領域へのアウトリーチ力が不足しているのが悲しい。
  • 今日からまたしばらく京都に籠もる。

2020/07/22 (Wed.)

  • 「量子力学と私」、再読終わった。朝永の場合は、結局何が彼の原動力だったんだろうな。東京が空襲を受けている中でも自宅に学生を招いてゼミを続けたり、戦後まもなく生活すらままならない中で47年、48年頃に彼の最大の業績となったくりこみ理論を発表したり、傍から見ればよほどの精神力がないと貫き通せない姿勢だと思うのだけれど。
  • 数年前よりも、研究者の手記を読んでいるとリアルに感じられることが多くなってきたように思う。先日再読した福岡「生物と無生物のあいだ」も、一回目に読んだときに比べて福岡自身の若手時代のバックグラウンドストーリーを読んでいる間、若手研究者ならでは？の絶妙な焦燥感の描写に、妙に手に汗握る緊張感を感じた。

2020/07/21 (Tue.)

  • 昨日の考えてたことから舌の根も乾かぬうちに、ちょっとロバストなlinkの話はやめようかなという気持ちになった。結局linkは単調増加な関数でしかないので、GEV regressionのように特定の領域のclass probabilityを特別扱いするようなロバスト性を考えるのでもない限り、uniformなロバスト性を実現するにはせいぜいこの論文のように勾配をいじるくらいしかない。影響関数を考えても、結局はlossの勾配に比例、すなわち(chain rule)からlinkの勾配に比例するわけだし、そうなるとlinkの勾配を抑えますか？となってしまい、実用的にはほとんど嬉しくない。この辺が諦めようと思った経緯。
  • しかし結構時間を突っ込んでしまったので、proper lossまわりでは論文を書きたい気持ちがある。これはサンクコストというよりも、普通にproper lossが面白いから。Fenchel-Young lossとの関係も明らかになっていないし、Bregman divergenceを通じて情報幾何との関係も眺めててワクワクするし、きっと何かできる気がしている。
  • 後付けのような理由を一つ付しておくと、今「量子力学と私」を読んでいるのもあって、僕が興味があるのは工学的に役に立つことよりも、現象を数理的に観察することだと再確認したから。そういう意味でもloss functionのまだ知られていない構造を解明する方が自分のやるべきことのように感じた。
  • 今日は平日だけど家を抜け出して蔵前のカフェに入り浸っていた。外だと家ほど作業が手につかないこともないので、気が散ったら迷わず出たほうが良さそうだ。

2020/07/20 (Mon.)

  • 今やってるロバストなlink function、本当に面白いかなあ。もうかれこれ3、4ヶ月くらい考えてるからなんとかアウトプットにしようとしているけど、このまま研究し続けるのはサンクコストではないのだろうか。
  • まあそんなに論文を量産しなくてもいいと自分に言い聞かせることにする。しばらくはのんびりやってもいいじゃないか。

2020/07/19 (Sun.)

  • 2年前にも読んだ朝永振一郎「量子力学と私」を再読し始めた。漠然と良かった印象だけが残っていたのだけど、読み始めたら全く読んだ記憶のないような箇所もあったので、当時はもしかするとあまりに仔細な物理に関する記述は読み飛ばしたのかもしれない。内容自体はかなり良い。朝永が二、三十代、量子力学が勃興し始めた頃に、どのように暗中模索で西欧に追いつこうとしたか、周囲との競争に疲弊していたか、が赤裸々に語られていて好感度が高い。仁科も研究が当たるかどうかは運と時期次第、と言って朝永を慰めたようだし、これはいつの時代、どの分野でもそうなんだろうな、という次第。朝永の手記を読むと非常に元気づけられる。
  • およそ80年前の量子力学の黎明期と今の計算機科学分野の隆盛と比較して、これから20年後にはどうなるのか、時間による淘汰の末にどんな研究が残っているのか、潮流になっているのか、を想像すると、少し不思議な気持ちになる。

2020/07/18 (Sat.)

  • 査読終わり。3日たっぷりかけて1本の論文を査読を仕上げると、査読してる方も当該トピックの勉強になって満足度が高いなあ。自分史上最も質の良い査読が書けた（と思う）。
  • 昨日のadversarial robustness vs. distributional robustness、やっぱり大体同じなのでは説。むしろ古典的outlier robustnessとは違っていて、こっちは推定量「自体」のoutlierに対するsensitivityを下げたいのに対し、adversarial/distributional robustnessは「予測性能/lossの」perturbationに対するsensitivityを下げたくて推定量のsensitivityとかidentifiabilityとかはあまり興味がない。統計的視点か、機械学習的視点か、の違いとも言えるかも。
  • 今日も蔵前をぶらりと散歩。台東区は浅草通りや蔵前橋通り、国際通りみたいな大通り沿いはいうて車通りが多くて落ち着かないけど、小道に入ると静かで、特に蔵前四丁目は公園やカフェも多くて良いです。まだ行けてないカフェがいくつかあるので、近々行きたいですね。

2020/07/17 (Fri.)

  • 野菜を意識的に取ろうとすると副菜のバラエティが増えて楽しい。今週は白和え、タコの酢物、いんげんの胡麻和え、ほうれん草のソテーなど、バラエティが豊かで幸福度が高い。あと、野菜は調理が一瞬で終わるものが多いのも楽。
  • Adversarial robustnessとdistributionally robust optimizationはどちらもロバスト最適化だし一緒くたに考えていたけど、実は結構違うことに気づいた。前者はattackに対する感度を低減したいのに対し、後者は分布シフトに対する感度を下げたいわけではなく、むしろオリジナルの解とは異なる解を得ようとしている。結局DROはどんな解を得ようとしているんだ？？

2020/07/16 (Thu.)

  • 気乗りしなさすぎてずっと放置していた査読に手を付け始めた。こういうのは手を付け始めればそのうちやる気になるので、いかにして始めるかが最大の障壁。
  • 今回は絞りまくって1本だけなので、かなりディテールまで読もうと思っている。読み始めてみたら、どうやら最近知り合った人の論文の模様（内容がspecificすぎてほぼ特定できてしまう）。Loss functionの、ちょっと今まで手を出しづらくてなんとなく億劫だったトピックなのだけれど、幸い比較的わかりやすく書かれているのでとても勉強になる。面白い。
  • こういうの読んでると、かなり絞った分野の研究になると先端走ってる人しかちゃんと理解できてないし、ほとんどその人達にしか研究できないんだよね。幸い、僕もloss functionというプレイヤー数の少ないトピックに興味を持っているし、たぶん僕の興味があることは自分がやらないと誰も解明してくれないし、そういう意味で僕が自分の好奇心のままに研究をすることには多少の意義がありそうに思える。悪くない。

2020/07/15 (Wed.)

  • アメリカに留学してる友達入れて3人でおしゃべりしたり。博士学生が集まると雑談も妙に面白くなる。例えば今日はっとしたのは、アーティストに芸術性とエンターテイメント性を追求する2つの方向性があるように、研究にも芸術性とエンターテイメント性（大衆性）を志向する独立した方向性があるのでは、という話。なるほど、アートが必ずしも大衆性を持たずに芸術性を追求することがあるように、研究も純粋に芸術性を追求することを誇って良いのだなと思えた。

2020/07/14 (Tue.)

  • いろいろと発表も終わっていよいよやる気がなくなってきた。今日はほぼ一日本を読んだりしていた。
  • 4月5月は論文の締切前だったのもあって自宅でも作業するようにサイクルを回していたけど、今はそうではないので体が思うように動かない。作業するときは作業場に行かないと、長期的には無理だなあ。

2020/07/13 (Mon.)

  • COLT終わり。久々に自分の英語のリスニング力の低さに嫌になっちゃったな。聞き取れなさすぎて何もわからん。
  • 次いで鹿島研のセミナーで1時間トーク終わり。本当は京大まで行きたかったんだけどな。前にベルリンで一瞬お会いしただけだけど、鹿島先生に覚えられていたっぽくて嬉しい。
  • しかし、トークしながら自分の研究の価値に疑問を感じてしまった。決して詰められたわけじゃないけど。自分のやってること、面白い、、？
  • なんかいつもそう。研究する前の妄想はすごく楽しいんだけど、実際に取り組んだり論文にし終わってしまうとあまり面白くなくなってしまう。研究する前の理想ラインに届かなかったりとか、前よりも見識が広がって色々と見えるようになってしまったからとか、そういう理由かなあ。
  • 少し恐怖を感じる。好奇心というのは僕にとっては生きていく上での道標であり続けてきたので、それが失われてしまうことは路頭に迷ってしまうことに他ならないから。

2020/07/11 (Sat.)

  • COLTの自分の発表出番は終わり。全体的にはオンライン最適化とか強化学習とかPCAとか仮説検定とかサンプリングみたいな話をよく聞いたのもあって、僕の研究みたいなlossの話はウケが正直微妙な感じだった。けれど、関連研究でこないだのNeurIPSでpiece-wise linear lossのconsistencyについて論じてた論文の著者が来てディスカッションしてくれたのは嬉しい。数が少なくても然るべき人にウケてくれればやった甲斐があるというもの。
  • 今日は散歩にあてもなく浅草橋あたりを歩いてた。1年前に寄った柳橋のlucite gallery cafeが開いていたので（ここはいつ開いてるのかよくわからない）、今日はここで一休み。やっぱりこういう交通のアクセスが微妙な場所だと人も少なくて良い。二回目だけど、相変わらず落ち着きのある素敵な古民家でした。
  • 自分の中の雑念を捨て去って、休日はこういう静かな場所で本を読んだり物思いに耽る生活をおくりたい。

2020/07/10 (Fri.)

  • COLTのオンライン学会スタート。今日は一回自分のポスターセッションが会ったのでzoom部屋に居座っていたけど、1時間半で1人しか来なかった。。同セッションの他の部屋だと3人くらいお客さんが同時に来てるとこもあったのでちょっと悲しい。まあその部屋はuniform stability boundの話なので、広い聴衆に受けそうではある。
  • タイムゾーンがバラけてるのもあるけど、シングルトラックでspotlight talkを同時に聞いてる人数は高々40人くらい。その後zoom部屋に入る敷居はもちろん高いし、ポスターセッションに参加している実効人数はせいぜい20人くらいじゃないのかな。
  • とはいえ、僕も自分の発表セッション以外ではポスター部屋に入らなかったし。COLTは論文数が少ない分、自分の興味にクリーンヒットする論文もなかなかない。オンサイトならモチベーションが低くても無理矢理でも聞きに行って、いろいろな知見に邂逅するのだけれど、オフサイトだとそこまでは。。
  • しかし、やはりCOLT侮ることなかれ。参加者は少ないけど、zoomにリストアップされる聴衆は皆有名人。今日だけでもKamalika Chaudhuri、Jacob Abernethy、Oliver Bousquet、Manfred Warmuth、Prateek Jain、Steve Hanneke、Peter Grünwald、Satyen Kaleなどなど、自分の知ってる有名人が高密度で集まっていた。すごい。

2020/07/09 (Thu.)

  • 久しぶりに研究室の人と1-on-1でディスカッションした。4時間近くも喋ったのでなかなかに体力を消耗した。
  • まあまあ考えてることは整理されたんだけど、いまの方向性がいいのか結局わからない。LPにおけるロバスト性って結局なんやねん。
  • 都内感染者200人超えか、、はあいつまで続くんやろうか。

2020/07/08 (Wed.)

  • 帰京。明らかに人が恋しくなっていたらしい。気のおけない人と一緒にいるのは落ち着く。
  • 梅雨は天気がダメなのでダメです。去年も一昨年も進捗が終わっていた気がする。

2020/07/06 (Mon.)

  • エントロピー正則化LPについていろいろ考えているけど、正則化でLPのロバスト性を得ることは本質的に可能なのだろうか。そもそもLPにおける「ロバスト性」って何？
  • 純粋に最適化問題としてしかLPを捉えるのなら、ロバスト最適化が最も自然な「ロバスト性」。この場合は先週読んだ論文と同じテクニックでロバスト最適化をエントロピー正則化に結びつけることができる。しかし、それはどう嬉しい？
  • リンク関数をLPとして見たときの「ロバスト性」はいくつかあって、基本的にはまず対象とする問題がまず分類問題かクラス確率推定か、汚染モデルがwhite noiseか外れ値か、あたりが考えられる。ただ、純粋にLPだと思うとpointwiseな予測問題になるので、外れ値による汚染モデルは定式化が困難。たぶんLPとして捉えない方がいいのかも？
  • あと、分類におけるロバスト性と正則化には関係がある（ここでのロバスト性は最悪摂動に対するロバスト性）事実は関係あるだろうか。この事実は直感的には「最悪摂動に関する制約を加えることで解空間が制約される」ことで正則化になると理解できる。
  • 話逸れるけど、この直感を元にすると、Ben-Tal et al. (2009)の"robust optimization and robust statistics are radically different in nature"は意外とそうでもないという気持ちになる。これはこれで考えてみたいfuture work。
  • いろいろ頑張っているように見えますが、今日はこいつは布団の上でころころしていただけです。裁いてくれ。

2020/07/03 (Fri.)

  • 今年のICMLに正則化つき最適輸送と敵対的距離の関係を示した論文があるのを思い出したので、これはロバストLPに話を戻して何か言えないだろうか。
  • 都内の感染状況が見る見るうちに悪くなっていく。。悩ましいのだけれど、こないだの緊急事態宣言の時は3ヶ月まるまる家にいたし、また移動自粛されたらいろいろとかなわないので、少々心苦しいけど京都に来ることにしました。

2020/07/02 (Thu.)

  • 数ヶ月ロバスト損失のアイデアを考えてて迷走していて、最近はFenchel-Young lossまわりで何かできないかなと思ってエントロピーの性質について色々調べていたら、実はprediction functionと同様にBellman operatorや最適輸送、boostingも類似のLPの構造を持つことに気づいた。LPすごい（今更だけど）。Regularized LPは更にすごい。
  • けれど、regularized LPの文脈ではみんな基本的にShannon entropy（LPのsmoothing）or Tsallis entropy（LP解のスパース化）による正則化しか考えてこなかったのよね。僕の知る限りでは。だから、例えばロバスト性を誘導するようなエントロピーを考案することができれば、regularized LPの枠組みに乗っかって色々な最適化問題に応用できてすごく嬉しそう。面白い。何かできないかな。
  • 一息で読み終わって数日経った中村文則の「教団X」に対して一言付しておきたい。レビュー見ても賛否両論が極端なこの小説、扱っているテーマが素粒子論からインド哲学、靖国問題まで裾野がかなり広く、個々のテーマに関しては著者自身の考察がふんだんに感じられるものの、風呂敷を広げすぎた故に全体として話が一貫しないのが難点だった。個人的には一つ一つのテーマを深堀りして一作品にしてほしかった感じではあるんだけど、著者が普段から「作品の一部からでも何か感じ取っていただければ幸いである」と述べているように、作風としてテーマを一貫させるよりも考えていることを並べていくスタイルなんだろうなと思う。全体的には悪くはなかった。純文学として価値が高いのかどうかはなんともいえない。

2020/07/01 (Wed.)

  • 2020年下半期だと。もうすぐ今学期も終わりか。都内の感染状況が収まる気配もまだないし、やはり最低でも1年単位で続くのだろうなあ。
  • そういえばこの日記も11ヶ月続いた。いつまで続くのだろうか。