Random thoughts in Japanese. All optinions are my own.

2020/01/31 (Fri.)

  • 論文もサブミットして1月も終わって帰国まで10日くらいになってもうなんかテンションが上っている！
  • 今回の論文は反省点が多いなあ。今までにないくらいギリギリまで理論に取り組んでたため、なんと締切1時間前にまだ証明の修正をしていた。さすがにちょっとなあという感じ。まあ締切ドリブン研究っていかがなものかって話はあるけど、個人的には年寄りの戯言だと思うし若者にそんなこと言われてもしょうがないので、締切を見据えて適当なラインでまとめに入る戦略を取っていればもう少し余裕があったかな。
  • しかし論文をサブミットしてしまえばこっちのものです！帰国までは旅行に行ったり、あとUIUCにトークに行ったりする予定です。

2020/01/30 (Thu.)

  • 24時間を切った。まだまだ修正でドタバタしていてとても気が気ではない。2年前（もう2年前なのか、、）のICML投稿時もかなりのスピード執筆で直前期は缶詰してたけど、今回はそれに勝るとも劣らないほど慌ただしくしている。ギリギリまで新しい結果を出し続けようと粘ってたから、、
  • なんかもう24時間後にはすべてから解放されてビール飲んでるんだろうなと思うと、いまはすべての感情が消滅している。

2020/01/29 (Wed.)

  • 締切まで2日、帰国まで2週間。マラソンの40km地点な感じ。
  • やっぱり板書するセミナー発表はうまくいかないなあ。準備のときに自分が理解したと思っても、発表となった瞬間にはたと自分の無理解に気付かされる。もっと準備に時間を割くべきだったのだけど、締切直前だし、、ていうかなぜセミナー発表なんてしてるんですかという話なんですけど、セミナー発表するとお昼ごはんおごってもらえるので云々、、、（貧乏性）
  • あと、まさかこのタイミングで共著が増えるとは想定してなかったなあ。まあ数ヶ月前に主著者とはかなりディスカッションしてはいたのでそんなに大きな問題にはならなさそうだけど、このままいくと今年上半期で6本くらい論文をサブミットすることになる、、？マジで？生存できるの？？

2020/01/28 (Tue.)

  • Clayに定理を一般化しろと2週間ほどケツを叩かれ続けた結果、どうやら少し拡張されたっぽい。いや、まだ証明は頭の中にしかないので崩壊するかもだけれど、これはたぶんいける気がする。そこそこ面白い拡張だと思う。
  • 家帰ってくるとだいたい毎日かなり疲れてたり飲み終わり後だったりして、下宿のシェアメイトとあまりまともに会話をしてなかったのに、今日は帰宅してキッチンを通りがかったときにワインをテイスティングさせてくれた。いやほんとに愛想の悪いやつだと思われてても仕方ないのに申し訳ないなあ。締切すぎたら（程なくして帰国するけどそれまで）仲良くしたいな。。

2020/01/27 (Mon.)

  • 「締切前になると現実逃避したくなる症候群」のため、最近はながらくやっていなかったアニメ視聴が捗っています。「メイドインアビス」と「バナナフィッシュ」がとても良い感じです。「バナナフィッシュ」はなんとなく作画で敬遠していたけれど、シリアスなストーリーがとてもよい。やはり我々が信ずるべきはノイタミナ。

2020/01/26 (Sun.)

  • やる気の起きなかった実験も案外ぱぱっと片付いて結果も上々だったので、少し肩の荷がおりた。
  • 明日は実験結果と追加の命題を書き下すつもり。そうしたら基本的には論文として形になるはずだとは思う。
  • 残り5日だけど、主定理の結果をもう一押し強くできるだろうか。すんでのところまで手が届きかけているような気はするけど、間に合うだろうか。

2020/01/23 (Thu.)

  • なんだかんだぼーっとしてるうちに共著者が1本サブミットしてて、別の1本も共著者がサブミット目前で、あと1本の共著者は次の締切に回そうという話になったので、滞在中に仕上げなきゃいけないのは自分の研究だけになりました。
  • ACT-Iの同期D1、はちゃめちゃに活躍している2人なので、僕の影はほとんどないに等しいくらいなんだけど、最近はそういう超人たちを見ても無感情でいられるようになってきました。東大生がみんな乗り越えていく精神的な壁をようやく超えたっぽさがあるのと同時に、まあ歳をとったんだろうな、という気持ちもあります。もう競争は散々です。

2020/01/22 (Wed.)

  • 今日も論文を修正したし、共著者に証明を納品したし、筋トレもしたし、とてもえらい！
  • なんかやたらと日本に帰りたい理由を考えていたのだけれど、単調な生活にストレスを感じるのかもしれない。東京にいたときは思い立ったときに本屋に寄ったり、カフェに行ったり、映画を見に行ったり、友達と飲みに行ったりしてた。「いや別にアメリカでもできるじゃん」と言われればそうなのですが、英語で小説読んだり映画を観たりするほどの英語力は生憎ないし、居心地がよいカフェもあまりないし。飲みに行くのだけは唯一良いのだけれど、今月は少し健康を気にして控えめにしてる（？）し。んーなんだろ、英語力も問題な気はしてきたけど、それを解決してまで滞在するモチベーションはないなあ。
  • 結構自分の中で将来に対する考え方の方向性が決まりつつあって、昔は「お金をとるか、時間をとるか」悩んでいたものだけど、今はもう圧倒的に時間。どうせ金銭的にはいつもその場凌ぎで、別に大金使ってやりたいことも対してないし、むしろ仕事もプライベートも時間的に余裕がある方がいいな。ベイエリアのエンジニアで四苦八苦出稼ぎしたところで、車をはるばる飛ばさないと何もないど田舎で生活していたところで、日々の生き甲斐が感じられる予感がしない。最近はそんな気持ちになっています。

2020/01/20 (Mon.)

  • 帰国まで3週間。笑っちゃうくらい毎日帰国までの日数を指折り数えています。
  • 元々優柔不断な方で目の前の選択肢も選べずに先延ばしするクセがあるタイプなのですが、「将来長期的に海外で働きますか？」と聞かれたら自信を持ってNoと言えるようになりました。これは逆説的だけどアメリカに来てよかったことの一つ。
  • 締切まであと10日、自分の結果がめちゃくちゃ自明に見えてきてました。気が重いな。残りの期間でもう少し理論を強化できるのでしょうか。

2020/01/17 (Fri.)

  • 年始一発目のClayとのミーティング。フィードバック量もそうだけど、「君の結果、面白いけど君ならまだ拡張できるよ」と激励されたのでなんかエネルギー出た。既にかなり解析が難しい領域に来ているので正直3分7分で出来なさそうだけど（笑）
  • そのエネルギーは代わりに共著論文の方に注がれたことによって、excess risk boundが一つ生えた！たぶんまだ作業時間20時間もかけてないと思うけど、Ávila Pires & Szepesvári (2016)の結果を（必要最低限）理解してmulti-class calibration functionを導出できたのは、自分ながらかなり頑張ったんじゃないか？彼らのテクニックのキーコンセプトもなんとなくわかってきた。曰く、
    • multi-classの場合は難しいのでまずはbinaryに帰着することを考える
    • クラス確率がoptimal & ε-optimalな2つのクラスだけに着目してsurrogate excess riskの下限をとる（条件2）
    • 2つのクラス確率を正規化してさらに下限をとる（条件8 + Lemma 5.5）
    の操作で、binary calibration functionでmulti-class calibration functionを抑えられる（Lemma 4.1）。まあコンセプトはとても直感的だけど、実際に書かれた証明を解読するのはなかなか骨が折れましたね。

2020/01/16 (Thu.)

  • メンタルをやっている疑惑がある。研究以外の負荷があるわけでもなく、研究がうまくいっていないわけでもないので、原因は明らかに疲労しかない。人間一日4時間以上集中して作業するのは無理です。
  • 1月後半、これからが正念場なので、強い気持ちをもって休まないともたなさそう。

2020/01/15 (Wed.)

  • 来年度から学振の身分でも奨学金の併給ができるようになったらしい！先人が声を上げて権利を主張してきたおかげなので感謝ですね。そういう行動力で社会を突き動かす人を見習いたいんだけど、なかなか検討がつかない。
  • 実際、学振の人の待遇ってどうなんでしょうね（学振のない博士の待遇は察するしかないですが、、）。自分は幸いにして学振に加えてRAとしても雇ってもらえて（ちょうどRA雇用解禁の年から学振採用）、さらに外部研究費で出張に行かせてもらったりしているので、国内の博士の待遇の中ではかなり良い方だと思っているんですが、まあそれでも都内住みなので収支トントンですよね。とはいえ、同年代の社会人も手取りでみるとそんなに変わらないんじゃないか？どうなんでしょう。人とお給料の話をするのは憚られる（僕は別にいいじゃん？と思ってしまうけどなんかダメな雰囲気がある）ので実際のところ知らないけど。
  • たとえば、2018年度の国税庁の統計を見ると（第１４図）、給与所得者の平均給与が20代後半で370万円なので、これだけ見るとあんま変わらんなという感じです。まああくまでこれは僕がRA雇用もされてるので到達している水準なわけですけれど。。
  • はあ、、こういうこともちゃんと情報収集して行動すべきなのかもだけれど、自分にはそれほどのエネルギーがないし、そんな余力があるなら研究するかなあってなっちゃう。それがたぶん研究界隈の人間の良くないところなんだろうけどさ。

2020/01/14 (Tue.)

  • 新しく始めた共著のお手伝い、multi-classやFenchel-Young, proper composite lossの知識が必要なので非常に勉強になりそうなのだけど、その分だけ脳負荷が高い。これ自分の論文と並行してやるの本当にあほだなあ。
  • ずっと作業もとい勉強してたせいで眼精疲労がやばい。眼精疲労は体のストレスに直結してしまうなあ。明日からは疲れを感じたらすぐに散歩に行こうかなあ。
  • （これは架空の話なんですけど）放置系研究室の学生が指導してもらえずに失踪するのは腐るほど見てきたんですけど、つらくなったら周りの誰でもいいのでなりふり構わず叫んだほうがいいと思うんですよね。もっとも叫ぶ能力がある人は失踪しないので、叫ぶことすらできなくなる心理的メカニズムがあるんだと思うんだけど、なんでしょう、、助けを請うより失踪するほうが省エネルギー？（すべて架空の話なんですけど）

2020/01/13 (Mon.)

  • よく通りがけに買い物してるコンビニにドライフルーツコーナーがあるのを今頃発見して、今日は干しあんずを買ってきて夜な夜なぱくぱく食べている。めっちゃおいしい、、デブ活。。

2020/01/12 (Sun.)

  • 来週から論文は推敲モードですね。来週は共著の理論解析もがんばります。
  • ついに帰国まで30日になりました。ミシガン大学滞在は結果的にとても良い感じに収束しつつあってワクワクしているんだけど、アメリカ生活には（ビールが安いこと以外）あまり未練がない。指折り数えながら帰国日を待っています。しかしまあ既に総計80日くらいミシガンで暮らしているんだなと思うとなかなか感慨深いものがあります。

2020/01/10 (Fri.)

  • 2日間でサーベイで論文を8本読んで脳が悲鳴を上げている。。でも結果としてadversarial trainingに対してすごく理解が生えている。なんか界隈はレッドオーシャンすぎて近づきたくなかったんですけど、保証付きの手法に限って言えば
    • 2015年頃から: robust lossのTaylor 1次近似（例: FGSM）
    • 2015年頃から: Lipschitz normやJacobianの正則化
    • 2018年頃から: robust lossのconvex upper bound
    • 2019年頃から: 出力にノイズ挿入（randomized smoothing）
    くらいのものですね。論文本数はまあ多いけれど、同一カテゴリ内で比較的マイナーな保証改善が頻繁に行われているように見えるので、本質的にはそんなにスピードが速いわけでもない。だいぶ頭の中がスッキリした。
  • しかしまあ今の論文を書くために少なく言っても20本くらいはadversarial trainingやロバスト最適化のサーベイをしたけど、これだけ読むとまだまだこの分野に穴があることが見えてきますね。夢だけ言うのならば、regularization、algorithmic stability、differential privacy、Lipschitz-norm/Jacobian-norm（モデルのmodulus of continuityあるいはsensitivity）に対する正則化、stochastic classifier、それに加えて生成モデルの安定性（spectral normalizationやi-ResNet）あたりも含めて、統一的な理解が可能そうな気がするけどまだ欠けている。これはadversarial trainingに限った課題ではなくて、汎化性能と（広義の）「安定性」の間の関係性にはまだまだ解明すべきメカニズムがあるものだと感じています。

2020/01/09 (Thu.)

  • 論文は数値シミュレーション以外の部分は概ね埋まりました（書き上がったとは言っていない）。まだ締め切り3週間前なので、今までの中でなんと最も余裕のある論文執筆ですね（過去2回は1週間前とかに埋まる有様）。書き始めたのは年明けからだけど、1週間あれば徒然なるままに書いているだけで30ページになったので、ちょっと驚いています。
  • 年明けてからなんとなくストイックに野菜中心のご飯を連打して、筋トレの負荷も少し上げたところ、2キロ痩せた。びっくり。おかげで腹筋が割れるどころか、お腹周りの肉という肉が失せている。違う、そうじゃない、、、筋肉がついてほしい。。。プロテインはそこそこ摂取しているので、もっと肉食べたほうがいいのかなあ。

2020/01/08 (Wed.)

  • 最近結構暖かかった反動で、久々に今日は最高気温が氷点下で寒い。一日中氷点下だと流石に堪えますね。
  • 今日から授業が始まったようで、大学や通勤バスの学生が一気に増えました。冬休み中、街に閑古鳥が鳴いてたけど、そうそう、本当はこれくらい賑やかな街だったよね、という感じ。様々な施設や飲食店が2週間近く閉まるなかなかつらい期間だったけど、意外と乗り切れました。地味に開いていたジムに通ってたのと、遊びに誘ってくれた日本人Ph.D.のみなさんのおかげですね。

2020/01/07 (Tue.)

  • AISTATSに通るかどうかで決めようと思っていたのだけれど、共著と出張トークの打診をした。折角アメリカにいるのだから、現地の学生やファカルティとディスカッションしたいというのはある。のだけれど新しい研究を落ち着けるために必死で、10月からの3ヶ月間（ビザ申請で訪れたデトロイト以外）どこにも行かずにアナーバーにこもりっぱなしだった。とりあえず会ってみたいと思っていた研究者に連絡したらほぼ即レスでOKが出たので、帰国までにたぶんUIUCに行ってきます。本当はCMUにも5年ぶりに寄りたかったけど、ちょっと滞在時間切れかな。
  • 論文の方は、主定理群の証明はなんとかすべて書きあげた（まだ雑だけど）ので、今週中には埋まるんじゃないだろうか。この1ヶ月内で最低2本、最大4本論文を投稿することになりそう（マジか、、）なので、自分の論文は可及的速やかに仕上げてしまいたい。
  • また「未来の自分に無責任に期待する」癖が出てる気がしないでもないけど、今回は今後あまりなさそうな機会だからな。この機会は掴んでおきたいなあ。

2020/01/06 (Mon.)

  • 前作がAISTATSに通った！まあリバッタルの時点で通りそうな感触ではあったけど、流石にここ数日は手に冷や汗握る思いでなかなか作業に集中できなかった。これで6月にシチリアに行ける！NeurIPSやICMLに比べてリーズナブルなサイズのカンファレンスという印象があるのでとても楽しみ。
  • 少し大袈裟かもだけど、本当にほっとした。なにせ博士課程始まってからカウントだと1本目の主著論文採択。この研究がちゃんと形になるまでは自分の中では結構紆余曲折あったし、ネタを思いついてから（2018年7月）論文の形になるまで（2019年5月）10ヶ月もかかった、結構世話の焼けた研究だったので。。その後もNeurIPSに一度落ちて、採択されるまでは結局1年半かかりましたね。おかげでかなり学習理論に対する理解が深くなったし、今でも続編の研究のアイデアがある。
  • 思えば、2018年7月にこのアイデアを思いついたのは、ICMLで面白そうな研究を見つけて著者と話したりした結果だったなあ。もちろんこのご時世会議論文は電子版で読めるけど、あのときもICMLは600本超えの論文があったし、偶然ふらっとあのセッションに立ち寄らなかったら今の自分の研究の方向性はなかったのかなあと思うと結構エモい。NeurIPS/ICMLは近年規模が超巨大化してて若干辟易としてはいるけど、それでも大きな収穫だったなあと思うし、参加する価値はあったなと改めて思う。

2020/01/05 (Sun.)

  • 論文執筆のためにロバスト最適化のサーベイをしている（はじめてまともにロバスト最適化の文献に目を通してる）んだけど、学びが深くて気持ちいい。。ここ数日で一番はっとしたのは、ロバスト最適化と正則化の関係。早い話がある種の不確実集合内でのminimax最適化は、正則化付きSVMとexactに一致するという話。これだけでもまあまあ面白いんだけど、何が注目すべき点かというと、ロバスト最適化は（不確実集合が無限なら）無限個の制約式を追加した最適化問題とみなせる点。一方で、正則化、特にLASSOの動機の一つとして、不定方程式をidentifiableにするという点が挙げられる。つまり、ロバスト最適化と正則化が一致する事実は、どちらも最適化問題の自由度を制限するという点からも理解できること。こないだスパースモデリングだったら一般向けにもウケるということがわかったし、こういう数理最適化の面白さをもっと大衆的に知れる機会は作りたいよなあ。
  • 今日も今日とて論文執筆を進めていたのですが、3週間前に意気揚々と終わらせたつもりになっていた証明が普通に間違ってて笑った。今日はこれの修正に時間を費やしてしまいました。まあ休日なので良しです。

2020/01/04 (Sat.)

  • 休日だけどついつい作業してしまっている。まあ論文書くこと自体は作業ゲーであまりエネルギーを消費しないので良いんですが。5ページ半ほど埋まっているので、このペースで目標あと3日くらいで埋めてしまいたいな。
  • 気づいたらアメリカとイランの緊張状態がかなり高まってて怖い。いくら田舎町とは言えども、ちょっとアメリカにいるので全く他人事ではないな。

2020/01/02 (Thu.)

  • あけましておめでとうございます。年越しは知り合いPh.D. & ポスドクでウイスキーを飲んでいました。
  • 大晦日と元日は思い切りだらけてて（酒のんでアニメ観てた）、今日から少し研究を再開しました。本当は年末までに終わらせたかった証明を持ち越してしまったので、今日はそれをちまちまやっていたら出来たような気がする。まあまだ走り書きの雑証明なので本当に正しいのか自信はないですが、とりあえず明日から論文執筆を開始しようかな。地味にあまり時間がなくなってきたし。
  • ある関数がquasi-concaveであることの証明、今までは（一般化）Jensenの不等式（i.e. quasi-concavityの定義）を示すかレベルセットの凸性を示すかのどちらかしか知らなかったけど、convex functionの劣勾配がmonotone operatorであるのを拡張して、quasi-convex functionの劣勾配がquasi-monotone operatorであること（これはif and only if）を利用した証明方法もあるということを学んだ。余談ですが、劣勾配は汎関数として扱うことができるので、様々な性質の特徴づけが関数解析のツールを使って行われているらしい。文脈忘れたけど今日もどこかでHahn-Banach's Theoremを見かけた。2年前に関数解析の講義をとったけど、もう何も覚えてないなあ。いま自分の中ではgeneralized convex analysisが盛り上がっているので、この期にもう一度勉強を（しないだろうなあ、優先度の問題で、、）
  • 新年の抱負とか掲げておいたほうが良いのかもしれないけど、あんまりパッと思い浮かびません。博士課程終了の目処をつけることと、肉体的精神的健康を保つ、の2つくらいでしょうか。