Random thoughts in Japanese. All optinions are my own.

2019/10/31 (Thu.)

  • いつの間にか10月が終わろうとしている。一時帰国までの期間の半分を経過しているのか。日本に帰りたい気持ちはあるけど、進捗を鑑みると微妙な気持ちになる。
  • やはり研究はそんなにうまくいかない。本当にいまの問題に取り組み続けて良いのか自信が持てない。「このアプローチでいけば解けるんじゃ？」という期待感と、このまま何も結果が出なかったらどうしようという不安と、こんな見るからに面倒な計算やりたくねえという倦怠感が入り混じっている。まあそんなもの。
  • 気休めの一つの目標として、最終帰国までにSteinwart (2007)の理解を深めるというのはアリな気がしている。Clayもこれはかなり苦労して読んだと言っているし、理解している人が近くにいる間に質問して理解しておくのは筋が良さそう。
  • 理論の共同プロジェクトの進め方がいまだにわからないので、逆に相手の持っている知識を盗んで帰れればそれでオッケー、くらいのスタンスのほうがよいのかもしれない。

2019/10/30 (Wed.)

  • 今日は諸用でデトロイトへ。ミシガン大学にもデトロイトキャンパスがある関係上で大学運営のバスがあってそれに乗ったのだけど、「本当にここが到着地なの？？」と言いたくなるような、廃墟の真ん中に降ろされてかなり戸惑った。
  • 最も中心のダウンタウンは高層ビルが立ち並ぶエリアで普通の大都市みたいな感じ。対岸のカナダとの水底トンネルの出入り口もある。のだけど、一歩離れた途端に廃墟・空地が乱立。伊達に3分の1の建物が廃墟と言われているわけではない。
  • 同様に危険危険と言われているボルチモアに4年前に行ったときはそこまででもなかっただけに、デトロイトの異常な空気感は否定できなかった。さすがの脳天気な自分でも本能的に緊張感が解けなかった。

2019/10/29 (Tue.)

  • 自己内省週間にはいってしまった。何してても気づいたら内省してるモード。
  • 本日のテーマは、他人を傷つけたときに自分が嫌なのは「他人が傷ついた事実」なのか「他人を傷つけた自分」のどちらなのか、です。
  • 後者は「他人を傷つけない自分」という自己理想の裏返しとしての自己嫌悪で空虚なので、前者であってほしい。けれど、本音はなんとなく後者な気がして、とても悲しい。
  • 言語化している最中に思ったけれど、メタ的にはこうやって内省していることすらも結局自己満足の追求でしかないんだよなあ。そう考えると内省自体が非常に取るに足らない行為に思えてきた。どれだけ内省して自傷したとしても、それってただの自己満足じゃん。
  • あれ、これって結構本質なのでは、、、こんなことやめてしまえ。

2019/10/28 (Mon.)

  • また自分のちっぽけなプライドを守るためにつまらないことをしてしまった、、、いつになったらやめられるんだろう。
  • こんなものを守ったところで自己満足でしかないし、他の誰の得にもならない。そんなことは頭ではわかってるのにな。
  • 余裕を失った自分が咄嗟に優先順位を履き違えた行為をしてしまう恐怖が拭えない。それを鑑みるとまだ精神的余裕が足りてないんだろうなあ。

2019/10/26 (Sat.)

  • すごく久しぶりに人間関係のちょっとしたトラブルが発生してしまった。なんかこう、スリップ玉突き事故が起こってしまった感じのタイプの。結果的に示談が成立したのでほっとしたけど、一筋縄ではいかなかったな。
  • 玉突きって自分の前後の人は見えるけど、それより前後の人は見えないから、つい自分の見える範囲で物事を考えてしまう。あとから事故の全容を振り返ると、当事者目線だったがために失敗だったな〜と思う局面がある。教訓とするなら、もう一歩二歩先まで見て、推し量るくらいの冷静さが必要だったなと思いました。
  • 思い返せば最近はなかなかこういうトラブルがなかったもので、学部生のとき以来だろうか。まああの頃の方はなかなか事故り度高かったけど。こういう話が少ない世界に辿り着けているのは喜ばしいことだけど、逆説的に事故処理能力が衰えているので難しいですね。
  • いや、当時も果たして十分な事故処理能力があったのか、、、？（迷宮入り）

2019/10/25 (Fri.)

  • Ann Arborについてから約10日経った。僻地かと思われた北部キャンパスも、5分間隔くらいで街との無料連絡バスが出てるし、そこそこ美味しくて安いカフェテリアがいくつもあったり、コーヒーも手軽に買えるので、生活環境としては悪くない。だんだん居心地良くなってきた。こもれる。
  • そういえばTewari先生もU-Michにいらっしゃることを失念していた。U-Michすごいな。せっかくこんなに近くにいるのだから、近いうちに話を聞いてもらいにいこうかな。
  • 研究はちょっぴり進んでいる。思いつきだったけどETUはやっぱり役に立つかもしれない。こんなマイナーな先行研究（失礼極まりない）がこんな形で役に立つとは、やはり研究して論文に残しておくと後世の誰かのためになるものだな。
  • 週末どこか遊びにいきたいけど、10月〜11月はお金がカツカツなのでAnn Arborにこもってるかなあ。滞在中にシカゴとナイアガラフォールズには遊びにいってみたいな。カナダビザとれたらナイアガラフォールズのついでにトロントもいけそうだな。

2019/10/22 (Tue.)

  • 今週はいまのところ約10時間/日ほど作業している。体が活動限界を訴えている。帰ってすぐに2時間くらい寝落ちしてるけど、作業内容的な満足度は高い。
  • ここのところ東京では落ち着いて論文を読めなかったので、腰を据えて今まで読みたかった積ん読を消化していると、新たな学びが本当に多い。たとえばZhang先生のcalibration analysis。Theorem 2.2にconditional regretと、class-posterior間のBregman divergenceが関連付けられている。regret最小化がCPEとしても見なせる。後続のproper composite lossの議論はここに端を発していたのか、と納得。
  • 他にもETU vs. PUの論文もちゃんと読むなどした。ETUにおけるutilityの推定の考え方とか、Taylor展開を使った期待値の近似など、これも自分の発想にない新たな学びが得られた。あとはisotonic regressionがclass-posteriorのcalibrationに使えることとか。直感が得られなくもないけど割と結構不思議なので（i.e. 本当にconsistentなのか）、折を見て元論文も追いたい。この論文、知ってからおよそ1年、正直ちんぷんかんぷんだったんだけど、じわじわ理解が生えてきた。

2019/10/19 (Sat.)

  • 時差ボケがなおらず眠いです。日中図書館や学生ラウンジで2時間くらい昼寝してた。
  • 散歩してたら偶然Chick Corea Trilogyが大学講堂でライブをするのを見つけたので、その場ですぐチケットを買って観に行きました。久々のLa FiestaやFingerprintsだ。聞くのはもう3年前のBlue Note Tokyo振りかなあ。講堂がまじで大きくて、ここは東京国際フォーラム大ホールかよ、とツッコみたくなるサイズだった。
  • 某会議、相変わらずひどいな・・・。4人査読者がついて3人が3行コメントとは・・・（まあこれはサブミッション側にも非があるのは否めませんが）

2019/10/18 (Fri.)

  • 今日はClayの学生に誘われて定例の統計専攻セミナーを聴講した。Genevera Allenの講演で、主にmulti-viewなデータ解析の話。正直なところmulti-viewを今まであまり面白いと感じたことはなかったんだけど、スパース推定と組み合わせる話はかなり面白かった。各々のviewでスケールやS/N比が異なるので、そのままでは特定のviewのサポートばかり復元されてしまうfalse discoveryみたいなことが問題としてあるとか、その発想はなかった。最近出たプレプリントの話。
  • その後はClayの学生とdomain adaptationについてディスカッションしてた。UDAの問題意識は喋る前からかなり共有されているので話はとても速く、向こうもすごくいろいろなアイデアを持っていて終始舌を巻いてた。UDAの本質的な難しさ（labeling ruleの距離の推定）を、なんとbanditで解決するとか。聞いててすごく面白い。
  • あとは、Clayからも僕の研究を使った新ネタが降ってきたりした。ほんとにびっくり。着眼点が鋭くて、僕も読んでた論文を元にしているのに思い至らなかった。これもかなり面白い。
  • まだ2、3日とかだけど、とにかく人のレベルにびっくりする。それに、自主ゼミとか招待講演に対する大学側のサポートもどうやら豊富っぽい（i.e. 食べ物とかコーヒーとか出してくれる）ので、Ph.D.学生間の交流が盛んそう。いいなあ。
  • うん、いまのところ来て間違いではなかったことは確信してきた。大学生活で一度くらい海外の大学で生活してみる経験をするのは、やっぱり多様なカルチャーの存在を認識できる点においてとても良い。なにせ7年間ずっと弊学にこもっていたからなあ。

2019/10/17 (Thu.)

  • ついにClayと会った！これまで散々読んできた論文の著者とこうして話をして、自分の研究を紹介して、ツッコミや提案を受けたりするのは、研究者界隈にいる中でも最もエキサイティングな瞬間の一つだと思う。
  • 今は学生が3人しかいない（！）らしいのだけれど、domain adaptationやloss functionなど、やはり似たような方向性に興味を持っているようなので、滞在中にお喋りするのが楽しみ。輪読にもお邪魔させてもらったけど、今日は安定のVershynin先生のlecture noteだった。
  • いよいよミシガンの生活が始まったなあという感じ。生活も安定してきたので、来る前に比べてずいぶんとワクワクしている。研究するぞ。

2019/10/16 (Wed.)

  • Ann Arborでの最初の1日を終えました。ご飯はべらぼうに高いわけでもないし、学生はバスに乗り放題だし、本部キャンパスの近くであれば必要なお店が固まってるので、住心地は悪くないですね。寒いことを除けば。。
  • EECSは周りに何もない僻地の北部キャンパスにあるので不安だったけど、EECSの建物自体の設備は（少なくとも弊学理学部7号館よりは圧倒的に）良かったし、近隣の建物にカフェやレストラン、購買もあるので、生きていけそう。あと、下宿や本部キャンパスから無料のバスで20分かからないくらいなので、アクセスの面からも割と悪くない感じ。
  • 駒場祭で喋る用にLASSOの勉強をちゃんとしているけど、統計と最適化の両面において学びが多い。たとえば、
    • スパースモデリングの動機: 不良設定問題を良設定化する / バイアス導入による分散低減（正則化） / 解釈性
    • L1正則化の理由: 凸最適化かつスパース正則化を満たす唯一のノルム（Lp正則化はp ≥ 1でconvex、0 ≤ p ≤ 1でスパース化）
    • L1ノルムは各点で微分可能ではないので勾配法は使えない → 劣勾配法 = L1ノルムに対する近接勾配法
      • とかとか。他にもまだ勉強中だけど、推定誤差解析やパラメータ復元可能性に関する議論も面白そうです。ちなみに安定のHastie, Tibshirani & Wainwrightを読んでいる。
  • 機械学習の研究をはじめたときに一番やりたかったのが少量データからの推論だった（卒論時で諦めた）ので、原点に立ち返ってスパース推論を研究に絡めるのもありだなあ。風呂敷を広げすぎるのはよくないのだけれど。

2019/10/15 (Tue.)

  • Ann Arborについた！日本よりも13時間遅いため、とてもとても長い1日でした。
  • 明日はとりあえず学生登録の手続きをするけれど、いまのところ教授と会う約束がまだちゃんとできていないので、根無し草になっている。ちゃんと根を下ろすまでの間に感じる、えもいわれぬ不安。
  • 創作活動的側面としての研究を1ヶ月半ほどできていない（夏休みの間に差分プライバシーをいじっていたのが最後）ので、そろそろ復帰して創作に集中したい。夏休みのときに手を動かしていたときを思い返すとちょっとワクワクしてきたので、やっぱりこの稼業が好きなんだろうなあ。

2019/10/14 (Mon.)

  • この1、2週間、たくさんの人たちに声をかけてもらって送別会をしてもらえました。うれしい。
  • 日常生活ではどちらかというと無感動気味だと思うのですが、いざ4ヶ月渡米するんだと考え込むと自分も結構手放せない大切な関係を築いてきたんだなと、じーんとなる。
  • 2週間前にようやくビザを手にしたり、10日前まで大家に連絡につかなかったり、前日までクレカの上限のせいで家賃が払えてなかったり、無計画無鉄砲なのは相変わらず（どうにかしたい）だけれど、今のところなんとか飛べそうな雰囲気です。心配かけてかたじけない。
  • そういうわけで、たぶん日本のほとんどの人たちとは年内は会えない気がしますので、来年も良い年をお過ごしくださいませ。

2019/10/10 (Thu.)

  • 先月のパリ訪問ぶりに最適輸送のゴッドとまた会いました。京都に来るらしいとの話を聞きつけて日帰り出張です。
  • ゴッドは最新作の紹介をしていたのですが、さすがベテランなだけあってトークがうまい。
  • 実は昨日同じ論文を研究室の論文読み会で紹介したときは全然うまく紹介できなかったのだけれど、何が違うのかなと考えたところ、
    • 最適輸送の導入が巧み。輸送のイメージ図がうまい。輸送元/先のmassの位置と量が登場するのでnotationがこんがらがりがちだけど、そのへんがクリア。
    • アルゴリズムの直感がわかりやすい。たとえば実数軸上の輸送はleft-mostをleft-mostに動かすんだとか、quantileの差を積分する話もアニメーションを使って説明したりだとか、直感的に理解しやすい喋り方をしている。ソートと最適輸送の関係も、数式ではなく実数軸上の輸送のアニメーションだけで説明していた。
    • メリット・デメリットを明示する。最適輸送自体はLPだったりするので計算量がclassicalなソートに比べてだいぶ重いとか、エントロピー正則化を強くしすぎるとソート結果がcollapseするとか、ハイパーパラメータに恣意性があって現時点では良い選び方がないだとか、そういうぶっちゃけ話も出ている。論文には書かれていないので、事前に読んでいたにもかかわらず新鮮だった。
    あたりか。逆にSinkhornあたりの話は時間切れで微妙な感じだったけど、まあしょうがないか。
  • Sinkhorn-sortってひょっとしてclassificationにおいてclassicalなsurrogate lossに代わる良いapproximationを提供する可能性があるのではないか。Sinkhornの近似保証について勉強する価値がありそうだな、と感じている。
  • 台風のタイミング悪すぎです。。。

2019/10/09 (Wed.)

  • サブミットしました。おつかれさまでした。
  • 最後の1ヶ月で結構アルゴリズム的に面白い感じになったので嬉しい。分数形の目的関数のquasi-concave optimizationはまだまだ使えるところが多そう。
  • 締め切りをこえたので、4ヶ月前から貯蔵していたBrewdogのBlack Eyed Kingをあけました。注いだ瞬間の黒々しい色、チョコレートとコーヒーと強めのハーブが入り混じった印象的な味、さすが350ml缶で2000円するだけはある。納得の味と満足感でした。
  • 解放感からかすごく眠い。今日は安眠できそうです。

2019/10/08 (Tue.)

  • 締め切り前日からはじめるTikz入門でした。昔は全然使いこなせなくて諦めたけど、粘ると案外2、3時間で所与の図が描けますね。
  • 最近まわりからプレゼンテーションを褒められる機会が多くて大層光栄なのです。発表資料の作り方や論文の体裁などには自分なりの努力とこだわりがあるので、ブログとかにまとめてみたいですね（絶対先延ばしするやつ）
  • というわけで、とりあえず論をサブミットした。明朝に頭スッキリさせた状態でもう一度校正して終わりかな。

2019/10/07 (Mon.)

  • 渡米前にやるべきことはほとんど終わったような気がする。あとは論文さえ投稿すれば。
  • くう〜もっと前から投稿の準備をしていればもっと心に余裕があったんだけれど。人間は何度繰り返しても学習できない動物です。
  • 渡米直前の連休に台風が直撃するのサイアクなんですけど。。

2019/10/05 (Sat.)

  • 20代も半ばになると、家庭とか子育てがいかに難しかったのかまざまざと見せつけられることが多い今日この頃。
  • 落ち着いて客観的に見ると、過度に面倒見の良い家庭は（悪い意味での）親子の共依存関係を産み出しかねず、社会から孤立してしまうのではないか。
  • 親だって子だってどれだけ血がつながっていても一人の人間でしかないわけだし、社会動物である手前、各々家庭だけでなく自分の所属するべき社会に所属することを怠らぬよう努めなければならないのではないか。
  • 残念ながら傍人である僕にできることは少ない。

2019/10/04 (Fri.)

  • 自分のキャパに見合ってない量の仕事を自分で抱え込みにいってる人を見るとすごくイラッとする。最近身近にそういう人が増えつつある気がする。
  • ただ、イラッとする最大の原因はおそらく同族嫌悪に近い感情な気がする。自分がそもそもギリギリで生きているため、似たような人を見ると自己批判の延長で嫌悪感を抱いているように感じる。
  • そして、そういう余裕のない人たちが生まれている大きな原因のひとつは、過度な競争じゃないでしょうか。あなたはその競争に身を任せることで本当にやりたかったことができていますか？幸せになれていますか？
  • 以上、本日の自己内省でした。余裕をもって生きていきたいねえ。

2019/10/02 (Wed.)

  • 今週入ってから仕事の調子を取り戻せつつある。今日は実験のうまい設定をみつけたり、完全に間違っていた証明の穴を塞ぐなど、なかなか進捗が出て精神衛生が良い。ワークライフバランスはやはり大事ですね。最近は「ライフ」をしすぎたので「ワーク」に少し重心を置くことでバランスを取るべきなのです。
  • 「差分プライバシーは数学者のおもちゃ」という主張があるわけですが、自分なりに腑に落ちる主張を確立できた気がする。曰く、たしかに差分プライバシーの定義自体が現実的かどうか検証のしようもなく、その上に蓄積された理論の数々が実世界において意義をもつかには疑問符がつくという点に関しては賛同できる一方で、現実的にはプライバシーの法整備も非常に穴が多く、技術者も行政側もどうすればいいのかお互いに検討がついていない。そんな状況下で我々がやるべきであろうことは、「現時点でどのような仮定の下でどれくらいのプライバシーを達成できるか」という要素技術をできるだけ積み上げておいて、後世の人間がそれらを参照して適切に社会設計できるように解釈可能な形で広める・残しておくことではないかと思うのです。
  • これはプライバシーの話に限らず、いかなる研究ごとにおいてもそうじゃないでしょうか。自分の生み出した技術がどこでどのように使われるかなんて誰にもわからないから、自分が意義を感じた技術はアクセス可能な形で残しておくべきなのです。他の誰が批判をしようとも。理論物理なんてあまりにも進みすぎていて、実験物理では100年前の理論しか検証できないらしいとも聞くし、そんなものじゃないですかね。

2019/10/01 (Tue.)

  • その1: 本日はいろいろなdisについ興じてしまったので反省している。程度問題だけど、あまりにも特定の対象を揶揄しすぎると良くない雰囲気を醸成してしまう（集団の思想を良くない方向に捻じ曲げてしまう）。今日はやりすぎた。
  • その2: 自分は本質的にあまり他人とじっくり関わることに熱心になれないタイプなのではないかと思い始めた。個別事象だけど、例えば人の話を親身に聞いているように見えて実はうわの空だったりとか、後輩指導でも適当なところで切り上げようとしたりとか。他人と関わること自体は好きなんだけど、自分のリソースを食われるのが嫌なのだろうか。これはあまり良くない傾向な気がしてきたので、なにか改善策を考えたいなあ。