本記事は Rust Advent Calendar 2016 10日目の記事です。 Rust Advent Calendar 2016 へ多くの方にご参加いただき、（一応）主催者としては嬉しい限りです。 遅くなってしまいましたが、この場を借りてお礼を申し上げます。 今回は Rust 製の汎用機械学習ラ…

前回は状態空間モデルにおける変分下限を導出した。 この関数をパラメータ について微分可能にするために必要な認識モデル への制約を考えることが今回の目標である。 いよいよ深層学習っぽい話になると期待している。

…さて、ここからが本題。 同じ著者による新しい論文がアップロードされていたので、こちらも適宜参照しながら読み進めていく。 [1609.09869] Structured Inference Networks for Nonlinear State Space Models

今回は変分自己符号化器 (VAE) における確率勾配変分ベイズ (SGVB) の説明。 なお、SGVB 自体の説明は本家の論文、および以下のものを参考にしたのでそちらも参照されたい。 正直、下の資料さえあれば今回の内容は飛ばしても良い気もするが、一応まとめてお…

昨日の続き。 と言いつつ、昨日の内容についてはおろかその他もろもろの理解が不十分だったことに気づいたため、そのあたりを復習しつつ読み進めてる。 そのため、本題に入る前に大幅に脱線するので注意されたい（自然消滅しないよう頑張ります）。

文献: [1511.05121] Deep Kalman Filters の感想 + 学習メモ。 流し読みしてみた感じそこまで難しいことはしてなさそうだったので、RNN の勉強がてら読んでみてる。 参考文献 深層カルマンフィルタ関連 Deep Kalman Filters (Krishnan, Shalit and Sontag, 2…

前回の続き。 といっても書く気が失せつつあるので一気に準マルコフ決定過程の説明にはいる。 準マルコフ決定過程 準マルコフ決定過程 (semi-Markov decision process; SMDP) とは、簡単に言えば自己遷移における滞在時間 (sojourn time) を考慮したマルコフ…

ここ数ヶ月ぐらい調子が悪い状態が続いていてろくに文章も書けないでいたのだが、急に元気が出てきたので冷めないうちにメモ。 早く回復しないかなぁ… はじめに マルコフ過程 (Markov process) および マルコフ連鎖 (Markov chain) は基本的な確率過程の一つ…