DeepLearning - おべんきょうwiki

Deep Learning

日本語だと「深層学習」．
ニューラルネットワークベースの手法．
非常に強力な識別器であり，もうあいつひとりでいいんじゃないかな状態．

何がすごいのか

従来だと，識別器の設計は

• 人間が適当な特徴検出を考える
• 検出された特徴量を適当な次元のベクトルになおす
• その特徴量を数学的に適当に分割する

という形で行われてきていた．

ところがDeep Learningだと，

• 特徴検出も特徴ベクトルも空間分割も自動でできる
• しかも高性能

というところがすごい．

構造

多層ニューラルネットワーク．
Pre Training (事前学習)とFine Tuningの二段階で学習を行う．
事前学習では教師なし学習を各層で行い，特徴抽出を行う．
Fine Tuningでは教師あり学習を全体について行い，識別器としての構成を行う．

事前学習

特徴抽出を行うため，各層において教師なし学習を行う．
主に2つの手法が用いられる．

• RBM: Restricted Boltzmann Machine (制限付きボルツマンマシン)
• AutoEncoder

ツール

Pylearn2

https://github.com/lisa-lab/pylearn2

インストールがなかなかめんどくさい．
Theanoというライブラリに依存しているため，インストールする必要があるが
開発版を入れる必要がある．

pip install --upgrade --no-deps git+git://github.com/Theano/Theano.git

また，ipythonのバージョンが古いとnotebookが動かないが，
対象としているバージョンは開発版だったりする．

Caffe

http://caffe.berkeleyvision.org/

https://github.com/BVLC/caffe

参考資料

あまりにも衝撃的だったためいろいろな人がいろいろな解説を書いている．

一般向けのDeep Learning - SlideShare
http://www.slideshare.net/pfi/deep-learning-22350063

実装ディープラーニング
http://www.slideshare.net/yurieoka37/ss-28152060