第6章 ディープラーニングの手法

「深層学習教科書 ディープラーニング G検定（ジェネラリスト） 公式テキスト」第6章 ディープラーニングの手法

核心部分です。正直、難しい部分です。

キーワードは、
6.1 活性化関数
・tanh(ハイパボリックタンジェント)関数：シグモイド関数を線形変化したもので、シグモイド関数が０から１の範囲をとるのに対して、tanh関数はー１から１の範囲をとるのが特徴である。
・ReLU(Rectified Linear Unit)関数：y=MAX(0,x)
LeakyReLU関数：わずかな傾きをもつ
Parametoric ReLU
Randormized ReLU

6.2 学習率の最適化
勾配降下法：勾配(微分値)に沿っておりていくことで解を探索する手法。
学習率：勾配に沿って一度にどれらけ降りていくかをきめるハイパーパラメータ。
学習(ニューラルネットワークの学習)：勾配降下法を用いて繰り返し計算を行うこと。
局所最適解：見せかけの最適解
大域最適解：本当の最適解
モーメンタム：最適化の進行方向に学習を加速させることで学習の停滞を防ぐ手法（物理でいう慣性の考え方を適用）。
Adagrad、Adadelta、RMSprop、Adam：モーメンタムより効率的な手法(古い順)

6.3 更なるテクニック
ドロップアウト：オーバーフィティングを避けるため、学習の際にランダムにニューロンを「ドロップアウト」させるもの。アンサンブル学習を行っている。
early stopping：学習が進み学習を早めに打ち切る。BeaytufUL FREE LUNCH。
ノーフリーランチ定理：あらゆる問題で性能の良い汎用最適戦略は理論上不可能であることを占める定理。
データの正規化：データ全体を調整する処理のこと、各特徴量を０～１の範囲に変換する処理。
標準化：特徴量を標準正規分布に従うように変換する。
白色化：各特徴量を無相関化したうえで標準化するという手法
バッチ正規化：各層で伝わってきたデータを、その層でまた正規化してしまう手法。

6.4 CNN:：畳み込みニューラルネットワーク
畳み込みニューラルネットワーク(CNN)：画像をそのまま2次元で入力に用いることが出来るモデル。
畳み込み(convolution)：カーネルとも呼ばれるフィルタを用いて画像から特徴を抽出する操作
プーリング：決められた演算を行うだけのもの。ダウンサイジングあるいはサブサンプリングともいわれる。
データ拡張：データの「水増し」ともいわれる。手元にあるデータそれぞれに対して、ランダムにいくつかの処理を施して現実的にあり得るデータを再現している。
CNNの発展形：AlexNet、VGG、GoofLeNet
転移学習：学習済みのネットワークを利用して新しいタスクの識別に活用すること

6_5 RNN：リカレントニューラルネットワーク
リカレントニューラルネットワーク(RNN)：時系列データをそのまま入力することができるようにし、データから時間依存性を学習することを可能としたモデル。過去の隠れ層から(現在の隠れ層に対してもつながり(重み)があることが大きな特徴。
LSTM：隠れ層の構造を変えることで同様に問題を解決。
Bidirectional RNN：LSTMを二つ組み合わせることで、未来から過去方向も含めて学習できるようにしたモデル(RNNの発展形)。
RNN Encoder-Decoder：エンコーダとデコーダの二つのLSTMに分かれており、エンコーダが入力データを、デコーダが出力データを受け取ってそれぞれ処理する。
Attention：「時間の重み」をネットワークに組み込んだもの。

6_6 深層強化学習
強化学習：行動を学習する仕組み。ある環境下で、目的とする報酬(スコア)を最大化するためにはどのような行動をとていけばいいかを学習していくこと。一連の行動系列の結果としての報酬を最大とするように学習をする。
AlphaGo（アルファ碁)：状態や行動の評価にCNNを用いている。
AlphaGo Zero：自己対局のみにで学習。

6_7 深層生成モデル
生成モデル：元データがどのような分布になっているかを推測し、その分布に基づいて、元データと同じようなデータを生成する(サンプリングする)ことを目的としたモデル。
深層生成モデル：ディープラーニングを取り入れた生成モデル。
変分オートエンコーダ(Variational AutoEncoder)：VAE、
敵対性生成ネットワーク(Generative Adversarial Network)：GAN

以上