【特異値分解⑧】ランダム行列と深層学習 - 勾配消失・爆発の原因の1つです！【行列30 ランダム行列と深層学習】 #186 #VRアカデミア #線型代数入門

高評価: 106件

再生: 3,830回

公開日: 2024年10月11日

いよいよ深層学習との関係！
実は、ランダム行列の積の特異値の分布が偏るために、勾配消失・爆発の原因になる場合があります。これの対処に、normalization が効くんですよね～。
これを知っていると、一歩上の理解だと思います！

【プレイリスト】
線型代数基礎シリーズ - YouTube プレイリスト
https://www.youtube.com/playlist?list=PLhDAH9aTfnxKfmufxF59vaZECZJD5j6rd

線型代数つまみぐい - YouTube プレイリスト（実践を通して線型代数を色々見てますー）
https://www.youtube.com/playlist?list=PLhDAH9aTfnxKW4fdRvBu3P3cMPpxSXEu1

【参考文献】
書籍で読みたい方はこちら！
妥協しないデータ分析のための微積分+線形代数入門
https://amzn.to/4gfuWrs

おすすめじゃないラスボス
線形代数の世界―抽象数学の入り口 (大学数学の入門)
https://amzn.to/3MGaIIq

ランダム行列参考文献！最強の本。数学者向け
Free Probability and Random Matrices
https://amzn.to/3zVJ4Wn

ランダム行列の日本語文献もちらほらありますが、どれがおすすめかはわかりません、すみません。

ランダム行列参考文献！論文で出てくるやつ。Normailzation の効果の分析です。多分これが一番簡単
Bjorck, Nils, et al. "Understanding batch normalization." Advances in neural information processing systems 31 (2018).
https://arxiv.org/abs/1806.02375

すんごい深いモデルを学習させる強い論文
The Emergence of Spectral Universality in Deep Networks
https://arxiv.org/abs/1802.09979

【深層学習の参考動画】
https://www.youtube.com/watch?v=SyWwoMpP_P4&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=1 ← 深層学習の動画シリーズの1本目！
https://youtu.be/WslQrSO94qE ← ResNet の動画。昔は深く重ねられなかったのじゃ、、、

【目次】
TBA

【紹介した過去動画】
TBA

【宣伝：本も買ってね！】
データサイエンスに頻出の分析モデルを、全領域、深く、書きあげました！
本質を捉えたデータ分析のための分析モデル入門 https://amzn.to/3Ng0nC7

データ分析に必要な数学を、基礎から最先端まで、過不足なく、数式の気持ちも含めて解説しました！
妥協しないデータ分析のための微積分+線形代数入門
https://amzn.to/3B4y8G4

【宣伝2：クラファンやってるよ！】
活動継続のためのご支援をお願いしています。詳細はこちら！
クラファン（月額）はこちら → https://community.camp-fire.jp/projects/view/709000
（クラファン始めた理由の動画 → https://www.youtube.com/watch?v=vXY34njwL4o ）

【終わりに】
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄や Twitter にどうぞ！
お仕事、コラボのご依頼、インターンの応募は、公式 WebPage や Twitter の DM からお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIbis Solid (妹)

=======

Logo: ChikakoHorioさん ( https://twitter.com/ChikakoHorio )
Model Design by: ばんちょうさん（ https://twitter.com/k_ban_ ）ママ！
3D Model by: キツネツキさん（ https://twitter.com/_kitsune_tsuki_ ）パパ！