【深層学習】ALBERT - BERT の軽量版！Multi-Head Attention の新たな可能性【ディープラーニングの世界vol.36】#119 #VRアカデミア #DeepLearning

高評価: 154件

再生: 4,503回

公開日: 2021年10月22日

BERT の重みを Transformer block またいで共有したり、 パラメタの多い Embedding を工夫したりなどの工夫で圧倒的に軽量化しています。
Multi-Head Attention が、全レイヤーで同じ重み使っていてもちゃんと動作するというのは、なかなか味わい深い事実だと思います。

パラメタ数の計算に誤りがありました
通常の場合、 E x H は 30,720k, 128,800k と、0が1つ多いです
動画内の誤り一覧 http://bit.ly/error_asp

▼関連動画
Transformer の動画はこちら！ https://www.youtube.com/watch?v=50XvMaWhiTY
忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0
BERT → https://www.youtube.com/watch?v=IaTCGRL41_k

Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼参考文献
Lan, Zhenzhong, et al. "Albert: A lite bert for self-supervised learning of language representations." arXiv preprint arXiv:1909.11942 (2019).
https://arxiv.org/abs/1909.11942
原論文！
今回省略した面白い技法も載っているので、軽量化似興味がある人は是非読んでみよう！

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼目次
00:00 OP
00:28 ALBERTの概要説明
03:58 工夫その①
11:50 工夫その②
16:06 工夫その③
19:31 ED

▼関連動画
Transformer の動画はこちら！ https://www.youtube.com/watch?v=50XvMaWhiTY
忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0
BERT → https://www.youtube.com/watch?v=IaTCGRL41_k

Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼参考文献
Liu, Yinhan, et al. "Roberta: A robustly optimized bert pretraining approach." arXiv preprint arXiv:1907.11692 (2019).
https://arxiv.org/abs/1907.11692
原論文！
やってることが素直でシンプルなので、論文もシンプル。
こういう改善方法を取ると、こういう論文になるのだなと勉強になりました。

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。
AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======

Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )