【深層学習】Scaling Law - 大きい Transformer は強い【ディープラーニングの世界vol.38】#123 #VRアカデミア #DeepLearning

高評価: 308件

再生: 9,344回

公開日: 2021年12月10日

大きい Transformer はすごい。もっと大きい Transformer はもっとすごい。
GPT-3 や、近年の巨大言語モデル研究につながる偉大な研究です！
ここまではっきり熱力学的（？）な性質出ると面白いですよね。

▼参考文献
Kaplan, Jared, et al. "Scaling laws for neural language models." arXiv preprint arXiv:2001.08361 (2020).
https://arxiv.org/abs/2001.08361
原論文！！！
グラフがきれい！！！！！見て！！！！！！！！

Scaling Law な小猫遊さん
https://twitter.com/jaguring1/status/1385447598006292488?t=cGEjUp1WsyY1Gh99wsPWcg&s=19
https://twitter.com/jaguring1/status/1413725445166563329?t=m4NAF0mcZeOqYl9rykCYtg&s=19

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼目次
そのうち出すよ！

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======

Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )