【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning

高評価: 396件

再生: 13,798回

公開日: 2021年8月27日

超自然な文章を生成できることが話題になり、一時は公開が見送られていた言語モデルである GPT-2 の紹介です。
社会的なセンセーショナルさとは距離をおいて、どういうモデルで、どういうタスクを、どうやって解いたのか、何がすごいのかをお届けします！

▼関連動画
Transformer の動画はこちら！ https://www.youtube.com/watch?v=50XvMaWhiTY
忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0
GPT → https://www.youtube.com/watch?v=wDXPXgn5hX4

Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼参考文献
Radford, Alec, et al. "Language models are unsupervised multitask learners." OpenAI blog 1.8 (2019): 9.
http://www.persagen.com/files/misc/radford2019language.pdf
原論文！
世間では「巨大言語モデルを巨大データで学習して AI すげー！」って騒がれましたが、裏には考え抜かれた緻密な設計と努力があります。
AI を作る側の私達としては、一度読んでおくと、華々しい成果の裏に何があるのかが知れていいんじゃないかなーなんて思います。

He, Kaiming, et al. "Identity mappings in deep residual networks." European conference on computer vision. Springer, Cham, 2016.
https://link.springer.com/chapter/10.1007/978-3-319-46493-0_38
Residual Connection は勾配消失対策だけじゃなくて、恒等写像学習のアイテムでもあるのです。
その哲学で書かれている論文。私は好きです。
その哲学を解説した ResNet の動画はこちら → https://www.youtube.com/watch?v=WslQrSO94qE

Reddy, Siva, Danqi Chen, and Christopher D. Manning. "Coqa: A conversational question answering challenge." Transactions of the Association for Computational Linguistics 7 (2019): 249-266.
https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00266/43511/CoQA-A-Conversational-Question-Answering-Challenge
タスクの1つ、CoQAのデータセットの論文です。TOEIC的な問題を集めているのですが、これが深層学習モデルに解けるのはすごい。
パラパラ眺めるだけでもイメージついていいと思います！

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======

Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )