【深層学習】XLNet 前編 - BERT の事前学習を工夫して強くなりました【ディープラーニングの世界vol.34-1】#114 #VRアカデミア #DeepLearning

高評価: 128件

再生: 5,455回

公開日: 2021年9月10日

単語の順序入れ替えを行う Permutation Language Modeling を利用して BERT の事前学習を行い、性能を飛躍的に向上させた XLNet の紹介です。
勘違いしている方も多いかもしれませんが、モデルとしては BERT (+α) であって、推論時は並べ替えしません。事前学習のときだけ並び替えるのです。

▼関連動画
後編 → https://youtu.be/tG-WI9qMluE
Transformer の動画はこちら！ https://www.youtube.com/watch?v=50XvMaWhiTY
忙しい人向け → https://www.youtube.com/watch?v=FFoLqib6u-0
BERT → https://www.youtube.com/watch?v=IaTCGRL41_k

Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼参考文献
Yang, Zhilin, et al. "Xlnet: Generalized autoregressive pretraining for language understanding." Advances in neural information processing systems 32 (2019).
https://proceedings.neurips.cc/paper/2019/file/dc6a7e655d7e5840e66733e9ee67cc69-Paper.pdf
原論文！
私は、「事前学習とファインチューニングのモデルが別だよ！」ってことをわからずに読んでめっちゃ混乱したのですが、この動画の後読んだら結構すらすら内容が入るのではないかと思います。

zihangdai/xlnet: XLNet: Generalized Autoregressive Pretraining for Language Understanding
https://github.com/zihangdai/xlnet
著者による実装！
動画作成にあたってかなり実装を確認しました。この実装準拠です。

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )