【深層学習】T5 - 入出力をテキストにする Transformer の新利用法【ディープラーニングの世界vol.37】#122 #VRアカデミア #DeepLearning

高評価: 220件

再生: 6,499回

公開日: 2021年11月26日

入出力をすべて自然言語にすることで、「汎用AI」に近づいたモデルが T5 です。
学習方策の徹底的な比較を通して、Transformer の学習法のベストを探求する内容は是非一読の価値あり！

▼参考文献
Raffel, Colin, et al. "Exploring the limits of transfer learning with a unified text-to-text transformer." arXiv preprint arXiv:1910.10683 (2019).
https://www.jmlr.org/papers/volume21/20-074/20-074.pdf
原論文！
ちょっと（？）長いけど、学習方法の徹底的な比較は圧巻。
これを理解できれば、Transformer は理解できたってことでいいんじゃないでしょうか。

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼目次
00:00 OP
00:33 論文紹介と時代背景
03:33 Text-to-Textとは？
10:32 T5のモデル紹介
13:46 T5による検証結果の紹介

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。
AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )