【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning
高評価: 405件
再生: 14,973回
公開日: 2021年12月24日
GPT-3 全部解説します!
①概要編 ← 今日はここ!(の前半) モデルについて!
②限界 & 研究テーマ編
③社会的影響編次回:Zero-Shot, One-Shot, Few-Shot の原理、背景と性能です!
▼参考文献
Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
https://arxiv.org/abs/2005.14165
原論文! 濃厚! 超長いです。
読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、(笑)【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています▼目次
00:00 OP
01:27 1.GPT-3とは
05:34 2.モデルとデータ
11:59 Sparse Transformer とは何か?
16:25 GPT-3のモデル全体像▼終わりに
ご視聴ありがとうございました!
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ!
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )
説明文の続きを見る
Deep Learning の世界
- 【深層学習】ディープラーニングとは関数近似器である【ディープラーニングの世界 vol. 1 】 #050 #VRアカデミア #DeepLearning
- 【深層学習】学習 - なぜ必要なのか?何をするのか?【ディープラーニングの世界 vol. 2 】 #052 #VRアカデミア #DeepLearning
- 【深層学習】関数 - なぜ「深さ」が AI を生み出しているのか?【ディープラーニングの世界 vol. 3 】 #054 #VRアカデミア #DeepLearning
- 【深層学習】全結合層 - それはいちばん大事な部品のお話【ディープラーニングの世界 vol. 4 】 #055 #VRアカデミア #DeepLearning
- 【深層学習】畳み込み層の本当の意味、あなたは説明できますか?【ディープラーニングの世界 vol. 5 】 #057 #VRアカデミア #DeepLearning
- 【深層学習】プーリング層 - シンプルだけど大きな役割を担う層【ディープラーニングの世界 vol. 6 】 #058 #VRアカデミア #DeepLearning
- 【深層学習】CNN 実装してみた【ディープラーニングの世界 vol. 7 】 #059 #VRアカデミア #DeepLearning
- 【深層学習】RNN の意味を徹底解説!【ディープラーニングの世界 vol. 8 】 #062 #VRアカデミア #DeepLearning
- 【深層学習】RNN の3通りの使い方 - RNN の混乱ポイントを倒す!【ディープラーニングの世界 vol. 9 】 #064 #VRアカデミア #DeepLearning
- 【深層学習】GRU - RNN に記憶をもたせる試みその1【ディープラーニングの世界 vol. 10 】 #066 #VRアカデミア #DeepLearning #GatedRecurrentUnit
- 【深層学習】LSTM - RNN に記憶をもたせる試みその2【ディープラーニングの世界 vol. 11 】 #067 #VRアカデミア #DeepLearning
- 【深層学習】bi-LSTM - 前後の文脈を利用する Recurrent layer【ディープラーニングの世界 vol. 12 】 #070 #VRアカデミア #DeepLearning
- 【深層学習】CNN紹介 "LeNet" 1990年代に活躍したCNN【ディープラーニングの世界 vol. 13 】 #076 #VRアカデミア #DeepLearning
- 【深層学習】CNN紹介 "AlexNet" 2012年に登場し、画像処理に革命を起こしたモデル【ディープラーニングの世界 vol. 14 】 #077 #VRアカデミア #DeepLearning
- 【深層学習】CNN紹介 "GoogLeNet" ILSVRC2014をInceptionで制したモデル【ディープラーニングの世界 vol. 15】#078 #VRアカデミア #DeepLearning
- 【深層学習】 CNN 紹介 "VGGNet" シンプルで強い転移学習の味方【ディープラーニングの世界 vol. 16】#079 #VRアカデミア #DeepLearning
- 【深層学習】 CNN 紹介 "ResNet" 言わずとしれた CNN の標準技術が登場!【ディープラーニングの世界 vol. 17】#080 #VRアカデミア #DeepLearning
- 【深層学習】 CNN 紹介 "Xception" 大胆仮説でパラメタ削減と汎化を達成【ディープラーニングの世界 vol. 18】#081 #VRアカデミア #DeepLearning
- 【深層学習】SENet - 「圧縮興奮機構」による性能向上【ディープラーニングの世界 vol. 19】#082 #VRアカデミア #DeepLearning
- 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
- 【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】#089 #VRアカデミア #DeepLearning
- 【深層学習】word2vec の数理 - なぜ単語の計算が可能なのか【ディープラーニングの世界 vol. 22】#090 #VRアカデミア #DeepLearning
- 【深層学習】doc2vec - 文章の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 23】#093 #VRアカデミア #DeepLearning
- 【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning
- 【深層学習】fasttext - 単語の内部構造を利用した版 word2vec 【ディープラーニングの世界 vol. 25】#097 #VRアカデミア #DeepLearning
- 【深層学習】GNMT - Google翻訳の中身を解説!(2016)【ディープラーニングの世界 vol. 26】#103 #VRアカデミア #DeepLearning
- 【深層学習】SCDV - 文章ベクトルをソフトクラスタとスパース化で精度アップ!【ディープラーニングの世界 vol. 27】#104 #VRアカデミア #DeepLearning
- 【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning
- 【深層学習】忙しい人のための Transformer と Multi-Head Attention【ディープラーニングの世界 vol.29 】#107 #VRアカデミア #DeepLearning
- 【深層学習】ELMo - 複数粒度の文脈情報を持つ単語ベクトルで広範囲のタスク性能改善【ディープラーニングの世界vol.30】#108 #VRアカデミア #DeepLearning
- 【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning
- 【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning
- 【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning
- 【深層学習】XLNet 前編 - BERT の事前学習を工夫して強くなりました【ディープラーニングの世界vol.34-1】#114 #VRアカデミア #DeepLearning
- 【深層学習】XLNet 後編 - 事前学習と推論時のモデルの違いを押さえよう【ディープラーニングの世界vol.34-2】#115 #VRアカデミア #DeepLearning
- 【深層学習】RoBERTa - データと学習方法だけで XLNet を超えたモデル【ディープラーニングの世界vol.35】#118 #VRアカデミア #DeepLearning
- 【深層学習】ALBERT - BERT の軽量版!Multi-Head Attention の新たな可能性【ディープラーニングの世界vol.36】#119 #VRアカデミア #DeepLearning
- 【深層学習】T5 - 入出力をテキストにする Transformer の新利用法【ディープラーニングの世界vol.37】#122 #VRアカデミア #DeepLearning
- 【深層学習】Scaling Law - 大きい Transformer は強い【ディープラーニングの世界vol.38】#123 #VRアカデミア #DeepLearning
- 【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning
- 【深層学習】GPT-3 ①-2 追加学習なしでタスクに対応する仕組み【ディープラーニングの世界vol.39-2】#125 #VRアカデミア #DeepLearning
- 【深層学習】GPT-3 ② 限界と今後の研究テーマ【ディープラーニングの世界vol.40】#126 #VRアカデミア #DeepLearning
- 【深層学習】GPT-3 ③ 社会的影響編 - AIを誤用しないために【ディープラーニングの世界vol.41】#127 #VRアカデミア #DeepLearning
人気のチャンネル
予備校のノリで学ぶ「大学の数学・物理」
予備校のノリで学ぶ「大学の数学・物理」のチャンネルでは主に ①大学講座:大学レベルの理系科目 ②高校講座:受験レベルの理系科目 の授業動画を...
1,050,000人
286本
68,317,350回
1,361,793件
【簿記系YouTuber?】ふくしままさゆき
おかげさまで簿記学習系ダントツ1位! ✅簿記3級講義すべて ✅簿記2級工業簿記講義すべて ✅簿記2級商業簿記講義45本中31本 を無料公開!...
397,000人
128本
31,592,000回
432,149件
PASSLABO in 東大医学部発「朝10分」の受験勉強cafe
令和元年5月1日から動画投稿を開始しました! PASSLABO in 東大医学部発「朝10分」の受験勉強cafe ~~~~~~~~~~~~...
325,000人
919本
81,325,741回
1,684,543件