Search image

【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning

高評価: 405件

再生: 14,973回

公開日: 2021年12月24日

GPT-3 全部解説します!
①概要編 ← 今日はここ!(の前半) モデルについて!
②限界 & 研究テーマ編
③社会的影響編

次回:Zero-Shot, One-Shot, Few-Shot の原理、背景と性能です!

▼参考文献
Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
https://arxiv.org/abs/2005.14165
原論文! 濃厚! 超長いです。
読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、(笑)

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています

▼目次
00:00 OP
01:27 1.GPT-3とは
05:34 2.モデルとデータ
11:59 Sparse Transformer とは何か?
16:25 GPT-3のモデル全体像

▼終わりに
ご視聴ありがとうございました!
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ!
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。

AIcia Solid Project - Official Website - https://sites.google.com/view/aicia-official/top
動画生成:AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集:AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======

Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )

説明文の続きを見る

UnnamedAIcia Solid Project

SomethingDeep Learning の世界

  1. 【深層学習】ディープラーニングとは関数近似器である【ディープラーニングの世界 vol. 1 】 #050 #VRアカデミア #DeepLearning
  2. 【深層学習】学習 - なぜ必要なのか?何をするのか?【ディープラーニングの世界 vol. 2 】 #052 #VRアカデミア #DeepLearning
  3. 【深層学習】関数 - なぜ「深さ」が AI を生み出しているのか?【ディープラーニングの世界 vol. 3 】 #054 #VRアカデミア #DeepLearning
  4. 【深層学習】全結合層 - それはいちばん大事な部品のお話【ディープラーニングの世界 vol. 4 】 #055 #VRアカデミア #DeepLearning
  5. 【深層学習】畳み込み層の本当の意味、あなたは説明できますか?【ディープラーニングの世界 vol. 5 】 #057 #VRアカデミア #DeepLearning
  6. 【深層学習】プーリング層 - シンプルだけど大きな役割を担う層【ディープラーニングの世界 vol. 6 】 #058 #VRアカデミア #DeepLearning
  7. 【深層学習】CNN 実装してみた【ディープラーニングの世界 vol. 7 】 #059 #VRアカデミア #DeepLearning
  8. 【深層学習】RNN の意味を徹底解説!【ディープラーニングの世界 vol. 8 】 #062 #VRアカデミア #DeepLearning
  9. 【深層学習】RNN の3通りの使い方 - RNN の混乱ポイントを倒す!【ディープラーニングの世界 vol. 9 】 #064 #VRアカデミア #DeepLearning
  10. 【深層学習】GRU - RNN に記憶をもたせる試みその1【ディープラーニングの世界 vol. 10 】 #066 #VRアカデミア #DeepLearning #GatedRecurrentUnit
  11. 【深層学習】LSTM - RNN に記憶をもたせる試みその2【ディープラーニングの世界 vol. 11 】 #067 #VRアカデミア #DeepLearning
  12. 【深層学習】bi-LSTM - 前後の文脈を利用する Recurrent layer【ディープラーニングの世界 vol. 12 】 #070 #VRアカデミア #DeepLearning
  13. 【深層学習】CNN紹介 "LeNet" 1990年代に活躍したCNN【ディープラーニングの世界 vol. 13 】 #076 #VRアカデミア #DeepLearning
  14. 【深層学習】CNN紹介 "AlexNet" 2012年に登場し、画像処理に革命を起こしたモデル【ディープラーニングの世界 vol. 14 】 #077 #VRアカデミア #DeepLearning
  15. 【深層学習】CNN紹介 "GoogLeNet" ILSVRC2014をInceptionで制したモデル【ディープラーニングの世界 vol. 15】#078 #VRアカデミア #DeepLearning
  16. 【深層学習】 CNN 紹介 "VGGNet" シンプルで強い転移学習の味方【ディープラーニングの世界 vol. 16】#079 #VRアカデミア #DeepLearning
  17. 【深層学習】 CNN 紹介 "ResNet" 言わずとしれた CNN の標準技術が登場!【ディープラーニングの世界 vol. 17】#080 #VRアカデミア #DeepLearning
  18. 【深層学習】 CNN 紹介 "Xception" 大胆仮説でパラメタ削減と汎化を達成【ディープラーニングの世界 vol. 18】#081 #VRアカデミア #DeepLearning
  19. 【深層学習】SENet - 「圧縮興奮機構」による性能向上【ディープラーニングの世界 vol. 19】#082 #VRアカデミア #DeepLearning
  20. 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning
  21. 【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】#089 #VRアカデミア #DeepLearning
  22. 【深層学習】word2vec の数理 - なぜ単語の計算が可能なのか【ディープラーニングの世界 vol. 22】#090 #VRアカデミア #DeepLearning
  23. 【深層学習】doc2vec - 文章の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 23】#093 #VRアカデミア #DeepLearning
  24. 【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning
  25. 【深層学習】fasttext - 単語の内部構造を利用した版 word2vec 【ディープラーニングの世界 vol. 25】#097 #VRアカデミア #DeepLearning
  26. 【深層学習】GNMT - Google翻訳の中身を解説!(2016)【ディープラーニングの世界 vol. 26】#103 #VRアカデミア #DeepLearning
  27. 【深層学習】SCDV - 文章ベクトルをソフトクラスタとスパース化で精度アップ!【ディープラーニングの世界 vol. 27】#104 #VRアカデミア #DeepLearning
  28. 【深層学習】Transformer - Multi-Head Attentionを理解してやろうじゃないの【ディープラーニングの世界vol.28】#106 #VRアカデミア #DeepLearning
  29. 【深層学習】忙しい人のための Transformer と Multi-Head Attention【ディープラーニングの世界 vol.29 】#107 #VRアカデミア #DeepLearning
  30. 【深層学習】ELMo - 複数粒度の文脈情報を持つ単語ベクトルで広範囲のタスク性能改善【ディープラーニングの世界vol.30】#108 #VRアカデミア #DeepLearning
  31. 【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】#109 #VRアカデミア #DeepLearning
  32. 【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning
  33. 【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning
  34. 【深層学習】XLNet 前編 - BERT の事前学習を工夫して強くなりました【ディープラーニングの世界vol.34-1】#114 #VRアカデミア #DeepLearning
  35. 【深層学習】XLNet 後編 - 事前学習と推論時のモデルの違いを押さえよう【ディープラーニングの世界vol.34-2】#115 #VRアカデミア #DeepLearning
  36. 【深層学習】RoBERTa - データと学習方法だけで XLNet を超えたモデル【ディープラーニングの世界vol.35】#118 #VRアカデミア #DeepLearning
  37. 【深層学習】ALBERT - BERT の軽量版!Multi-Head Attention の新たな可能性【ディープラーニングの世界vol.36】#119 #VRアカデミア #DeepLearning
  38. 【深層学習】T5 - 入出力をテキストにする Transformer の新利用法【ディープラーニングの世界vol.37】#122 #VRアカデミア #DeepLearning
  39. 【深層学習】Scaling Law - 大きい Transformer は強い【ディープラーニングの世界vol.38】#123 #VRアカデミア #DeepLearning
  40. 【深層学習】GPT-3 ①-1 モデルと Sparse Transformer について【ディープラーニングの世界vol.39】#124 #VRアカデミア #DeepLearning
  41. 【深層学習】GPT-3 ①-2 追加学習なしでタスクに対応する仕組み【ディープラーニングの世界vol.39-2】#125 #VRアカデミア #DeepLearning
  42. 【深層学習】GPT-3 ② 限界と今後の研究テーマ【ディープラーニングの世界vol.40】#126 #VRアカデミア #DeepLearning
  43. 【深層学習】GPT-3 ③ 社会的影響編 - AIを誤用しないために【ディープラーニングの世界vol.41】#127 #VRアカデミア #DeepLearning

Pickup iconPick upチャンネル

高校物理について解説しているVチューバーさんです。とにかく声がかわいい!癒やされる!そして内容も分かりやすい!もう一度いいます。とにかく声がかわいい!

Studytube icon 96ログイン

Interview header 360 Question header 360
Studytuber banner 300

Studytube icon 96チャンネル登録

教育系のYouTubeチャンネルを運営されている方はチャンネル情報の登録に是非ご協力ください。ログイン後、読み込みボタンをクリックすることでチャンネルデータが自動で読み込まれます。

Studytube icon 96ご意見・ご感想

※お返事が必要な場合はお問い合わせからお願いいたします。