【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning

高評価: 252件

再生: 9,368回

公開日: 2021年1月08日

動画内の tanh はシグモイド関数σの誤りでした🙇‍♀️
動画内の誤り一覧 http://bit.ly/error_asp

▼テーマ
2010年頃から盛んに研究されはじめた、自然言語処理 (Natural Language Processing / NLP) へのディープラーニングへの応用です。
RNN から始まり、近年の attention 機構を利用した Transformer や BERT へ向けた動画の旅を始めます。

▼関連動画
RNN についてよくわからない方はこちら！
https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8

▼関連プレイリスト
Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
==== 1.RNNLM ====
01:12 RNNLMとは
03:40 RNNLM以前の時代について
==== 2.精度(in 2020) ====
04:23 どんなタスクを解いたのか？
05:55 どれくらい精度が上がったか？
06:48 PPLについて
10:45 WERについて
12:50 結局RNNLMは何が凄いの？
==== 3.モデル====
13:39 モデルの紹介
16:36 どんな数式で動いているか？
19:25 原論文の小話
20:19 本日のまとめ
=========
20:34 ED

▼参考文献
Mikolov, Tomas, et al. “Recurrent Neural Network Based Language Model.” INTERSPEECH, 2010, pp. 1045–1048.
http://noel.feld.cvut.cz/gacr0811/publ/MIK10a.pdf
今回の原論文です。 Deep Learning の黎明期、まだ connectionism と呼ばれていた時代の考察です。
歴史的背景も知れて面白いです。

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )