【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】#089 #VRアカデミア #DeepLearning

高評価: 875件

再生: 26,282回

公開日: 2021年1月29日

▼テーマ
単語をベクトルで表す単語分散表現の中で最も有名な word2vec の紹介です。
word2vec は4種のアルゴリズムの総称です。
それぞれを丁寧に説明していきます。

▼関連プレイリスト
Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP

自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
==== 1.単語分散表現 ====
02:06 1-1 単語分散表現って何？
03:56 1-2 分散表現が得られると何が便利なのか？
==== 2.word2vec ====
08:31 2-1 引用論文紹介
09:14 2-2 引っかかりポイント①：word2vecは総称
11:45 2-3 CBOWはどんなタスクを解くのか？
14:00 2-4 引っかかりポイント②：目的とやってることのズレ
16:33 2-5 CBOWのモデル解説
20:21 2-6 ここまでのストーリーと残る謎のおさらい
21:51 2-7 学習結果から分散表現を手に入れる
25:40 2-8 ここまでのまとめ
26:54 2-9 skip-gramが解くタスクとモデル解説
30:30 2-10 2つの高速化の手法とアイデア紹介
34:49 2-11 今日のまとめ
36:02 ED
==== 3.なぜ単語の演算ができるのか？ ====
...は次回です！ お楽しみに！

▼参考文献
Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).
https://arxiv.org/abs/1301.3781
現論文はこちら！
これを読めば、 word2vec が複数のモデルの総称であることは一目瞭然！

Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems 26 (2013): 3111-3119.
https://papers.nips.cc/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf
negative sampling について書かれています。 Mikolov さん大活躍ですね

Morin, Frederic, and Yoshua Bengio. "Hierarchical probabilistic neural network language model." Aistats. Vol. 5. 2005.
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.221.8829&rep=rep1&type=pdf#page=255
Hierarchical Softmax は実は2005年の論文から存在しています。
詳細が知りたい方はこちらをどうぞ！

【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita
https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
シリーズ構成で大変参考にしております。色々まとまってて good です！

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )

=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )