【自然言語処理】tf-idf 単語の情報量を加味した類似度分析【Elasticsearch への道①】#084 #VRアカデミア

高評価: 412件

再生: 11,705回

公開日: 2020年12月04日

▼テーマ
単語のベクトル化にも使われる tf-idf です。
検索というテーマを軸に、数式の意味ごと解説しています。
最終的には、 Elasticsearch に使われている Lucene's Practical Scoring Function も解説します。

▼関連プレイリスト
自然言語処理系プレイリスト
https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
==== 1.背景 ====
00:43 tf-idfが使われる場面
01:26 tf-idfはどんな問題を解決するのか？
==== 2.定義＆意味 ====
03:34 tf-idfの気持ち
04:23 記法の設定
06:19 tf-idfの定義
06:38 どんな計算なのか
08:11 tfの意味
09:01 idfの意味
10:43 具体例で実際にtf-idfを見てみる
12:41 logの理由
15:09 本日のまとめ
15:52 ED

▼参考文献
ネットでググったらたくさん出ます (^^)
・tf–idf - Wikipedia https://en.wikipedia.org/wiki/Tf%E2%80%93idf
特に、英語 wiki は意外としっかり書いてあるのでおすすめです！

・機械学習・深層学習による自然言語処理入門 (Compass Booksシリーズ) | 中山 光樹
https://amzn.to/3g8lJ5o
基本的な自然言語処理の機械学習手法がコードとともによくまとまっています！
数式系ではなく、実装系なので、手を動かして色々理解できるかも！

・言語処理のための機械学習入門 (自然言語処理シリーズ) | 高村 大也, 学, 奥村
https://amzn.to/3lAEqQl
自然言語処理の古典的な方法論について、特に LDA とその数理的背景についてよくまとまっています。
数式大好き人間は一度読んでみると楽しいと思います。

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )