【自然言語処理】Elasticsearch 徹底解説 - スコアリングのロジックについて【Elasticsearch への道③】#086 #VRアカデミア

高評価: 168件

再生: 4,599回

公開日: 2020年12月18日

▼テーマ
Elasticsearch でも実践的に利用されている Lucene's Practical Scoring Function の紹介です。
日本語、英語の解説ブログの解説がほぼ全て誤っているという、 AI 的にはかなりつらい状況を乗り越えて、正しい情報をお伝えすることに成功しました。

▼関連プレイリスト
自然言語処理系プレイリスト
https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR

▼目次
00:00 OP
01:12 本題に入る前に注意点
==== 1.背景,定義 ====
02:34 Lucene's PSFの背景
03:20 検索の定式化と記号の定義
05:03 定義を眺める
==== 2.数式の意味 ====
06:17 全体像を掴もう
06:55 数式の意味(前半部分)
10:47 getBoost()の意味
11:49 normの意味
15:48 coordの意味
=========
16:48 本日のまとめ
18:27 ED

▼参考文献
TFIDFSimilarity (Lucene 7.6.0 API)
https://lucene.apache.org/core/7_6_0/core/org/apache/lucene/search/similarities/TFIDFSimilarity.html
本家本元！
Lucene では、 queryNoem は利用していないという差分がありますが、ここが原典です。
ただしちょっと解説は手薄です。

Lucene’s Practical Scoring Function | Elasticsearch: The Definitive Guide [2.x] | Elastic
https://www.elastic.co/guide/en/elasticsearch/guide/current/practical-scoring-function.html
Elasticsearch による解説です！
ここの説明も正しい！
解説も充実しているのですが、若干たらい回しにされたり、 deprecated に飛ばされたり、やや読み解くのは大変です。
（おそらく、世界中のすべての誤り系 blog は、ここの数式を転記ミスったり、それを翻訳したり、誤訳したり、、、そういう状況なのでしょう。）

Elasticsearch のスコア関数の数式の意味と仕組み - Lucene's Practical Socring Function - Atrae Tech Blog
https://atraetech.hatenablog.com/entry/lucene-practical-scoring-function
というわけで！　私が書きました！　ここを読めばすべてがまとまっています！
（ま、動画の内容と一緒なので、動画見ればいいのですが）
今後、人に Elasticsearch のロジックの資料をおすすめするときは、この blog か、上記原典を紹介するようにしてください。
他の資料を展開するのであれば、嘘を嘘と見抜けないと難しいです。自信ない or 詳細に読んでる時間ない人は上記 blog を勧めてください。

▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )