ElasticSearch
@201912
日本語の検索をサイト上で提供する場合の第一の候補?
起点
2013年の資料だけど、最初はここに目を通すのがよいかも。
ここから読むのがいいかも。
情報量多くて良い。
2014年の解説だけど、雰囲気つかむのによい?
help
localでやってみる。
ここを一通りやるのがイメージつかみやすいかも。
kibanaはinstall localhost:5601 で access
x-packのinstall: kibanの設定ファイルをいじって、secutiry関連をoffにしてloginできた。
pluginとかで、timeoutが多発する。大変そうなので、諦める....
Plugins
basicライセンスだと、xpackは利用できないよう...
kuromojiは、bin/elasticsearch-plugin install analysis-kuromoji で入る
現実的な構築? AWS, gcp の elastics serviceを使う。 AmazonのElasticsearch Serviceと同じですか?
いいえ。Elasticsearch Serviceは、AWSで動作する、当社による唯一の公式マネージドサービスです。
運用はやらないといけない。
AWSでは、Elasticsearch Serviceという別に独立したサービスがある(こっちが一般的ぽい) 遊びでやるには、ちょっと高い。。。
運用
活用事例
10台の物理サーバー(16core,128GB,SSD Raid)で24台の仮想マシン、30シャード、2replica
430Gbのデータサイズ(企業情報index), 1.6億の企業数.
phrase_prefix, max_expansions, stopword, クエリのindex上のID変換,
nodeの構成による、スループット(更新性能)
master, client(検索対応), data の3つの用途にわける。
WikipediaのリダイレクトデータからElasticsearchの類義語辞書を生成する方法を紹介しました
類義語
ElasticsearchではWordNetでの類義語検索に対応しているようですが...アクセスできない
False Positive多くなりがちなので、それを見据えた運用が必要と
代替 ElasticSearch以外の選択肢
google search api
お手軽にやるなら、gae search apiのが形?にするのは早い?