自然言語処理
言語
人間が普段使う言語
人工言語
プログラミング言語
public.icon
自然言語処理(NLP)
人間が日常のコミュニケーションで使う曖昧さのある話し言葉や、
新聞などの書き言葉を含む自然言語をコンピューターで
分析、処理する技術
自然言語を計算機で処理する学問
自然言語
人間が普段使う言語
人工言語
プログラミング言語
人間の言語処理
常識や文脈、表情、話し方などを総合的に勘案して判断
マルチモーダルで複雑
計算機で処理する上で重要な問題
多義語の問題
複数の意味を持つ単語
語義の曖昧性解消
一つの妥当な意味を選ぶこと
英語における多義語
例:bank
「土手」と「銀行」という意味があり、文脈によってどちらの意味かを判断
2018年に提案されたELMoやBERT
文脈に依存した意味を考慮することができるように
文脈依存性の再現
構文解析
曖昧な構文の中から妥当と考えられる構文を選ぶこと
複数の解釈ができる文章・構文構造を“構文の曖昧性
自然言語処理で何ができるか
文書分類・センチメント分析
文章がポジティブかネガティブかを判定
文書のトピックを判定した
関係抽出
「株式会社XXは株式会社〇〇の子会社です。」といった文章から、株式会社XX=子会社、株式会社〇〇=親会社、という関係を自動で抽出します。
概念間の関係性を抽出
機械翻訳
質疑応答
chatbot
IBMのWatosonなど
Watsonは、回答の確信度を計算して、相手の点数や自分の手数などを考慮して回答するか、しないかも判断していた
Miyabi.icon尤度
音声認識・対話
Alexa
siri
文書要約
放送大学教育振興会
自然言語処理〔改訂版〕 (放送大学教材)(https://af.moshimo.com/af/c/click?a_id=2167007&p_id=170&pc_id=185&pl_id=27060&url=https%3A%2F%2Fwww.amazon.co.jp%2Fdp%2F4595319584)