自然言語処理
2つの方法で処理
書き言葉を機械が理解できるようにする通信規格
人間の言葉を、機械が理解できるようにするための辞書のような存在
自然言語の使用方法を集積したもの。
機械が自然言語を理解するための膨大なサンプル。人が英会話を学習する際の、英文用例集のような存在 使用用途
テキストデータの中から重要な情報を抽出する技術
非構造化データとは、行や列によって構造化されていないデータのこと
人間の言語も非構造化なデータの一つ
自然言語処理の流れ
意味をもつ最小単位である単語に分ける
2.文章構造の解析
単語同士の関係性を解析する
3.文章の意味を分析
自然言語処理に用いられる手法
共起語とは、ある言葉と関連性が強く、同時に用いられる言葉 文章のトピック(題目)を把握するための技術
感情を示す単語ごとにポジティブなら加点・ネガティブなら減点し、総合点によって文章全体を判断する