日本語の文法サンプル

長い記事一覧の上位にあって、学術的に歯ごたえのある内容で数式が少ないため持ってきた

処理が中途半端な状態だが、既にそこそこ面白いので晒す

処理内容

【ひらがな以外】【ひらがな】の順に並んでいる部分を一塊にして抽出する

[^ぁ-ん]*[ぁ-ん]+

理由：

付属語は全てひらがなで書かれるため、右側に付属語を抽出できると期待される

左側に文脈を残しておくことであとの処理をやりやすくする

単語を探してチマチマ分離する

作業をしてみた結果、文字数の少ない単語を分離した後で多くの文字数が必要な単語は統合したほうが楽なのではないかという作業仮説を得た

逆に、文字数の多い単語→少ない単語の順で分離すると

〈あ〈た〉〈か〉も〉のようなものが発生してしまう

活用語尾は（というか漢字と隣接する部分）は、｜た〉のように単語と異なる形で分離する

区別しやすくするために

誤字・脱字・衍字を見つけた場合は❌️をつける

JSONにして処理するとVSCodeの拡張機能でソートと重複要素削除ができて便利

問題点：ひらがなで書かれる自立語が抽出されてしまう

〈いじめ〉など

過去ログ