n-gram
n文字単位で文章を切り分けていく事
例)
今日もがんばるぞい!
3-gramで切り分けると
"今日も""もがん""んばる""るぞい""い! "
になる
追記
上記で書いたのは所謂
文字 n-gram
というもので、よく使われるのが
形態素 n-gram
らしい
文字数で区切るのではなく、単語で区切る
上記を形態素 2-gramで分けると、"今日も""もがんばる""がんばるぞい""ぞい!"と、なる。
確かにこれなら文字で分けて、
マルコフ連鎖
で繋げた時よりもちゃんとした文章になりそう。
#メモ