datasets.load_datasetでテキストファイルを読み込む
https://huggingface.co/docs/datasets/loading#text-files
🤗 Datasets will read the text file line by line to build the dataset.
#Load_(🤗_Datasets)
読み込むように指定されたファイルの拡張子がtxtの場合、load_datasetの第1引数に
"text"
を渡す例（CSVやJSONと両立）
https://github.com/huggingface/transformers/blob/v4.18.0/examples/pytorch/language-modeling/run_mlm.py#L294-L295
transformers.LineByLineTextDataset (deprecated)
と違って、空行が除いたりはされないっぽい（あくまで読み込むだけ）