datasets.load_dataset
第一引数で読み込むファイルの種類を指定する
data_files引数には、単一のファイルも複数のファイルも渡せる
URLでも指定できる
このファイルがtrain、こっちがtestと辞書でも指定できる
返り値の型はDatasetDict(またはDataset)
if split is not None: the dataset requested,
if split is None, a datasets.DatasetDict with each split.
split引数を指定できる
一例:1つのファイルを読み込み、同時にtrainとtestに割合でsplit
A dataset is a directory that contains: