datasets.load_dataset
#huggingface/datasets パッケージのメソッド
第一引数で読み込むファイルの種類を指定する
datasets.load_datasetでJSONを読み込む
datasets.load_datasetでテキストファイルを読み込む
data_files引数には、単一のファイルも複数のファイルも渡せる
https://huggingface.co/docs/datasets/loading#csv #Load_(🤗_Datasets)
URLでも指定できる
このファイルがtrain、こっちがtestと辞書でも指定できる
返り値の型はDatasetDict(またはDataset)
👉 datasets.DatasetDict
if split is not None: the dataset requested,
if split is None, a datasets.DatasetDict with each split.
split引数を指定できる
https://huggingface.co/docs/datasets/loading#slice-splits
一例:1つのファイルを読み込み、同時にtrainとtestに割合でsplit
https://huggingface.co/docs/datasets/v2.1.0/en/package_reference/loading_methods#datasets.load_dataset
A dataset is a directory that contains: