Python Dask
時間のかかる前処理をDaskで高速化 - ぴよぴよ.py
Daskのapplyやmap_partitionsを使えばいろんな処理が簡単に並列処理できる
Daskは返り値のmetaを指定しなければいけないけれど、(
pandas
DataFrameの)1行だけ実行すると簡単にmeta情報を作れる
#python