data catalog
分野別にまとめたい
Economic, Financial
free, python library(wbdata)
apiになるようだ、2019/04 start?
これも有名。債権や株価指標などがとれる。
preimiumのデータでも、1年前までは freeで使えそうだけど、qunatopianの中のkernel(notebook)でやる必要があるのかないのか...
日本のもの
E-Stat関連
これが一番、e-statの全体像が見えるとおもってる
Dark skyが良い?
商品価格データ
試してないけど、scrapyとか puppeteer とかで頑張れそうな気もする。
電力データ
需給データ(四半期ごとの公開、1時間単位)
やればできそうだが、、
スポーツ
欧州のサッカー系?
Enigama
いろいろあるんだけど、どうなんだろう。
noaa, nasa, world bank などがあるので、ここから取るのが早いかも(bigquery の scan料金は大きくはならないような)
OECDとかもある。
構造化マークアップ?を記述することで、googleがindex してくれる
これをうまく使えと、探索時のポータルとしてはいいだろうが。今後に期待。
日本だと geeo? 使ってない..
Kaggle
python の library で datasetが downloadできる。
GPL, creative commons, open database となってて、自由に使ってよい?
5000個くらいあって、玉石混交だろうけど、download数とかで絞り込めばよい? --sort_by がある。
for i in {1..20}; do echo $i; kaggle datasets list -p $i --csv > p"$i".csv;done
1page 20 items なので、これで400個くらいながめてるけど、、どうだろう。