pydata-fukuoka10
LT:気象データを触ってみた
WHO?
京都でデータ分析とかする会社を経営中
証券アナリストとかいう資格を持っているが役立っていない
その他発表を担当すると本がもらえる発表会とか(Rのビジネスデータサイエンスの教科書という本)
https://www.asakura.co.jp/goods_img/117651.jpg
インタラクティブな可視化の理由
泥臭い方の理由
私 数学力 下の中
データの分析とかするには数学ピラミッドトップの方の神々と対比して何か特色が必要
データの解説は基本退屈。
また、データを理解したいとか活用したいとかいう人は基本、どうしたらよいか分からない人が多い。しかし動かしながら話し合うと基本、知識のある領域なので色々な知識が引き出せる。
https://gyazo.com/e6435a7ff84000588a8afe5097a5dad9
https://gyazo.com/89200afa0e21e3aba6071e02bc191c37
本日のアジェンダ
気象データについて
触ってみた
まとめ
気象データについて
気象データ知ってますか?
朝のニュースとかで見るあれです
色々あります
各都道府県とか市町村の1分おきの天気とか
ひまわりのデータとか
日本中の250メータ四方の降水量データとか
なんといってもデータがでかい
ビッグデータの時代だもの
でかいデータ触りたいよね
触ってみた
今回触ってみたものは2つ
利用申請必要
FTPから取得する必要
下のような感じでデータがある(10分: 50mbとか)
https://gyazo.com/d238e744f0648358eb9c6e69708882ee
netCDF4という形式
階層的なファイル構造
HDF5ファイルみたいな(とかぶつぶつ言っていたが、HDF5をもとに作られている documents) 中身はnumpy的な感じ
全国合成レーダーGPV
気象庁がレーダーで1kmメッシュの雨量を計測?している
それを京大生存圏データベースが公開しているが、たくさん使う場合などは気象庁からヨロ
https://gyazo.com/8cb153908d856c3904dd5e303872b268
grib2というファイル形式は気象によくあるもののようだ
pythonにはそれを読み込む用のpygrib2というパッケージがあるが、どうもそれには対応していないとのことがqiitaに書いてありましたが、記事を失念してしまいました(この度はありがとうございました。)
どうもwgrib2というNOAAが作成しているツールを使って先に触ったnetcdf4形式に変換し、利用できるとのこと
colabへの導入の仕方は分からなかった。
ということで、これはローカルで実践。
wgrib2をwindowsにダウンロードして subprocessから使う
tarはtarfileを使って解凍
標準ライブラリ使えるところは標準ライブラリで!
まとめ
気象はビッグデータ
アメリカがトランプ政権後一気に環境を気にする方向に舵を切ったのでチャンスあり?
個人的にはnetcdf4とかの使い勝手を理解したり、xarray, vaexなんかのパッケージを使ってみたい
気象をやっている人は多いかもしれないが、人材の流動性が低いからか、あまりウェブ上に知見が落ちていない
その辺り分かってる方々にやっていただけると嬉しいです
業務も趣味にしてしまう。技術の向上半端ない