tile.openstreetmap.jp の更新 2022-12-11

概要

地球惑星規模（planet規模）のタイル地図を配信している

作業の流れ

スペック

ストレージ3.6TBのSSD

実メモリ 16GB

Swapメモリ 500GB

tmuxに作業の状態が残っているので、すぐ再開できる

このドメインは、IPごとの転送量に、40GBくらいの制限が掛けられている

OpenStreetMapとしては、torrentとかAWS S3のミラーを使ってね、ということ

そちらが更新されていることを確認する

code:bash

aws s3 ls s3://osm-pds

OpenStreetMapのAWS S3ミラーの最新情報ページ

こっちは古いページらしい

ローカルマシンの作業ディレクトリを削除する

ほぼここに書いてあることをそのまま実行している

特筆すべき差分

こいつのせいでエラーになって途中でコケる

ダウンロード時のためのオプション

10スレッド並列で、1GBごとにRangeリクエストしてダウンロードできる

ビルド時のためのオプション

--nodemap-type=array

--nodemap-storage=mmap

これを指定しないとメモリ不足でエラーになってしまう

lake_centerlines

natural_earth

osm_lakelines

water_polygons

これらは、海や湖などを描画するために必要なデータ

ダウンロードには一時間も掛からない

mbtilesのビルドに最も時間が掛かる

処理はメモリバウンド

メモリが多ければ多いほど速い

ビルドのステップにはまず、osm_pass1とosm_pass2がある

nodes -> ways -> relations

OSMのステップが終わったら、mbtilesへ出力するステップが始まる

この処理はファイルIOが発生しているため時間が掛かる

タイルの品質チェックをする

scpで本番サーバーに転送する

dockerを停止する

ファイルをmvする

dockerを起動する

tile.openstreetmap.jp

サーバーは一台

さくらのクラウド

10万円/月の支援

20コア

メモリ64GB

これが10プロセス走っている

リクエストが来たタイミングで、ラスタータイルのレンダリングをしている

maptiler/tileserver-glは、nginxでプロキシして、各タイルをvarnishでcacheしている

varnishはデフォルト設定

おさらい：mbtilesの実体はsqlite

zxyのインデックス構造になっている

y軸が逆順になっているぞ！

作れるはずだがうまく作れなくて困っている

mbtilesがビルドできたら、ビルドサーバーから配信サーバーに、scpで転送している

転送が終わったら、配信サーバーのdockerプロセスを止めて、ファイルをmvしている

実は毎週一瞬止まっているけど誰も気づかない

配信サーバーでビルドすると、負荷が掛かって遅くなってしまう！

同じはずだけど、tilemakerはplanet規模では試したことがない

最近期待していること

3.14で、OpenStreetMapに近づけようとしている

OpenStreetMap本家により近いStyleの地図をつくれるようになるかもしれない