4ペタバイト
from YAPC kyoto 2023
4ペタバイト
yapc tokyo 2019でnulabがスポンサー入ってたのね
Bayt
ペパボ独自のオブジェクトストレージ
Baytは2015年に運用を開始
2008年MogileFSを利用してストレージを構築した
S3も選択肢はあった
自前だとコスト面で大きなメリットがあった
コストだとBayt、機能面ならS3
30daysとBaytのフロントエンドは分かれているが、バックエンドは共有
オブジェクトが混在
MogileFSのドメインの仕組みで論理的に区別してる
ハードウェアの深掘り
必要な総容量は増え続ける
ただ足せばいいわけではない
ラック高い
壊れる
壊れる前に廃棄する必要がある
サーバーの性能は相対的に劣化する
一時的に減るということを換算しながら、ストレージを増やしていく
半導体不足で影響を受けている
納期が2ヶ月前後→最大1年😇
為替の影響を受ける
古くなったサーバーは壊れる前に退役させる
壊れてからでは遅い
壊れることはある
smartmontoolsを利用したHDDの監視
切り離し方
MogileFSを使う
deadの状態にする→使わなくなる→MogileFSが勝手に再レプリケーションしてくれる
オブジェクトストレージのAPI実装
S3 REST API互換
メタデータ類はMogileFSで管理してないので、別に問い合わせる
リバースプロキシが実際のデータをとってくる
BaytからS3に移設へ
コスト重視から機能面を重視したい
30daysalbumは運用を続ける
課題
属人化
有識者が限られてきた
サービス全体のレガシー化
取り組み
toil削減、自動化
ドキュメント
プラットフォーム見直し
オンプレミス→オンプレ・クラウドハイブリッド
ストレージは引き続きオンプレ
IOで問題になることない？
MogileFSが綺麗に分散してくれてるので、今のところIOも綺麗に分散してて問題が出てないが今後出てくるかもしれない。
年々写真の解像度が上がってたりHDDの容量でレスポンス悪くなってたりしない？
厳密に計測してるわけではないけど、メトリクス見てる限りは悪くなってない