2019/9/17 NoOps Meetup Tokyo #8 #NoOpsJP
NoOps Meetup Tokyo # 8 - connpass
Opening
No uncomfortable Ops
知の共有、both ベンダー側 & ユーザー側 + Open hack
アンチフラジャイルの世界
資料 : アンチフラジャイルの世界
@kawasima
流しのアーキテクト
運用設計の教科書 ~現場で困らないITサービスマネジメントの実践ノウハウ | 日本ビジネスシステムズ株式会社, 近藤 誠司 |本 | 通販 | Amazon
「わからない」にはレベルがある
クネビンフレームワーク (Cynafin Framework) : Chaotic, Simple/Obvious, Complex, Complicated
Johari の窻
複雜 : Chaotic / Complex / Complicated
わからない事が在るか?→何がわからないかわかってゐるか?
Chaotic→Antifragile (反脆弱性)
Nassim Nicholas Taleb「反脆弱性⸺不確實な世界を生き延びる唯一の考え方」2012Nassim Nicholas Taleb「反脆弱性⸺不確實な世界を生き延びる唯一の考え方」2012.icon
Fragile 取り扱ひ注意, Robust 壞れない, Anti-fragile 壞してやれ
black swan (豫測ができない大きな變動)→後智慧 bias←→fragile、antifragile を理解する
7pay 便利な事例だなぁ…。ne-sachirou.icon
Simple/Obvious なら Best practice (Maybe Fragile) に
Complicated なら Robust に
Complex なら Resilient に
Chaotic なら Antifragileに
Tinkering : Google's 20% rule, Adobe's Kickbox <- Chaotic
Chaos Engineering
Principles of Chaos Engineering
自動 bug fix
DeepFix: Fixing Common C Language Errors by Deep Learning - Software Engineering and Analysis Lab (SEAL), IISc Bangalore
JVM auto tuning
古典制禦でできさう、antifragileとは關係無いなぁne-sachirou.icon
Property based testing : QuickCheck
APIに無茶苦茶な値をぶちこんでtestする手法あったな…何だっけ <- Fuzzing だne-sachirou.icon
ファジング - Wikipedia
Noise 除去
これは robust では?ne-sachirou.icon
障礙を局所化する
これは robust では?ne-sachirou.icon
Dev と Ops を分離 (Dev が Ops しない) -> Ops の無人化
これはSimple/Obvious だな…ne-sachirou.icon
NoOps ソリューション紹介
スポンサーセッション
NetApp 合同会社
ネットアップ：ハイブリッド クラウド向けデータ サービス
Making NFS prococol, K8s Trident.
hybrid cloud
ストレージ (特にfirmware) のトラブル…
影響範圍…社內申請…監視管理…嬉しくない Ops を解決する
iOS backup の storage を提供してゐる
AWSAWS.icon, Azure, Google Cloud から storage から使へる
Cloud Volumes for AWS & Google Cloud
Azure NetApp Files
NetApp Kubernetes Service
Nasa, NSA…
NetApp Cloud Solutions Homepage
GKE (Google Kubernetes Engine)GKE (Google Kubernetes Engine).icon 以外でも GKE (Google Kubernetes Engine) と同じくらい簡單に K8s cluster を構築できる
Cloud Insights
Observability: Mackerel による觀測と Mackerel の觀測
＼@ast_j／
Mackerel
監視 : Monitoring, 可觀測性 (o11y)
可觀測性 (o11y) : Metrics (Mackerel), Logging, Tracing
可觀測性 (o11y) = system の內部狀態が觀測できる -> system が持つ性質 ≠ 觀測
(發表の可觀測性 (o11y)ェ)
Metric -> Alert, Metric graph は最後に人閒が見てゐる…
可觀測性 (o11y) (收集) -> Observe implimentation (集積, alert…) -> Observe (人閒)
MackerelMackerel.iconの槪念を說明 : 「ホスト」「サービス/ロール」「メトリック」「チェック監視」「ログを監視する」「對象」「サービスメトリック」「URL 外形監視」「インテグレーション」
觀測可能にする : だうやって? <- 實裝による…
自作plugin (だいたい graphite 形式を吐く實行 file)
mackerel-plugin-json (≒ Prometheus exporter, but more simple)
(Elixir は umbrella で HTTP server ぶら下げられるので便利…)
監視 (アラート) : on-call として (稼働 or not), information として (on-call と同じ 通知經路に乘せない (これ我々はできてる? できてない氣がする))
グラフ & ダッシュボード
Mackerel を Mackerel で監視する
AWSAWS.icon, Amazon EC2, AWS Fargate
コンテナ便利…
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
AWS で実現した Mackerel 時系列データ1分粒度長期保存の裏側 / Mackerel Meetup # 11 Tokyo - Speaker Deck
Mackerel が落ちた時の爲に別系統の Mackerel, リリース前の監視 (staging)
(我々は Mackerel を無料で使へる…)
jstat, jolokia, レイテンシ, コネクションプール
New RelicNew Relic.icon APM (application performance management), fluentd -> Kibana
成長するエンジニアを應援する
forkwell
スポンサーセッション
NoOps Japan Community 1st Anniversary 祝辭
サポーターセッション
戰術的課題 (<- コミュニティで經驗を共有する) <- 戰略的課題 (< -コミュニティで經驗を共有する) <- 文化的課題 (<- コミュニティで NoOps を經驗する)
NoOps Game Day
From 2018/09/20 to 2019/09/17
@mtsuka
LT
mercari
Yahoo! Japan : BearMetal K8s as a Service, Yahoo! File Manager
Enginereering Manager @ mercari
資本制は成長好きだよね…資本制だけですよ (資本制は資本制では成り立たない (現實の話をしてゐます))ne-sachirou.icon
アサヒグループホールディングス株式会社
スポンサーLT
130周年
NAVITIME
スポンサーLT
この timing で會場案內が成される
永平寺町だ (第二の故郷)ne-sachirou.icon
パネル Q&A
Q. Chaos Enginiereeing どうやる? 無造作に無慈悲に爆發させるわけにはいかない
Netflix も完全ではない…。
マイクロサービス化を支える継続的切り替え術 - クックパッド開発者ブログ
microservice も局所化
新卒就活エントリーが集中するサービス -> 3年前くらいまではどの service も落ちてた -> 落ちるよりは輕量 UI でよいので返す
假說を立てる (全く chaos (力學) ではない、unknown unknown は無理…)
Unknown unknown : 知られていると知られていることがある - Wikipedia
體制として。(K8s の pod の restart 囘数が多い…と云ふのを豫測してゐなくても氣附ける、とか)
Q. (Ops team が解散…。) NoOps (SRE (site reliability engineering) 等) が Full stack になる必要が有る…。
SRE (site reliability engineering) 役割が專門 team ではなく各 dev/ops team に embed されていてよい。
Ownership を健全に
Mackerel : Dev team の中に「SRE (site reliability engineering)」を入れる -> SRE (site reliability engineering) が大量に拔ける… -> ぢゃあ自分がやるよ、と云ふ事例も
自分たちの責任をはっきりさせる、皆で。責任を浮かさない。
責任に境界無し
これ個人が第一義の主體だと難しいので、ne-sachirou.iconはやってゆきたい
system には境界を
2019/9/17 #NoOpsJP #event_報