DMBOK

Data Management Body Of Knowledge

https://gyazo.com/23ba44554a371996011bd34ba7717b95

https://gyazo.com/075072e3fb977e90582ed2aa91fa2ddf

https://gyazo.com/9a083e73294a683f3c5c3b698cb5844f

phase はとっつき易さ

(嫌いなものいっぱい有るからね…)

「其んな段階は無い」と云ふ事丈でなく「抑々其んな欲求は無い」「御前は「欲求」と云ふ言葉で何が謂ひたいのか」と云ふ話も有る

八正道のやうに一體であると見るのが近い

phase 0 と phase 4 は wheel 圖には無い

phase 2 の level 3 までは個人技 + αで行ける

+ α で data 利用側と關はってゆく

data 利用が盛んに成り初めず偶に data も見るくらいだと level 2 が限界っぽい

data が critical に成り始めると level 4 を目指せる

phase 0

https://gyazo.com/d1f3375edc4089566eb0f066412eec5b

data 取り扱ひ倫理は倫理原則に從ひながら、どのやうに data を生成し、保管し、管理し、解釋し、分析・活用し、廢棄するかを扱ふ。それを實行する community の責任を含む。

phase 1

https://gyazo.com/35b153feed5671bd930d1b617a9b765f

data modeling とは、data 要件を洗ひ出し、分析し、取扱 scope を決める process であり、data 要件を記述し傳へるために、明確に定義された data model と呼ばれる樣式が用ゐられる。この process は反復的であり、槪念、論理、物理 model が含まれる。

3 層 schema : 槪念 model→論理 model→物理 model

star schema

snowflake schema

生 data 重要

要約統計量しか殘ってないと他の要約の仕方が出來ない。segment を變へたり

同じ要約しか見られないと data 利用を改善出來ない (深堀り出來ない景色が當たり前に成ってしまふ)

https://gyazo.com/8ddd8966f02d77f2cad0720df672d1b8

data の價値を最大化するために、永續化される data を設計し、實裝し、support すること

https://gyazo.com/0247e6c51ade61e9eeeaea3df576c805

security policy や手順を定義、立案、開發、實行し、data と情報資產に對して適切な認證と權限付與を行ひ、access を制御し、監査をすることである。

機密性 (confidentiality)

責任追跡性 (accountability)

否認防止 (non-repudiation)

權限、機密

個人情報 (PII; Personally Identifiable Information)

法令

https://gyazo.com/11761124b70d6ffecf4b4c325846d74f

application や組織內および相互閒における data の移動と統合を管理する

ETL (Extract-Transform-Load)

Extract : data source から data を引っ張り出す

RDB、Salesforce、Excel 等から

Transform : 分析し易い形に data を整える

分析 query に優しい schema を作る

その他前處理

tool

轉送

Load : 分析 DB に data を入れる

ELT (Extract-Load-Transform)

生の data を使へるやうにしておく

data は保存時ではなく利用時に變換する

ただし法的に滿たさねばならない要件――例へば PII (personal identifable information) 等――の處理を除く

data は保存時ではなく利用時に集約する

index 無しでクソデカ table から SELECT できたり、クソデカ table 同士を JOIN できたりするので、ETL の Transform で分析の幅を狭めてしまわなくてもよい

ETLT (Extract-Transform-Load-Transform)

Extract : data source から data を引っ張り出す

(Transform) : PII (個人情報) の mask、畫像等非構造化 data からの抽出、storage の節約等

詰まり前處理

BigQuery ML で非構造化 data の處理は後段の T で出來るものが增𛀁た

Load : 分析 DB に data を入れる

Transform : 分析用の view を作る

ETL の T の一部がここに來てゐる

決定を遲らせる。JIT (just in time)

data の民主化

三層 : data lake - data warehouse - data mart

data lake は生 data を集めたもの

法的要件 (しないと罰則がある) を除けば、data を變換しては意味が無い

data lake の概念は ELT が前提

data warehouse は domain 知識を反映して data lake を適切に整理したもの

近い data は同じ table に join しておくとか

default 値を埋めるとか分析に使ふ定數を置いておくとか

domain 知識に基づいて view を作っておくとか

「ETL より ELT」と考へると、data の變換保存はしないのが好ましい。變換は view で

data mart

特定の用途向けに使ひ易くした data

KPI dashboard とかは、data warehouse から data mart を作って、data mart から dashboard を作る、のがよい

phase 2

https://gyazo.com/d87abfdd06cfaa335b2dd7ec03591f1c

企業の (組織構造に関係なく) data needs を明確にし、needs に合う master となる青寫眞を設計し、維持する。master となる青寫眞を使って data 統合を手引し、data 資產を control し、business 戰略に合わせて data への投資を行ふ。

data から business 迄の繫がり。business から data への依存

Dataflow で出る樣な奴。利用場面迄追へると好い

取得 (ingesting) より提供 (serving)、抽出と load (extracting and loading) よりも發見と利用 (discovering and using)

https://gyazo.com/15e0862f0f08f2551560b6e73b1b3a50

高品質な統合された metadata を利用できるようにするために activity を計畫し、導入し、統制する

https://gyazo.com/67d7b1b86c61640af6dad831d3c3c901

品質管理技術を data に適用する activity を計畫し、實施し、制御する。これによって、data が樣々な目的で利用されて、data 利用者の要求に合致することを保證する。

ETLT pipeline の後段ではなく、元 data の品質を高めると御得

熱設計でも、發熱源に近い箇所に高價な放熱し易い部品を使ったはうが cost performance に優れると云ふ話が有りましたね。PS5 の TIM (thermal interface material) 採用に就いての interview で見た

物理削除難しいと云ふ話

phase 3

https://gyazo.com/dc608323f2f5b250b62d79daab502a70

data 資產の管理を職務權限を通して統制し、意思決定を共有する (計畫を立て、實行を監視し、徹底させる) こと

DataOps

CDO (Chief Data Officer)

data steward

https://gyazo.com/8959245467390e38c6694992b5f9bda6

data と information はあらゆる形式と媒體から入手される。これら data と information の lifecycle 管理のため、activity を計畫し、實行し、統制する。

https://gyazo.com/db0206ce37717de0aa7949962be78c8f

組織の goal を達成し、data の冗長性を生む risk を低減し、より高い品質を保證し、data 統合の cost を削減するために、共有 data を管理する。

參照 data と master data の區別

業務の中で發生する data : master data / transactional data

依存關係の圖では application からの出力として在る

業務の外に元々在る data : 參照 data

依存關係の圖では data governance の中に在る

https://gyazo.com/c5bad190575cc1155ca9d2dfdd39cde7

意思決定を支える data を提供して、report 作成、query 發行、分析に携わる knowledge worker を支援するため、計畫を立案し、實行し、統制する。

phase 4

https://gyazo.com/88a557ab28026e64b6380744a8bec2b0

分析開始時に走られてもいない問ひに對し、答へと洞察を見つけるため、多種多樣な data を蒐集 (big data) し分析 (data science、分析、視覺化) すること。

https://gyazo.com/d43811d661fb4ce31580323dab344308

組織內で實施されている data 關聯業務に對して rank 付けする方法。data management の現狀とそれが組織に與へる影響を明らかにする。

https://gyazo.com/cd8788243140dfae39ed7e6fae3ae768

Level 0 : ぐちゃぐちゃ。ってのも規定されてる

operationg model

地方分權型 operation model

network 型 operationg model

Responsible (實行責任者) : task 達成のために働く責任者。複數の resource について責任を持つことがある

Accountable (說明責任者) : task の正しい完了について外部からの問合せに對して責任を持って對應する。各 task の窓口は 1 つでなければならない

Consulted (協業先) : 意見を求められる者。雙方向の對話

Informed (報告先) : 進捗を常に把握してゐる者。一方向の通信

擴張

RACI-VS (VARISC)

RACI + VS

Verifies (檢證者) : project の成果物が所期の受け入れ基準を滿たしてゐるかだうかを check する責任を持つ

Signs off (承認者) : V の判斷を承認し、成果物の受け渡しに責任を持つ

CAIRO (RACIO)

RACI + O

Out of the loop、Omitted : 部外者として、task に関係ない者

RASCI

RS + ACI

Responsible (實行責任者) : task について責任を負う者

Support : 實行責任者の配下に割り当てられた人員。協業先とは異なり、實際に task を實行する

RACI

Responsible (責任者) : task 全體に責任を負う。各 task に必ず 1 人割り當てられる

Assists (補佐者) : 責任者の配下で task の實行を受け持つ

Consulted (協業先)

Informed (報告先)

DACI framework

Driver

Approver

Contributors

Informed

DCI

Consulted

Informed

中央集權型 operationg model

hybrid 型 operationg model

聯邦型 operation model

team type

stream aligned team

enabling team

complicated subsystem team

platform team

interaction mode

collaboration

X-as-a-Service

facilitation

change management の八つの過ち

過度の現狀滿足を容認する

充分に強力な變革推進 team を確立できない

vision の重要性を過小評價する

vision の傳達を徹底しない

vision の實現に立ちはだかる障礙の發生を許してしまふ

短期的な成果をあげることを怠る

あまりにも早期に勝利を宣言する

變革を企業文化に定着させることを怠る

change management の八段階

危機意識を高める

變革推進 team を創設する

vision と戰略を生み出す

變革のための vision を周知徹底する

幅廣い活動を促す

短期的な成果をあげる

改善を積み重ねて變革を生む

新たな方法を文化に定着させる

トヨタ生產方式の 5S

整理

整頓

清掃

清潔

躾 (習慣)

問題解決の 8 step

目標設定や計畫、定着させることが含まれている

意志決定をテンプレ化し、記錄を取っていく

inception deck

前提を丁寧に揃へる役に立つ

John Kotter の 8 段階 process

上記

ADKAR process

同じく變革のための 5 段階 process

Awareness : 何故、その變革が必要なのか認識させる

Desire : 變革に參加し support するための動機付け

Knowledge : だう變革するかといふ知識

Ability : 新たな skill や振る舞いを身につける能力

Reinforcement : 變革を定着させるための補強材料