AutoVizで探査的データ分析をしてみよう

https://gyazo.com/169d1fc3235b9c3bde269e8aa9dc6d48

はじめに

この資料はAutoViz についてまとめたものです。

AutoViz について

小さなデータセットの可視化は簡単でそれほど問題になることはありませんが、数百の変数を持つ大規模なデータセットでは、可視化をすることなくデータセットから強調すべき最良の特徴量を決定することはほぼ不可能です。データ分析を行う環境によっては、標準的でない可視化ライブラリを使用しなければならず、適切な知見を得るための可視化を行うにはかなりのコーディングが必要となることが多いものです。

インストール

AutoViz は次のようにインストールすることができます。

code: bash

$ python -m pip install autoviz

使用方法

残念ながら AutoViz には学習用のデータセットが内包されていません。

次のコードでタイタニックのデータセットをダウンロードしておきます。

code: python

...: import pandas as pd

...:

...: /'

...: dataset_url = _baseurl + 'titanic.csv'

...: df = pd.read_csv( dataset_url )

...:

...: df.to_csv('titanic.csv')

...:

あるいは、次のようなモジュール用意しておくのもよいでしょう。

code: datasets.py

import pandas as pd

from urllib.error import HTTPError

class DatasetError(BaseException):

pass

class DataSet(object):

dataset_names = [

'anscombe.csv',

'attention.csv',

'brain_networks.csv',

'country_indicators.csv',

'diamonds.csv',

'dots.csv',

'exercise.csv',

'flights.csv',

'fmri.csv',

'gammas.csv',

'gapminder.csv',

'geyser.csv',

'googleplaystore.csv',

'googleplaystore_reviews.csv',

'happiness.csv',

'harry_potter_characters.csv',

'iris.csv',

'mi_manufacturing.csv',

'mpg.csv',

'netflix_titles.csv',

'penguins.csv',

'planets.csv',

'pokemon.csv',

'reddit_showerthoughts_may2015.csv',

'seinfeld_episodes.csv',

'seinfeld_scripts.csv',

'stockdata.csv',

'tips.csv',

'titanic.csv',

'trump_tweets.csv',

'us_shooting_incidents.csv',

]

def load_dataset(self, name, save=False):

try:

assert name in self.dataset_names

exists_flag = Path(name).exists()

if exists_flag:

url = 'file://' + str(Path(name).absolute())

else:

url = self.baseurl + name

df = pd.read_csv( url )

_ = save and not exists_flag and df.to_csv(name)

return df

except AssertionError:

raise DatasetError('dataset not available') from None

except HTTPError as err:

raise DatasetError(err)

def get_dataset_names(self):

return self.dataset_names

dataset = DataSet()

load_dataset = dataset.load_dataset

get_dataset_names = dataset.get_dataset_names

if __name__ == '__main__':

import sys

if len(sys.argv)<=1:

from pprint import pprint

pprint(get_dataset_names())

else:

code: bash

$ python datasets.py titanic.csv

AutoViz を利用するためには、プロットをインラインで表示させるためのマジックコマンドをJupyterlab のセルで実行しておく必要があります。

code: python

%matplotlib inline

また、matplotlib のフォント設定を日本語化する必要があれば、次のモジュールをインストールしてインポートしておきます。

code: bash

!pip install japanize_matplotlib

import japanize_matplotlib

AutoViz を初期化するために次のコードを実行します。

code: python

from autoviz.AutoViz_Class import AutoViz_Class

AV = AutoViz_Class()

あとは、次の1行でEDAのプロットがノートブックに表示されます。

code: python

autoviz = AV.AutoViz('titanic.csv')

これだけで次のプロットが表示されます。はじめのプロットでは、カラムのサマリーが表示されます。

インタージャー、カテゴリー、ストリンカラムの数などについても表示されます。

2番目のプロットは、すべての連続変数のペアワイズ散布図になります。もし、複数の連続変数があれば、autovizは複数のペアワイズ・プロットを作成します。ここでは、2つの連続変数fareとageがあります。

https://gyazo.com/ff8ab9a7512a306153fed9cb4c745b61

3番目のグラフは、連続変数の分布プロットです。このプロットは、boxplotを使用して外れ値を見つけることができ、またデータが歪んでいるかどうかを見つけることができます。

https://gyazo.com/b12fb5be62b562cdc3ade104afece97b

https://gyazo.com/43dcb15b0228864a68731cc4f4d2e686

4番目のグラフは、すべての連続変数のバイオリン・プロットが表示されます（上図参照）。

5 番目の図は、すべての変数の相関をヒートマップで表したもので、相関プロットにより、さまざまな変数の共線性を見つけることができます。

https://gyazo.com/701edc11b88414d6459a38655432d211

6番目の図は、すべてのカテゴリ変数によってグループ化された連続値を可視化されます。これは、意味のある洞察を得る手助けになります。

https://gyazo.com/13ad8d5ad8e613978de2d69a525fc930

https://gyazo.com/737fc4c888c51a5bbe1e7cfa82239f51

カスタマイズ

具体的には、次のようなコードになります。

code: python

rom autoviz.AutoViz_Class import AutoViz_Class

from dataset import load_dataset

df = load_dataset('titanic.csv')

AV = AutoViz_Class()

dft = AV.AutoViz(

filename="",

sep=",",

depVar="",

dfte=df,

header=0,

verbose=0,

lowess=False,

chart_format="bokeh",

max_rows_analyzed=150000,

max_cols_analyzed=30,

save_plot_dir=None

)

API

AutoViz(filename, sep=',', depVar='', dfte=None, header=0, verbose=0, lowess=False, chart_format='svg', max_rows_analyzed=150000, max_cols_analyzed=30, save_plot_dir=None)

AutoViz の強み

AutoVizは選択された変数をカテゴリー、数値、ブーリアン、NLPテキストなどに分類し、最適なプロット方法を理解するために使用します。それを最もインパクトがあると推定した可視化を自動的に作成してくれます。

経験豊富なデータサイエンティストであっても、主観的な領域知識や経験則によって、データセットからの洞察を強調するためには、ほんの一握りのチャートしか使用していないことが多いのものです。AutoViz　による客観的なプロットの選択は、データ分析を行うときに最適なアプローチを示し、プロジェクトの初期段階から生産性を高めることになります。

Goodreads API

Wordclouds に対応

AutoVizは、データ中の自然言語（NLP：Natural language processing）変数に対してWordcloudsを自動的に作成することができるようになりました。NLP変数を自動的に検出し、それらに対応するワードクラウドを作成することができす。

https://gyazo.com/a729a6709fb66e9d35ff8adb1a21b7f8

Dockerコンテナとしても動作する

https://vimeo.com/589879082

HoloView との連携

AutoVizはHoloViewsを使用してBokehによるダッシュボードを表示し、Webサービス用のDynamic HTMLとして保存できるようになりました。

AutoVizを使用して、Jupyter NotebooksまたはブラウザでインタラクティブなBokehチャートとダッシュボードを作成できるようになりました。

参考

AutoViz