Colaboratory

よく使うショートカットキー

思考停止コピペコード

code:copype.py

%load_ext google.colab.data_table

import google

import numpy as np

import pandas as pd

import polars as pl

import matplotlib.pyplot as plt

import seaborn as sns

import altair as alt

from IPython.display import display

from pprint import pprint

code:plt_jp.py

!pip install matplotlib-fontja

import matplotlib_fontja

# !pip install japanize-matplotlib > /dev/null

# import japanize_matplotlib

code:copype_bq.py

from google.cloud import bigquery

google.colab.auth.authenticate_user()

project_id = ""

client = bigquery.Client(project=project_id)

query = '''

'''

df = client.query(query).to_dataframe()

code:copype_bq_table.py

# テーブル名から

table = bigquery.TableReference.from_string(bq_table)

bqclient.list_rows(table).to_dataframe(create_bqstorage_client=True)

code:copype_sheet.py

import google

google.colab.auth.authenticate_user()

creds, _ = google.auth.default()

import gspread

sheet_url = ''

gs = gspread.authorize(creds)

worksheet = gs.open_by_url(sheet_url).get_worksheet(0)

# worksheet = gs.open_by_url(...).worksheet('Sheet1')

df = pd.DataFrame(worksheet.get_all_values())

'''

# 前にデータ以外がある & 末尾に合計がある時の整形

cell = worksheet.find("ヘッダ左上セル")

start_row = cell.row

columns = worksheet.row_values(start_row)

columns

'''

code:read_csv.py

code:transport.py

import google

creds, _ = google.auth.default()

# requests

from google.auth.transport.requests import AuthorizedSession

authed_session = AuthorizedSession(credentials)

response = authed_session.get('...')

# colab の urlib3 は古くてサンプルコードはそのまま動かない

!pip install -q -U google-auth urllib3

import urllib3

from google.auth.transport.urllib3 import AuthorizedHttp

authed_http = AuthorizedHttp(creds)

code:copype_tf.py

import tensorflow as tf

import tensorflow_probability as tfp

Kernel 再起動

code:restart.py

import IPython

app = IPython.Application.instance()

app.kernel.do_shutdown(True)

どうせ無料なので思考停止で GPU 使う

これコードからできないのかな?

https://gyazo.com/d4e644e39d9b61309706b508217d8855

! でコマンド

カレントディレクトリの移動

% cd PATH

BigQuery dry-run

BigQuery クライアントの第2引数目が Config

code:dry_run.py

job_config = bigquery.QueryJobConfig()

job_config.dry_run = True

job = client.query(query, job_config)

# 以下のように処理バイト数見れる

for field in fields:

print(field, getattr(job, field))

BigQuery maximum_bytes_billed

クエリ発行時にスキャンサイズで制限をかけられる、Console のように scan サイズ見えないときの安全装置

code:maximum_bytes_billed.py

job_config = bigquery.QueryJobConfig()

job_config.maximum_bytes_billed = 5_000_000_000 # 5GB

result = client.query(query, job_config) # <- Error when it scans over than 5GB

制限を超えた場合は 400 が返ってくる、画面サイズによっては右にちょっとスクロールしないとエラーメッセージが見えないのでクエリの Syntax Error と一瞬では区別がつきにくい

Query exceeded limit for bytes billed: 5000000000. 5578424320 or higher required.

! command の出力見たいことないので /dev/null へリダイレクトする

!pip install tfcausalimpact > /dev/null

Magic Command

load_ext & unload_ext

IPython の拡張をロードする

よく使うもの

code:data_table

from google.colab import data_table

data_table.DataTable(data.airports(), include_index=False, num_rows_per_page=10)

グラフで日本語を使う

! pip install japanize-matplotlib

ファイルアップロード

code:upload.py

from google.colab import files

uploaded = files.upload()

code:read_file.py

import pandas as pd

import io

data = pd.read_csv(io.StringIO(bytes.decode('utf-8')))

data.head()

Google Drive に CSV で書き出す

Spreadsheet API を叩くより、まるごと書き出したいだけなら csv として Drive へ書き出して spreadsheet で開くのが楽

巨大な DataFrame を書いても Spreadsheet でまともに開けない、5000行ぐらいならすっといけるかな?

code:write_to_drive.py

from google.colab import drive

drive.mount('/drive')

df.to_csv('/drive/My Drive/test.csv')

# pickle

!mkdir -p '/drive/My Drive/colab/20230402_hoge/'

df.to_pickle('/drive/My Drive/colab/20230402_hoge/df.pkl')

code:write.py

with open(f'/content/output.tsv', 'w', encoding="utf-8") as f:

f.write(tsv)

Form の出し方

インタラクティブな notebook を作るのに便利

https://gyazo.com/660a5661c882936243428e4416b8b8fa

コメントで制御できる

code:form.py

text = 'value' # @param {type:"string"}

Vega dataset

グラフライブラリの描画テストなどによくでてくる

IPython.display

なんかいろいろ表示できる

from IPython.display import display, Markdown

横長の DataFrame をちょっと確認する

1カラムが長い時

長い文字列が入ってる時など見づらい

code:itables.py

import itables

itables.show(df)

# 折り返しするには css でやる...

css = """

<style>

td {

white-space: normal !important;

word-wrap: break-word !important;

}

</style>

"""

# CSSを適用

from IPython.core.display import HTML

display(HTML(css))

Docs など Google API を叩く

Oauth 認証画面つくらないといけない API でも Colab にのっかればちょっと楽

code:googleapi.py

import google

from google.auth.transport.requests import AuthorizedSession

google.colab.auth.authenticate_user()

creds, project = google.auth.default()

client = AuthorizedSession(creds)

monospace で表示

たまにアスキーアート的なアノテーション付きの text の diff などを表示したいことがある

vscode やブラウザ上での表示を含めて等幅にしたい

あれこれがんばるより HTML として描画したほうが簡単

code:monospaced.py

from IPython.display import HTML, display

def print_monospaced(text: str):

html_output = f'<pre style="font-family: monospace;">{text}</pre>'

display(HTML(html_output))

過去のセルの評価結果を得る