調べる・試す
Introduction to BigQuery data preparation  |  Google Cloud
--- ここから上に追加する ---
EventTarget でなんかやる
array-callback-return - Rules - ESLint - Pluggable JavaScript linter つかう
eslint-recommended に入って欲しい
eslint/eslint-recommended.js at master · eslint/eslint
Go で Tracing いい感じにする
Stackdriver Traceを強制的に出力する · Issue #72 · gcpug/nouhau
shared 20180923 Trace in Go and Distributed Tracing (Student Go #1) - Google スライド
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita 眺める
google/pprof-nodejs: pprof support for Node.js
同じ logName で複数のフィルタで sink を BigQuery へ作った場合どうなる?
BigQueryのデータのアクセス権限BigQueryのセキュリティを考える | MAGELLAN BLOCKS
fonttools/fonttools: A library to manipulate font files from Python. で遊ぶ
CLOUDSDK_ACTIVE_CONFIG_NAME
Buildkit の --mount=type=cache のしくみ
FernandoMiguel/BuildKit: A playground and examples of docker-compose vs buildx bake 例いろいろ
Google が管理するサービス アカウント - サービス アカウント  |  Cloud IAM のドキュメント  |  Google Cloud
ひと通り見ておく
スキーマの不一致 - ログ用の BigQuery スキーマ  |  Cloud Logging  |  Google Cloud
PROXY protocol https://www.haproxy.org/download/1.8/doc/proxy-protocol.txt
フィールド レベルのアクセス制御  |  Cloud Logging  |  Google Cloud
BigQuery ERROR & ASSERT
徹底解説! return promiseとreturn await promiseの違い
Application Default Credential の billing ってどう動く? 別プロジェクトについててそのプロジェクトで API が有効になっていなければどうなる??
INFORMATION_SCHEMA.JOBS_BY_* で BigQuery ジョブ警察🚨 - Qiita
サンプルデータ:TPC-DS — Snowflake Documentation
TPCが設定したビッグデータ向けベンチマークテストは、非構造化データや半構造化データの処理、機械学習まで性能測定の対象 [PR] - Publickey
View のカラムの説明が空の場合、参照元テーブルの説明を引いてきてセットする、みたいなのクエリでできないかな
新しいサービスアカウント作成画面のそれぞれの役割しらべてまとめる、ユーザーロール & 管理者ロールとか
BigQueryにASSERT文が来たのでDebuggingのおさらい - Qiita
Firestore のアクセス制御、うっかり ADC で本番DBにアクセスさせないようにするには?
リポジトリに置く Run on Google Cloud作ってみる
AppEngine でもいける?
yarn add -D @app/gql@link:./src/gql みたいなやつ
Introduction | Docusaurus
Search more with less | Quickwit
WBS WBS とは?効率的にプロジェクトを管理する方法 • Asana
パーティション数の上限に近くなっているテーブルを列挙するクエリ
OAuth 2.0 を使用した Google API へのアクセス  |  Google Identity Platform  |  Google Developers
これで半年で refresh token が revoke されていそう?(app が消えている) なのが何故か
BigQuery の jobid の prefix 指定する方法がある?
CLI の dataform からリクエスト送ったところ dataform- prefix がついた
BigQueryのストレージ料金プランを変更して、年間数千万円を節約する - ZOZO TECH BLOG
How to Favicon in 2023: Six files that fit most needs—Martian Chronicles, Evil Martians’ team blog
クラスタ化テーブルの概要  |  BigQuery  |  Google Cloud
https://twitter.com/__syumai/status/1633566724892291073
ts satisfies
startTransition
「データカタログ入門」Data Engineering Study #16 - YouTube
https://twitter.com/kzkHykw1991/status/1647581818252828673
https://twitter.com/moguranosenshi/status/1646109716517621765
https://twitter.com/kokonatsu2214/status/1655016362379726849
ガウス過程・PLS
部分的最小二乗回帰(Partial Least Squares Regression, PLS)~回帰分析は最初にこれ!~ | データ化学工学研究室(金子研究室)@明治大学 理工学部 応用化学科
https://twitter.com/behemuhemulove/status/1652908866588520448
クラスタリング・階層ベイズ・状態空間モデル
Two-Tower モデル作って遊ぶ
TensorFlow Recommenders と Vertex AI Matching Engine によるディープ リトリーブのスケーリング | Google Cloud 公式ブログ
type-challenges/type-challenges: Collection of TypeScript type challenges with online judge
BigQuery ML を使用して Google アナリティクス データからレコメンデーションを行う  |  Google Cloud
PINTO0309/PINTO_model_zoo: A repository for storing models that have been inter-converted between various frameworks. Supported frameworks are TensorFlow, PyTorch, ONNX, OpenVINO, TFJS, TFTRT, TensorFlowLite (Float32/16/INT8), EdgeTPU, CoreML.
Innovative Recommendation Applications Using Two Tower Embeddings at Uber | Uber Blog
Building LLM applications for production
https://twitter.com/sakuranolabo/status/1764987162708345295
embedding tuning
generative-ai/embeddings/get_started_with_embedding_tuning.ipynb at main · GoogleCloudPlatform/generative-ai
Privileged Access Manager overview  |  IAM Documentation  |  Google Cloud
shap/shap: A game theoretic approach to explain the output of any machine learning model.
Home - PyCaret
ts using
decoding 時に色々工夫できないか
Whisperの音声文字起こしの修正に第二候補以降が使えないか試してみる|oshizo 的な
srush/GPU-Puzzles: Solve puzzles. Learn CUDA.
Gemma 2Bを3種類のタスクで埋め込みモデルとして訓練しマージして比較する|oshizo
2024/10/11 Pydantic BaseModel を def や ref をほぐしつつ Gemini の受け入れる JSON にしたい
TaskType の Embedding がどの程度良いか、タスク決めて比較する
Embedding 使う他の Transformer 使ったタスク実行
KerasNLP を使用して Gemma を使ってみる  |  Google AI for Developers
KerasNLP Models
google-gemini/gemma-cookbook: A collection of guides and examples for the Gemma open models from Google.
kininaru
Fine-Tuning GEMMA-2b for Binary Classification (4-bit Quantization) | by Sabaybiometzger | Medium
langchain
generative-ai/gemini/agent-engine/tracing_agents_in_agent_engine.ipynb at main · GoogleCloudPlatform/generative-ai
Google | speech_embedding | Kaggle
調べた
ORDER BY updated_at DESC
x Cloud Build で Conditional Step
x 小さめオープンモデルの FineTuning
2024/11 LLM チューニング日記
x Hugging Face モデルをイメージに焼く方法確立しておく、いまなら普通にあるはず
huggingface-cli でダウンロードする
x cookbook/examples/Classify_text_with_embeddings.ipynb at main · google-gemini/cookbook
2024/10/11 TextEmbedding から分類器を作りたい
整理
GAE で特定のディレクトリに入ったログを勝手に集めてくれたりしないかなー sidecar
PubSub のメッセージ内容を確認したい
ack せず pull したらいい
Next.js を 1 つの Cloud Function で複数のエンドポイントとか画像とか配れない?
まあ Function 選ぶ理由がなくなって興味ない
Logging で stdout に書きつつ別の logName にできたりせんか
むりじゃね
Pub/Sub メッセージを subscription でフィルタできるやつ
PubSub message filter: small feature for big improvements
schema と合わせてどっかで使った
/potato4d/React Component を NPM パッケージとして公開する
必要になったら思い出す
ユーザーを笑顔にする BigQuery の使いやすい SQL 新機能 | Google Cloud Blog
もはや普通に使うのが多い
renovate の packageRules が俺の思った挙動ではない件
興味が
コンテナ運用のおすすめの方法  |  アーキテクチャ  |  Google Cloud
必要なときに
ONBUILD 使うことある?
ないこともないがハイテクで忘れそう
x fabian-hiller/valibot: The modular and type safe schema library for validating structural data 🤖
使った、isoDateTime が yyyy-mm-ddThh:mm でハマった
x User-defined aggregate functions  |  BigQuery  |  Google Cloud
View に ORDER BY 書いてたら、いや集合なんだからさ〜といいたくなるが関数ならしゃあないかと思うのが新鮮
x ML.GENERATE_TEXT で gemini 使ってみる
Connection になるのは分かるんだがもうちょい楽に使わせてくれ BigQuery#66d10b7f38446100000eeb86
x Jotai, primitive and flexible state management for React ためす
jotai
x next standalone
まあリリース用コンテナ作る時やね...
x buildx
もう docker buildx build やね
x bigquery coalesce わかっても使ってない
x unpivot
Numpy & Pandas#64a399bf3844610000218e1c
x ベクトル検索サービス使う
LanceDB で遊んだ、早くもうちょいこなれて欲しい
x Cloud Load Balancing + IAP で特定の GSuite / Google アカウントに見せるパターン
やった
x gcloud functions deploy の --egress-settings / --ingress-settings をためす
ちょっと違うけど GAE で LB 経由でのみ許可するときにやった
x GAE でアプリケーションから tmp に symlink 貼って使える?
symlink 貼る事自体が workspace への書き込みなのでうまくいかない
2023/10/17 GAE で .next を /tmp に移して起動
x あ? asia.gcr.io → asia-northeast1 への転送費用かかるようになっとるやんけ!! Artifact Registry への移行試したい
当然した & Cloud Build でも region 指定する癖がついた、ケチなので
x スヌーズの作成と管理  |  Cloud Monitoring  |  Google Cloud
まあ便利だけど幅じゃなくて期限を指定させてくれよ、あと土日は見なくていいアラートは自動でスヌーズにしたい
x Terraform で GCP IAM 設定どれ使うのがいいのか
結構前にやった
Professional Cloud Security Engineer でちょっと触った系
x Cloud Data Loss Prevention の自動化 | Google Cloud Blog これであそぶ
x Web Security Scanner の使用  |  セキュリティ コマンド センター  |  Google Cloud うーん
x Event Threat Detection のコンセプトの概要  |  セキュリティ コマンド センター  |  Google Cloud
x Creating and managing schemas  |  Cloud Pub/Sub ドキュメント  |  Google Cloud
x Cloud Functions integrates with Google Secret Manager | Google Cloud Blog
ADC で毎回叩くほうが管理楽
ローカルでやるなら gcloud で環境変数に展開する
TOKENS=$(gcloud --project=pokutuna secrets versions access latest --secret=linebot) yarn ts-node sketch/remo.ts
x AutoML Natural Language 初心者向けガイド  |  AutoML Natural Language ドキュメント  |  Google Cloud
x Hugging Face 使ってみる
x https://cloud.google.com/bigquery/docs/visualize-looker-studio?hl=en#looker-studio-integration
まあ使わんな...
x Cloud Logging 監視で各種 Operation Log の absent を監視できないか
できるのだが、アラート条件が1日窓以下だから意外と使い出がない、週1のジョブ走ってないじゃん! を見つけたい...
x Scripting Statement 使って何かいいことできないか
Dataform のデバッグしてる時に雰囲気は掴んだ
x vercel/swr: React Hooks library for remote data fetching 使ってみる
整理
外部テーブル使ってみる → date の format を変換するために spreadsheet を GCS に置いて外部テーブルで STRING を parse しつつ INSERT した
Best practices for using and managing service accounts
もう impersonate まで俺の中では常識
Apollo client で Custom Scalar をいい感じにするやつ
これはもうマシなのある気がする
%T にするやつ見る
これは便利につかってる、FINGERPRINT して差分のある行を取り出したり
VSCode で editor.action.navigateBack がタブをまたぐのがめちゃイライラするのでなんとかできないか
解決済み → https://github.com/microsoft/vscode/issues/36634
Cloud Build から gcloud builds submit --config で別のジョブを kick
やった
cache する About - actions/setup-node: Set up your GitHub Actions workflow with a specific version of node.js
当時からオプション一発になったので考えなくていい
x Workload Identity のユーザで spreadsheet を操作する
GCP metadata server から spreadsheet などの API 叩けるか
x デフォルトサービスアカウントの情報をコンテナにマウントする方法
コンテナ & gcloud 認証情報
x 有効期間が短いサービス アカウント認証情報の作成  |  Cloud IAM のドキュメント  |  Google Cloud
サービスアカウントのなりすまし
x Quickstart for On-Demand Scanning  |  Container Analysis documentation
GCP Container Analysis On-Demand Scanning してみる
x Logging → Cloud Storage へ転送している時に、後から古い時刻のログがきたらどうなる?
Cloud Logging#5f646b51384461000087d56f
x BigQuery で OVER も使ってない、絶対使うはず
ROW_NUMBER() OVER (PARTITION BY ...) でよく使う BigQuery クエリ#5f6443533844610000bed7ee
x Dataflow でデータを加工してみる
Dataflow
x field-selector で使えるリストどれ
kubectl#60a4779438446100001e4e1b
x BigQuery のスキーマ変えるいい方法 BigQuery#603da52e3844610000286d31
x Cloud KMS と Secret Manager の使い分け
x tslib/import-helpers 使ってみる tslib
x Next.js で Analyze する
Page Speed Insights ちょっと改善した
x Cloud Build から push する試み
x BigQuery GENERATE_TIMESTAMP_ARRAY でバケットを作って集計
x BigQuery partition 残存期間の外のデータを入れたらその場で消えるかどうか
BigQuery Partition Expiration でパーティション制限を超えたい - pokutuna
x BigQuery で WITH 句使った
BigQuery クエリ#5ef162e3bbf7390000343bd8
x Pub/Sub の Sub のスロットリングどうする? pull にしてうまく制御する?
Pull する Function を Cloud Scheduler で定期起動
Cloud Tasks を使う
PubSub ごと置き換わるイメージ、個々の Task に payload が入り、Cloud Tasks が実行制御をする
x Cloud Functions でエラー時のグローバルの状態どうなる?
クラッシュしたら再利用されない Cloud Functions#5da8bc32bbf7390000a28c5f
Cloud Functions 実行環境  |  Google Cloud Functions に関するドキュメント
x Datastore エクスポート完了はどうやって知る?
イベントで知る方法はなくて、gcloud datastore operations list(とそれに相当するAPI)の結果を見る
x $ gcloud projects add-iam-policy-binding $PROJECT ... --role={role} の --role 同時にたくさんしていしてうまくいくんだっけ?
いかない、1つずつ role をセットする必要がある
x Cloud Functions に GOOGLE_APPLICATION_CREDENTIAL 渡してアクセスうまくいかない場合どういう感じか見たい
Cloud Functions にサービスアカウントキーを渡す
x Cloud Functions で stdout へ json 書いたときの挙動変わったよね?
2020/2 Cloud Functions nodejs10 runtime で JSON のパースの様子が変わった
x BigQuery へコラボラトリーする
Colaboratory
賞味期限切れ
テーブルからテーブルにデータを移す時 _PARTITIONTIME はどうなる?
もう DDL で指定するからいいや
ブラウザを用いたリスク検出ツールchromepatrolの紹介とChrome DevTools Protocolの話 | リクルートテクノロジーズ メンバーズブログ
Container-Optimized OS で cloud-init などでログエージェントの設定を追加したい、別の logName を追加したい(/etc/google-fluentd/ 以下に設定を追加する? {logName}/{tag} になると思うがどうか)
何でもサーバーレスなので
BigQuery Monitoring の概要  |  Google Cloud
Using secrets from Secret Manager  |  Cloud Build Documentation これ使う
使うときは使うでしょ
Creating and managing schemas  |  Cloud Pub/Sub ドキュメント  |  Google Cloud
Pub/Sub の Context の型、自然に import できるのは Class のほう? だったきがするけど実際にはなんなのかみる
新しいサーバーレスの Datastream で、変更データのキャプチャとレプリケーションを最大限に活用 | Google Cloud Blog
Diagrams · Diagram as Code