JAWS UG Niigata プチキャッチアップ 2023 履歴
気になる記事
re:Invent 2022 復習
EventBridge Pipes
Application Composer
Athena for Spark
Glue for Ray
OpenSearch serverless
Lambda SnapStart
CodeCatalyst
気になる記事
Lambda Web Adapterでウェブアプリを (ほぼ) そのままサーバーレス化する
S3でオブジェクト保存時に必ず暗号化されるように
気になる記事
AWS Python SDK (boto3) のリソースインタフェースが非推奨に
Partition Projection 設定不足で1クエリにつきS3のListBucketが大量にコールされた話
他
AWS Systems Manager Automation
1/23にExpert Onlineあるよ
Snowflakeを使ったデータ分析
Snowflake自体がAWSで稼働しており、AWSと相性が良い
お悩み相談
SageMakerで意外と課金がなされた
アラートメールは設定しておこう
メールが埋もれる → Slack通知も活用する？
AWSアーキテクチャ相談
EC2インスタンス1台の時は、1台だけのオートスケーリングを検討した方が良い？
検討した方がよさそう
ALBとCloudFront+ALBを使い分けてるところは、どういう意図があるのだろう？
ALB単独は、おそらくそこまで大量のアクセスがあるとは見込めないからALBだけで十分ということだと思うよ
ALBをパブリックサブネット、EC2をプライベートサブネットに配置してるけど、EC2に直接アクセスさせない理由は？
EC2へ直接アクセスを許すとセキュリティ攻撃を受けやすくなる
ALBにACMの証明書をアタッチした方が、証明書の自動更新などをAWS側で管理してくれるので楽
ALBにアクセスする構成にすると、後でEC2を増やしたい時などに対応しやすくなり、拡張性が高い
Auroraのカスタムエンドポイントはなぜ設定しているのだろう？
負荷が大きい処理と通常処理が混在して同じリーダーインスタンス上で処理されると負荷が大きい処理がスローダウンするからそれを予防するために設定すると思うよ
CloudFormationで一気に作っているけど、これがスタンダードなやり方なのだろうか？
自分は少しずつ作ってはスタック作成して、徐々に大きくしていく方法
一気に作って余計なところ削除しながら作るスタンスもある
もくもく会
Glue Studioを使ってETL処理
グラフィカル設定でETL処理が容易
設定内容のPythonスクリプトも出力される
PythonスクリプトなどのコードもGlue Studio上で記述可能
Connection設定さえしっかりやれば問題なさそう
もくもく会
Glue Studioを使ってETL処理（前回の続き）
Glue Connection設定しておくと、Pythonスクリプト上でawswranglerが便利に使える
code:glue_job.py
import awswrangler as wr
conn = wr.mysql.connect(GLUE_CONNECTION_NAME)
with conn:
df = wr.mysql.read_sql_query(
sql = 'select * from hoge',
con = conn,
)
wr.s3.to_csv(
df = df,
path = 's3://BACKET_NAME/PATH/FILE.csv',
index = False,
)
Version Controlも使える。ブランチ固定っぽいので、簡易的な使い方になりそう。あとGitHubだとPersonal Access Tokenをログインのたびに入力しないといけないので、CodeCommit使う方が便利そう。
お話し
ECSハンズオン
Amplifyハンズオン
AmplifyでのNext.js SSR機能はLambda@Edge使っているみたい
裏でServerless FrameworkのServerless Next.js Plugin使っているらしい
もくもく会
Glue for Rayを試す
まずはお試しでひたすらサンプルコードを写経
使用感は良いので、Rayをもっと触っておきたい。
参考:
後日、Rayのドキュメントも参考にしてより触っていく予定
気になる記事
Amazon Lightsail for Research
ECSタスク定義リビジョンの削除をサポート
お悩み相談
ECS FargateのコンテナビルドをCodeBuildで実施。うまくECS Execができない。
一応、CodeBuildでビルドしてるが、そこではECS Execはできている。
ビルドの際のコンテナへのインストールはDockerfileに記載しよう
buildspec.yml の install に記載してもコンテナには反映されない (CodeBuildの環境へのインストールだから)
Docker Hubからのイメージダウンロードでリミットに引っかかる
IPアドレスガチャがあるから、ログインしてダウンロードすると安全
ECR Publicにあるイメージであれば、ECR Publicからダウンロードする方法もあり
気になる記事
Amazon RDSがAWS Secrets Managerとの統合をサポート
Single AZなRedshift Clusterを、あとからMulti AZに再配置
Application ComposerがGA
その他
CloudFront + WAFのログをS3に配置
東京リージョンにバケット置くか、バージニア北部にバケット置くか
東京リージョンにバケット置くと、リージョン間通信が発生しそう。一回試してみると良いかも
Amplify SNSワークショップ試したが、最新バージョンのNodeなど入れたら色々動かなくて苦戦。
バージョンは資料に記載あるもので指定しよう
Aurora クラスタの Performance Insights 有効化
クラスタに有効化すると、配下のインスタンスが有効化される
Application Composerを実際に試す
ローカルPC上のディレクトリと同期して、Application Composerで作成した構成内容の雛形Lambdaソースが自動作成されたり、SAMテンプレートが作成されたり。
デプロイはAWS CLI + AWS SAM CLIを使って、sam build & sam deploy で行う
GUI上でサーバーレス構成をサクッと構築できるのは面白い
気になる記事
S3 インターフェースエンドポイントでプライベート DNS 名を使用可能に
Amazon Linux 2023がGA
CfnでAurora作成時にResourcesのDBInstance側で設定してはならないプロパティまとめ
他
ECSでコンテナ間の通信をする際はロードバランサを挟んだ方がいい？
Cloud Map や App Mesh もある
シンプルなものであれば、ロードバランサを使うのも良い
Local Zonesってどのような時に使うの？
低レイテンシが必要なケース
他にもOutposts や Wavelength もある
気になる記事
Clean RoomsがGA
Clean Rooms用のData Connectorテンプレートもあるみたい
AWS ChatbotがMicrosoft Teamsをサポート
他
ECSのBlue/Greenデプロイメントで、Blue側リスナーを80番、Green側リスナーを8080番にした際に対応するターゲットグループとかも8080番にしてたけど動かなくて、結局Blue/Green側のターゲットグループとも80番に揃えた。分ける必要がないのはなぜだろう？
リスナーさえ分かれていれば、ターゲットグループ配下はポートを統一しておけば問題なく動く
分ける必要なく動くということ
Tips
Timestreamで大量の結果を取得すると、Rowが空で返ってくる
NextTokenが渡ってくるので、それを使って再度リクエストを繰り返す必要がある
QuickSightの無料枠
30日間無料トライアルあり
RDSのスロークエリログ
設定し、クエリを流してしばらくするとロググループが出来上がる
Security Hub
セキュリティチェックの自動化とアラートの一元管理ができるらしい
まだ使ったことはない
Former2などを使って既存リソースからCfnテンプレート作成したことある？
作成したことはない
既存リソースからCfnテンプレート作成しなきゃならない場面にまだ遭遇した事がない。
アーキテクチャ構成図自動生成ツール
使ったことはない
基本はVS Code上でdraw.ioのアドオン入れて、VS Code上で作図する事が多い
気になる記事
VPC Lattice が GA
他 VPC Lattice の記事
VPC内でリバースプロキシ使いたい場合にALBではなくVPC Latticeを使うと簡潔に使えそう
ヘルスチェックもできそう
他
Application Managerとは何か？
関連するリソース群の情報を集約して可視化できる
Cfnスタックにあるリソースの情報を可視化できたり、リソースグループでまとめられたリソースの情報を可視化できたり
もくもく会
Mountpoint for Amazon S3を試す
OSSで構築された、Linuxファイルシステム上にS3バケットをマウントできるツール
アルファリリースのため、まだRead-Onlyしかできない → 今後に期待
現状はソースをビルドしてインストールする
気になる記事
AWS Summit Tokyo 2023
カプコンのクラウド活用事例
他は記事やアーカイブを見てみます
CodeCatalystを触ってみる
CloudFormation の Fn::FindInMap 関数の言語拡張強化
Cloudformation テンプレートに Transform: AWS::LanguageExtensions の記載が必要。
他
Nodejs v18 で aws-sdk を使った際のハマりポイント
@aws-sdk/rds-signerのように、 @aws-sdk で指定しなければならない
credentials: fromNodeCredentialProvider(), の箇所は、 fromNodeCredentialProvider() が Promise返すようになったため、 await fromNodeCredentialProvider() にしなければならなかった
最終的にIAMロールから認証情報もらうようにしたので、 credentials: await fromEnv() と記述した
気になる
はまった話
S3のデフォルトが変わった話
terraformで引っかかった
AWS落ちた
スキルビルダー4日間落ちてる
AWSレイオフ
Cloudflare
Lambdaで6MB以上のレスポンスを返せるようになった
気になる記事
新サービス AWS User Notifications
Glue Visual ETLがネイティブにRedshift機能をサポート
Glue StudioのVisual Editorから、Glue Data Catalogを使わなくても直接アクセスが可能になってる
Lambda で Python 3.10 ランタイムサポート
気になる記事
AWSマネジメントコンソールへのプライベートアクセス
VPCエンドポイント経由でAPIアクセスできるだけで、静的コンテンツ等はインターネットから取得する
AWS Glue 大規模インスタンスタイプがGA
AWS Verified Access
他
git-secrets
もくもく会
サーバーレスWebアプリを個々のサービスでの構築とAmplifyでの構築で試す
Amplify Studioが面白い
もくもく会
前回の続き
サーバーレスWebアプリを個々のサービスでの構築とAmplifyでの構築で試す
次回はApp Runner版を試したい
気になる記事
高I/Oワークロード向けのAurora DBクラスタ「Aurora I/O-Optimized」がサポート
お悩み相談
CloudFront等のログを保管するS3バケットをCloudformationで作成しようとしたが、以下のようなエラーが出力される
Bucket cannot have ACLs set with ObjectOwnership's BucketOwnerEnforced setting.
以下の記事はCDKでの対処法だが、CDKでCloudformationテンプレートのyaml出力を出せるので、それを参考にすると良いかも。
他
Cloudcraftは、既存のAWSリソースを元に構成図が作れるらしい
Amazon Security Lake試してみた
気になる記事
Glue Data Quality が GA
Glue for Ray が GA
新潟県とAWSの提携
CloudWatch Logs の Live Tail 機能
他
S3のデフォルト ObjectOwnership が BucketOwnerEnforced に変更
クロスアカウントでのVPC Peering
気になる記事
EC2 Instance Connect Endpoint
Verified Permissions が GA
他
Webサーバーの移行
他社VPSからAWSへ移行
移行期間2週間
EC2にMySQL入れて動かす
移行後にRDS導入してデータを移行予定
Application Load Balancerを入れる
もくもく会
Glue for Rayの外部モジュール導入を試す
PyPIの場合: "--pip-install", "scikit-learn==0.21.3"のように引数で渡してあげればOK
S3配布の場合: "--s3-python-modules", "s3://s3bucket/pythonPackage.zip" のように引数でパスを指定すればOK
S3配布を試したが、実行時にうまく読み取れなかったので、また別途試します。
もくもく会
App RunnerのRDSアクセスを試す
他参考
マネコンから設定して、問題なくアクセスできた。
CDKでサクッと環境構築できるように構成中に時間切れで終了したので、続きはまた別途行います。
気になる記事
EC2 Instance Connect Endpoint利用可能なポートに制限
お悩み相談
RDS (PostgreSQL) をシングルAZでやるか、マルチAZ (1スタンバイ) でやるか
コスト面で選ぶか
メンテナンス作業面で選ぶか
スナップショットの保持
PostgreSQLの自動フェイルオーバー
WAFでIP制限とbot制限かけたい
気になる記事
Mountpoint for Amazon S3
4月に試した時より、新規作成が可能になった
他
SESのDKIM問題
検証で最大72時間待つ
CfnのGuard 3.0
Cfnテンプレート等が、事前定義ルールに従っているか検証可能
AWS認定取得のモチベーション
気になる記事
IVSの高頻度サムネイル生成をサポート
Lambdaの再起ループを検出して停止
現状はS3イベントはまだ検知できない。
RedshiftでQUALIFY句がサポート
DynamoDB Shell
もくもく会
次週実施のハンズオン資料の見直し
Amazon LightsailとAWS App Runnerを実施
気になる記事
パブリックIPv4アドレスの利用料金
Glue for Ray
他
What's new AWS (非公式)
育休中に見ている
Parquetの他のデータ形式として「Apache Iceberg」
トランザクションサポートしてる
もくもく会
Glue for Rayで、Redshift Data APIを使ってRedshiftにアクセスしてみる
Glue for Rayは現在VPC内への接続ができないが、VPC内への接続をしなくてもRedshift Data APIを使えば、VPC内にあるRedshiftクラスタにアクセスできるのではないかと思い、実際にやってみた。
Redshift Data APIを簡単に扱うために、AWS SDK for Pandas (AWS Wrangler) の Data API機能を利用
思いの外簡単にアクセスできたので、後でブログにまとめる。
もくもく会
Redshift Data APIで、別アカウントからのアクセスを試す
署名v4でのAPIアクセスを試す
気になる記事
SageMaker Model Cardsがクロスアカウントでmodel cardsを共有可能
Cloudformationの Fn::ForEach
お悩み相談
最近AWS触れてない。8月のJAWS-UG新潟のハンズオン会に参加したかったけど、参加できなかった。また学び直していきたい。
ハンズオン資料を見ながら、内容を振り返る
初期設定・Lightsail・App Runnerのふりかえり
もくもく会
Redshift Data APIの最大クエリ実行数 200 に到達した時のエラー内容確認
boto3上で ActiveStatementsExceededException例外が発生
実行数200を達成するためにbatch_execute_statementを多重実行するなどして、なんとか発生させた。
もくもく会
DynamoDBのクロスアカウントアクセスを試す
DynamoDBのTransactionを試す
もくもく会
AWS SDK for Pandas (awswrangler) を使って、TimeStreamにアクセスを試す
VPCエンドポイントの設定は、以下で可能
wr.config.timestream_query_endpoint_url
wr.config.timestream_write_endpoint_url
気になる記事
AWS Certified Data Engineer - Associate 認定試験が新設
DynamoDBの増分エキスポート機能が追加
他
AWS認定試験
Associate試験はどこから取得した方が良いか？
Solutions Architect - Associateが、AWSサービスを広く学び、全体像を掴めるので、おすすめ
Associateチャレンジで認定試験50%割引
チャレンジ申し込みは9/29(金)まで、試験は10/31(火)まで割引対象
Glueを使って、BigQueryにアクセスする方法
Glue Connector for Google BigQueryを用いる
AWS AI Week For Developers
10/17 (火) - 10/19 (木) の3日間
気になる記事
Amazon BedrockがGA
LangChainからも使えるよ
東京リージョンでも使えるよ
Stable Diffusionで画像生成もできるよ
VPCエンドポイント経由でアクセスできるよ
Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた
記事ではGoogle Cloud使ってるけど、AWSやAzureでも同様のサービス使えば実現できそう
もくもく会
SageMaker Studio Labのノートブック上から、Amazon Bedrockを利用してみた
アクセスキーの設定とIAMポリシー設定さえ上手くやれば、何とかなりそう
boto3は %pip install で最新版をインストール
もくもく会
SageMaker Studioから、Amazon BedrockのWorkshopを試してみた
結構ハマりどころが多い
pipのバージョン互換性で、足りないモジュールやバージョン違いにハマる
実行ロールにbedrockへの権限がないので、IAMロール設定にハマる
Amazon Titanがまだpreviewで使えないため、Workshopに記載のモデル(Titan)を変更すると、入力プロンプトが異なるのでハマる
初心者向けに、現状で少しでもハマらないように、ある程度カスタマイズしたノートブックを用意した方が良さそう
気になる記事
SQSのFIFOキュー高スループットモードの制限が引き上げ
管理ポリシー CloudWatchFullAccess が非推奨 => CloudWatchFullAccessV2 への置き換えが推奨
他
RDSでの証明書変更
Step Functionsのエラー・リトライ処理
Bedrock Workshopのおさらい
雑談
AWS認定でSAA無事取得した話
AWS認定で新試験ベータ版登場と廃止についてのお話
ベータ版: AWS Certified Data Engineer - Associate
2024年4月に一般公開
廃止: AWS Certified Data Analytics - Specialty
2024年4月に廃止
生成AIの話
OpenAI / Amazon Bedrock / Google Bard
JAWS FESTA 2023 in Kyushuの話
もくもく会
Amazon BedrockをLangChainを使って会話してみた
意外と使える。boto3直接叩くより楽。
今度は簡単なRAGも試してみようと思う。
雑談
生成AIについて
Amazon BedrockやOpenAI、LangChainなど
Control Tower上でのAmazon Config課金について
1ルール作成して適用したけど、思いの外料金かかってる
理由がわからないので、一旦サポートに問い合わせてみると良いかも
AWSサポートは、Basicだと技術的なことが聞けないので、一時的にDeveloperにレベルを上げるのもあり。Developerレベルの期間で日割り料金にはなる。
Amazon Kendraについて
ドキュメント検索でうまく使いたい
Developer Editionでも、使いっぱなしだと課金額が結構かかる
もくもく会
Amazon BedrockからStable Diffusionを使って画像生成してみた
まだv0.8までしか使えない
アニメタッチな画像はそこそこ良い絵ができている
画像に文字を入れたり、日本語のプロンプトはこれからに期待
気になる記事
AWS re:Invent 2023
Amazon Q関連
Amazon Q
Amazon Q Code Transformation
Amazon Q in QuickSight
Amazon Q in Connect
Amazon Bedrock関連
Agents for Amazon Bedrock
Knowledge Base
Fine tuning & pre-training
Guardrails for Amazon bedrock
Amazon Aurora Limitless Database
Amazon S3 Express One Zone
Amazon ElastiCache Serverless
気になる記事
AWS re:Invent 2023
AWS Management Console myApplications
Amazon CloudWatch Application Signals
SageMaker Studio VSCode-OSS CodeEditor
AWS Application Composer in VS Code
Amazon Inspector CI/CD Container Scanning
Lambdaの同期呼び出しのスケールアウトが12倍高速化
generative-ai-cdk-constructs
気になる記事
AWS re:Invent 2023 ふりかえり
Amazon Q
Amazon Bedrock
Vector Store
RDS for Db2
Application Composer
Application Composerを実際に触る
Step Functions Workflow Studioも起動
Serverless開発初心者やIaC初心者には結構扱いやすいサービスの印象がある
もくもく会
VS Code上でApplication ComposerとStep Functions Workflow Studioを使う
最初、VS Code上での起動の仕方が分からず、迷った
Lambda関数の雛形ファイルが出来上がるが、ファイル名が固定なのが気になる
SAMに慣れれば、より使いやすくなる可能性が高い
2023/12/28 (木) はお休み