AWS re:Invent 2021で発表された個人的に気になるサービス3選

Amazon EMR Serverless (preview)

Amazon EMRはApache Spark, Hive, Prestoなどの大規模分散処理ワークロードクラスターのプロビジョニングやスケーリングなどを管理をしてくれるサービス

これらはEC2インスタンス上に構築されていたが、今回のEMR Serverlessにより開発者はサーバーの管理をすることなくワークロードを実行可能になった

また、Amazon Redshift Serverless, Amazon MSK Serverless, Amazon Kinesis On-Demandも同時に発表された。

AWS Lake Formationのセキュリティ機能アップデート (GA)

AWS Lake Formationは、AWS Glueの拡張機能として、よりセキュアかつ簡単にデータレイク環境を構築するためのサービス

ブループリントと言われるデータ管理のワークフローテンプレート

IAMを拡張した独自のアクセスパーミッションモデル

今回の機能アップデートにより、テーブルレベル・カラムレベルのアクセス制御に加えて、行レベル・セルレベルでのアクセス制御も可能になった

他にも、トランザクションがサポートされ一連のETLプロセス中にエラーが発生した場合の変更はコミットされないようになった。

ちなみに、今回Athenaでもトランザクション対応が発表された（preview)

SageMaker Studio Lab (preview)

既存のSageMaker Studioの機能のサブセットとして、JupyterLab IDE上で機械学習を学習・実験するための無料ツール

基本的な機械学習・分析関連ライブラリはインストール済み

セッションあたり12時間分のCPUもしくは4時間分のGPUにあたる計算リソースと16GBメモリ、プロジェクトごとに15GB分のストレージが利用可能

Google Colaboratoryと比較したメリットとしては、利用可能な計算リソースが明示されていること、セッションの自動保存機能があること、Githubとの連携が充実していることが考えられる。