qtatsuの週報

Python/Django/TypeScript/React/AWS

AWS CLI

【AWS CLI】Amazon DynamoDBとAmazon OpenSearch Serverlessのzero-ETL integrationを AWS CLI で構築する

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. S3とDynamoDBの作成 2. PipelineのRoleを作成 3. Amazon OpenSearch Collectionの作成 Data access policiesの作成 Encryption policiesの作成 Network policiesの作成 4. Policyの作成 5. Pipelineの…

【AWS Glue】custom classifierを利用してログファイルからデータを抽出/変換する!【AWS CLI】

前書き 環境 前提知識 Classifier 前準備(データの投入) 実際の手順 Databaseの作成 Classifierの作成 crawlerの作成 crawlerの情報確認 クローラの実行 ジョブの作成 & 実行 ジョブスクリプトの作成 ジョブの作成と確認 ジョブの実行 前書き この記事は、JS…

【AWS Glue】開発エンドポイントをAWS CLIで構築してSageMaker Notebookを使う

前書き 注意: 開発エンドポイントの料金 環境 開発エンドポイント/SageMaker Notebookの環境構築手順 事前準備 IAMロールの作成 IAMロール作成手順 1. S3バケットと、バケットへのアクセス権限を定義したIAM ポリシーの作成 2. 開発エンドポイント用のロール…