qtatsuの週報

Python/Django/TypeScript/React/AWS

DynamoDB

【AWS CDK】Amazon DynamodbとAmazon OpenSearch Serverless のzero-ETL integrationを AWS CDK で構築する

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. CDKのプロジェクト作成 2. S3 3. DynamoDB 4. IAM Role 5. Amazon OpenSearch Service Data Access Policy Encryption Policy Network Policy 6. IAM Policy 7. Pipeline デプロイとテスト 削除 まとめ…

【AWS CLI】Amazon DynamoDBとAmazon OpenSearch Serverlessのzero-ETL integrationを AWS CLI で構築する

前書き 注意点 参考リンク 環境 全体像 0. 事前準備 1. S3とDynamoDBの作成 2. PipelineのRoleを作成 3. Amazon OpenSearch Collectionの作成 Data access policiesの作成 Encryption policiesの作成 Network policiesの作成 4. Policyの作成 5. Pipelineの…

DynamoDBから1MB以上のデータを取得する(boto3)

前書き 結論 参考リンク 環境 DynamoDB DynamoDBのセットアップ テーブルの作成 データの投入 補足: base64 scan用のデータ scanメソッドで1Mb以上のデータを取得する場合 queryメソッドで1MB以上のデータを取得する場合 注意: limit句がある場合には気をつ…

pandasのDataFrameとDynamoDBの相互変換

はじめに 無理矢理感があるので、あくまでこういう方法でもできる、という程度の個人的な覚書です。 DataFrameで持っているデータをそのままDynamoDBに突っ込む DynamoDBのデータをDataFrameに入れる この二つをboto3を使って行います。 前提として パーティ…

ローカルでDynamoDBを動かす

はじめに DynamoDB ローカル credential(.aws/credentails)について 設定の変更方法 実例 NoSQL Workbench はじめに boto3やaws cliからDynamoDBを扱う練習をするのに、公式の以下のツールが簡単で便利なので、個人用として使い始めました。そのセットアップ…