qtatsuの週報

Python/Django/TypeScript/React/AWS

2020-12-01から1ヶ月間の記事一覧

Pythonの組み込み関数zipに渡したイテレータはコピーされず、元のイテレータが消費される

前書き 参考リンク 環境 本題: 何が起こるのか? zipにイテレータを渡した際の挙動を理解する 前書き タイトル通りの小ネタです。 この挙動を積極的に利用しているコードを散見するのですが、見るたびに混乱するので自分への戒めとしてまとめておきました。 …

【AWS Glue】custom classifierを利用してログファイルからデータを抽出/変換する!【AWS CLI】

前書き 環境 前提知識 Classifier 前準備(データの投入) 実際の手順 Databaseの作成 Classifierの作成 crawlerの作成 crawlerの情報確認 クローラの実行 ジョブの作成 & 実行 ジョブスクリプトの作成 ジョブの作成と確認 ジョブの実行 前書き この記事は、JS…

Djangoのstartprojectをテンプレ化して繰り返し使おう

前書き 環境 参考リンク テンプレートの作成の基本手順 テンプレートプロジェクトの立ち上げ プロジェクトの構成変更 プロジェクト名をプレースホルダーに変換 概要 一撃で変換するスクリプト テンプレートをもとに新規プロジェクト作成 方法 config以外の名…

Pythonのelasticsearchライブラリで遊んでElasticsearchと仲良くなる

前書き 参考リンク 環境 各種操作 接続とコネクションの確認 データの投入 と 取得 index操作 サーチ(複数件取得) カウント(条件にヒットするデータ件数の表示) 結果の項目の絞り込み: データの更新(一部アップデート) バルク操作 前書き 最近、業務でElasti…

【AWS Glue】開発エンドポイントをAWS CLIで構築してSageMaker Notebookを使う

前書き 注意: 開発エンドポイントの料金 環境 開発エンドポイント/SageMaker Notebookの環境構築手順 事前準備 IAMロールの作成 IAMロール作成手順 1. S3バケットと、バケットへのアクセス権限を定義したIAM ポリシーの作成 2. 開発エンドポイント用のロール…