qtatsuの週報

初心者ですわぁ

2020-01-01から1年間の記事一覧

Pythonの組み込み関数zipに渡したイテレータはコピーされず、元のイテレータが消費される

前書き 参考リンク 環境 本題: 何が起こるのか? zipにイテレータを渡した際の挙動を理解する 前書き タイトル通りの小ネタです。 この挙動を積極的に利用しているコードを散見するのですが、見るたびに混乱するので自分への戒めとしてまとめておきました。 …

【AWS Glue】custom classifierを利用してログファイルからデータを抽出/変換する!【AWS CLI】

前書き 環境 前提知識 Classifier 前準備(データの投入) 実際の手順 Databaseの作成 Classifierの作成 crawlerの作成 crawlerの情報確認 クローラの実行 ジョブの作成 & 実行 ジョブスクリプトの作成 ジョブの作成と確認 ジョブの実行 前書き この記事は、JS…

Djangoのstartprojectをテンプレ化して繰り返し使おう

前書き 環境 参考リンク テンプレートの作成の基本手順 テンプレートプロジェクトの立ち上げ プロジェクトの構成変更 プロジェクト名をプレースホルダーに変換 概要 一撃で変換するスクリプト テンプレートをもとに新規プロジェクト作成 方法 config以外の名…

Pythonのelasticsearchライブラリで遊んでElasticsearchと仲良くなる

前書き 参考リンク 環境 各種操作 接続とコネクションの確認 データの投入 と 取得 index操作 サーチ(複数件取得) カウント(条件にヒットするデータ件数の表示) 結果の項目の絞り込み: データの更新(一部アップデート) バルク操作 前書き 最近、業務でElasti…

【AWS Glue】開発エンドポイントをAWS CLIで構築してSageMaker Notebookを使う

前書き 注意: 開発エンドポイントの料金 環境 開発エンドポイント/SageMaker Notebookの環境構築手順 事前準備 IAMロールの作成 IAMロール作成手順 1. S3バケットと、バケットへのアクセス権限を定義したIAM ポリシーの作成 2. 開発エンドポイント用のロール…

DynamoDBから1MB以上のデータを取得する(boto3)

前書き 結論 参考リンク 環境 DynamoDB DynamoDBのセットアップ テーブルの作成 データの投入 補足: base64 scan用のデータ scanメソッドで1Mb以上のデータを取得する場合 queryメソッドで1MB以上のデータを取得する場合 注意: limit句がある場合には気をつ…

シェル上でjsonをフォーマットする、各種ツール導入手順と使い方の個人的なまとめ (jq, jsonlint, json.tool)

前書き やりたいこと 個人的結論 参考リンク 環境 jq インストール 1. centOS7へyumを使ってインストールする場合 2. ソースコードを直接落としてくる場合 使用例 余談 jsonlint インストール 使用例 余談 jsonlint: keyでソートして表示する pythonのjson.t…

Django + Chart.jsなら、django-chartjsライブラリを使おう

前書き 所感 色の変更 get_colorsメソッド get_dataset_optionsメソッド options属性の付加 補足: 利用可能なview 前書き 最近、業務でDjango + Chart.jsを使ったシステムを作成しました。 Chart.jsは綺麗なグラフを簡単に作成することができ、またドキュメ…

jsPDFをscriptタグで配置する手順&日本語フォントを使う2種類の方法まとめ

前書き jQueryとjsPDFのソースファイルをダウンロードする jQuery jsPDF フォントの確認と指定方法 日本語フォントmplusの追加 mplusのダウンロード 日本語フォントの設定方法1. 公式のファイル変換ツールを使う(多分推奨) 日本語フォントの設定方法2. base6…

Django: StreamingHttpResponseをHttpResponseと比較してみたまとめ

使い分けについての結論 (最後の考察で詳しくまとめています。) ファイルサイズが小さい様なら、HttpResponseを使う。 Djangoで巨大なファイルを作成する際には、StreamingHttpResponseを使わざるをえない。しかし可能な限り避けた方がよく、CSV出力はDjango…

サーバーサイド処理しているDataTablesをPDFで出力する

前書き 環境,ツールのバージョン 使用するツール 仕様と実装方針 プロジェクトの作成とインストール DataTablesでの表示(Server-side processing) DataTablesサーバーサイド処理の実装 PDF出力 余談: DataTablesのPDF出力機能 サーバーサイド: WeasyPrintを…

WeasyPrintでPDF出力するまでの環境構築(Django/Amazon Linux)

前書き 参考にさせていただいたリンク Amazon Linuxの立ち上げ 必要なライブラリのインストール 前準備 WeasyPrintを動かすための準備 必要なコードの作成とPDF出力 PDFを出力するViewとTemplates 確認 文字化けへの対応 日本語フォントのインストール フォ…

pandasのDataFrameとDynamoDBの相互変換

はじめに 無理矢理感があるので、あくまでこういう方法でもできる、という程度の個人的な覚書です。 DataFrameで持っているデータをそのままDynamoDBに突っ込む DynamoDBのデータをDataFrameに入れる この二つをboto3を使って行います。 前提として パーティ…

ローカルでDynamoDBを動かす

はじめに DynamoDB ローカル credential(.aws/credentails)について 設定の変更方法 実例 NoSQL Workbench はじめに boto3やaws cliからDynamoDBを扱う練習をするのに、公式の以下のツールが簡単で便利なので、個人用として使い始めました。そのセットアップ…

DRFで例外が発生してからレスポンスを返すまでの処理をカスタムする

DRFには、例外(Exception)をResponseの形で返す仕組みが備わっています。その個人的なノートです。 やりたいこと 本記事での各種ファイル カスタム処理を挟むことができる場所 (1) エラーから直接レスポンスを作る (2) 既存、もしくは作成した例外をraiseす…