1. 使用するサービス(AWS) S3 Lambda 2.概要S3のバケットに対するPUTアクションに対するLambdaの処理を説明します。 主に、簡単なS3の設定と、Lambdaでのその内容の取得の仕方を説明します。3. 実装3-1. S3の設定通知設定の部分が、トリガーの設定になります…
個人PCでSAA受験して見たが、エラー画面が毎回表示されて受験出来なかったので体験記を軽く記載。 原因と今後の対応は待ち状態。 1. 状況受験開始ボタンを押下すると、下記のような画面遷移される 受験エラー画面また、ブラウザの環境チェックは下記のように…
1. 使用するサービス(AWS) S3 API gateway Lambda 2.概要S3に画像をアップロードする際にいくつか手法があると思いますが、API GatewayとLambdaのサーバレスの構成の際、Lambdaに対してbase64でエンコードして送るなど考えがちかと思います。少し、時間はか…
1. 使用するサービス(AWS) API Gateway Lambda 2.概要API Gatewayの設定は下記参考。 buffalokusojima.hatenablog.com記事の内容だと、フロントのJavascriptからajaxなどで通信した際のレスポンスがCORSエラーとなります。 それを防ぐ方法として、Lambdaのレ…
. 使用するサービス(AWS) Cloudformation API Gateway Lambda 2.概要API GatewayをLambdaの呼び出しに使用することが多いと思います。その際、メソッドの選択肢としてGETがあります。GETで何かしらの値をLambdaからもらう際に、取得する内容の条件等にフロン…
1. 使用するサービス(AWS) Cloud9 Lambda Lambda Layer 2.概要Cloud9上でアップロード済のLambda Layerを使用する方法を説明します。 Cloud9でLambdaを開発していると、共通関数をまとめたくなることがあると思います。その際、Lambda Layerに共通関数をまと…
1. 使用するサービス(AWS) Cloudformation Lambda Lambda Layer 2.概要CloudformationでLambda Layerを実装する手順を説明します。 大まかな手順としては以下になります。①Layerの中身を作成し、zipにする②CodeBuildでzip化したLayerを指定したS3に入れる③Cl…
1. 使用するサービス(AWS) CodePipeline CodeBuild S3 2.概要GitHubで管理しているReactソースを指定したブランチをプッシュするとそのブランチの中のReactソースをビルドしてS3にデプロイしてくれる流れを説明します。 前提としてS3は作成済で、GitHubなど…
1. 使用するサービス(AWS) Cloudformation Cloudfront edge Lambda 2. 概要CloudfrontとS3を用いたWebサイトのURLがパスを区切った時にindex.htmlを指定しないと、見たいパスが表示されない現象を、Cloudfrontへのアクセスをedge Lambdaで受け取り、パスを変…
1. 使用するサービス(AWS) Cloudformation API Gateway Lambda 2. 概要API GatewayとLambdaを使った構成を簡単にCloudformationで実装出来るテンプレートを載せます。CORSにも対応しているのでS3の静的ウェブサイトからの通信にも対応してます。3. 実装 AWST…
1. 使用するサービス(AWS) Cloudformation VPC InternetGateway SecurityGroup EC2 2. 概要今回は改めて基本に立ち帰り、SSHで外部接続出来るEC2の作成をCloudformationのテンプレートで説明しようかと思います。 構成は単純で、パブリックサブネットに対し…
1. 使用するサービス(AWS) CodeBuild VPC InternetGateway NatGateway 2.概要CodeBuild内でRDSに接続する必要がある場合、VPC内に設置する必要があります。今回はCodeBuildのVPC内設置の仕方について説明します。大まかな図としては以下になります。 全体図①…
1. 使用するサービス(AWS) Cloud9 2. 使用する言語 Python 3.概要まず、ここで言う結合テストの目的としては、Cloud9上の関数をAWSのサービス、Lambdaとしてデプロイした後の疎通確認として位置付けます。テストの内容も単体テストと同じです。違いとしては…
1. 使用するサービス(AWS) Cloud9 2. 使用する言語 Python 3.概要Cloud9上でPythonのモジュール、unittestを用いたUnitテストに関して記載します。主にテストの対象はLambdaでテストの内容は基本的に与えられたテストデータとそれに対して期待通りのリターン…
1. 使用するサービス(AWS) Codepipeline (外部サービス) Slack 2. 概要開発でCodepieplineを使用していますが、githubからのプルリクの通知はSlackに対して行ってましたが、そういえばCodepipelineからの通知をやって無いなってことで備忘録として残しておき…
1. 使用するサービス(AWS) Cloudformation Cognito 2.概要Cloudformationを使用してログイン後にトークンを渡し、以降のLambdaとのやり取りをトークンの認証を用いて実装するようなCognitoを作成します。 大体デフォルト設定ですが、注意点コメント入れてお…
1. 使用するサービス(AWS) Cloudformation API Gateway Cloudfront Route53 2. 概要CLoudformationでAPI GateawyのHttps化を行います。正確には作成済のAPI Gawewayに対してドメインを作成し、HTTPSで配信可能にします。その際、デプロイするAPIとそのステー…
1. 使用するサービス(AWS) Cloudformation Lambda VPC Subnet Security Group RDS RDS Proxy 2.概要仕事でCloudformationを触る機会が増えたので備忘録として残します。最近グローバルリリースされたRDS Proxyを検索しても中々これといったCloudformationで…
1. 使用するサービス(AWS) Lambda IAM SSM DynamoDB (外部サービス) Bitbank API 2.概要bitbank APIにはデフォルトで逆指値注文など特殊な注文方法がありあません。今回はDynamoDBを使用して事前に設定した価格を超えるまたは下がった場合にMarket注文を行う…
1. 使用するサービス(AWS) Lambda IAM SSM (外部サービス) bitbank API 2. 概要bitbank Apiを使用して、自作の注文サイトを作成します。 基本的な仕組みはbitflyer Lightning Apiで実装したものと同じでURLを叩くのが最終的なゴールです。 buffalokusojima.h…
1. 使用するサービス(AWS) Lambda Api Gateway Cognito 2. 概要ApiGatewayの認可機能の１つとしてCognitoを選択できます。その設定の仕方とcorsを適用している場合のレスポンスの留意点を説明します。 前提としてCognitoで既にユーザプールは作成済とします…
【きっかけ】過去の記事参照 buffalokusojima.hatenablog.com 1. 使用するサービス(AWS) Lambda IAM SSM SQS (外部サービス) Bitflyer Lightning API 2.概要前回の続きになります。 buffalokusojima.hatenablog.com今回は実際に自動注文を行う部分を説明しま…
【きっかけ】過去の記事参照 buffalokusojima.hatenablog.com 1. 使用するサービス(AWS) Lambda DynamoDB IAM SSM (外部サービス) Bitflyer Lightning API 2.概要実際に注文を行うLambdaの実装に関しては過去記事参照。また、ベースとなるLambdaである約定確…
1. 使用するサービス(AWS) CloudFormation 2. 概要前回の続きで、前回は初回のApiGatewayのデプロイを行いました。ですが、前回のままだと、ApiGatewayのリソースの更新までしか行いません。 ApiGatewayをデプロイまでを行う為にはCloudformationのApiGatewa…
1. 使用するサービス(AWS) CloudFormation 2. 概要前提として、S3に静的コンテンツがある前提です。今回の説明ではCloudformationのテンプレートでApiGatewayとLamdaのRestfulな環境をデプロイまでするとこまでを説明します。 以下、テンプレートのソースを…
Keras-yolo3の簡単なパッケージ化の例を載せておきます。 フォルダ構成は以下のようになっていて、各種フォルダからsrc内のKerasYolo3を呼び出すイメージになります。 フォルダ構成KerasYolo3フォルダないで__init__.pyファイルを作成し、以下のように記述し…
画像認識AI作成に当たって行うであろう、アノテーションについて、アノテーションの仕方によるAIの画像認識の仕方の違いについて記述する。1. 概要 1枚の画像に対して、複数認識対象がある画像に対して、ある１対象のみをアノテーションする場合と、全対象を…
Keras-yolo3における学習リストを用いた学習の自動化を説明します。学習リストをまとめたリストを読み込ませ、１行ずつ学習を行う仕組みです。前提として学習リストが作成済で、そのまとめリストが以下のようになります。 学習リスト/水増しデータ/調整デー…
今回はKeras-yolo3の学習で使用する画像の水増しを自動化するツールの備忘録を載せておきます。フォルダ構成等は合わせてもらう必要ありますが、基本的な動作としては指定したフォルダ内の画像に対して指定した水増し処理を行って、新たにフォルダを作成して…
前回まででアノテーションツールなどの紹介を行いました。しかし、アノテーション作業自体は地味で 時間がとてもかかります。そこで予めモデルを使って大まかな予測を行い、アノテーションをある程度行ってしまい、 アノテーションのズレなどを補正するよう…
