AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
エッジで爆速コード実行！CloudFront Functionsがリリースされました！ | DevelopersIO
珍しく早起きをしてRSSを眺めてるとアッツアッツなアップデートが来ていました。 Amazon CloudFront announces CloudFront Functions, a lightweight edge compute capability 今回はCloudFront Functionsをご紹介していきます。 CloudFront Functionsとは？ CloudFront Functions(CF2)はLambda@Edgeより手前で、シンプルな処理をより高速に、素早く、安価に実行できるサービスです。 CloudFront Functionsを使うことでこれまでLambda@Edgeで実行していたシンプルな処理をよりユーザーに近いEdge Locationで実行しつつ、高速に処理を行う事ができます。 また、CloudFront FunctionsとLambda@Edge
Amazon S3 Object Lambdaが提供開始、S3から取得するデータの処理が可能に
米Amazon Web Servicesは、Amazon Simple Storage Service（S3）から取得したデータをアプリケーションへ返す前に、独自のコードを追加して処理できる「Amazon S3 Object Lambda」の提供を、3月18日（現地時間）に開始した。 Amazon S3 Object Lambdaは、既存のアプリケーションと連携してAWS Lambda関数を使用し、Amazon S3から取得するデータを自動的に処理・変換する。Lambda関数は標準のS3 GET requestを使ってインラインで呼び出せるので、アプリケーションコードを変更する必要はない。 Amazon S3 Object Lambdaの使用によって、以下のようなユースケースの単純化が可能になる。 分析環境または非実稼働環境で個人を特定できる情報を編集 XMLからJSONへの変換など、デー
AWS SAM CLIを使ったLambdaのローカル実行と簡単デプロイ - BASEプロダクトチームブログ
こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている永野（@glassmonekey）です。 弊社ではAWS Lambdaを活用する機会が増えまして、 最近メジャーアップデートのあった「AWS SAM CLI」を使ってリリースフローの改善にチャレンジしてみました。 そこで、samコマンドで作成したサンプルプロジェクトをローカルで実行しデプロイする方法を紹介します。それに加えて、現状BASE BANKチームで行っている代表的な運用設定をご紹介します。 今回記事作成に際して、サンプルプログラムを用意しているのでもしよければ手元でご確認ください。 なお、今回LambdaにはGoを採用しました。検証に使用した環境は以下の通りです。 macOS: 10.15.x (Catalina) SAM CLI: version 1.2.0
【速報】Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました！！ #reinvent | DevelopersIO
後述しますが、全てのアプリケーションがそのまま動作するわけではなく、いくつか満たすべき要件があるため注意が必要です。詳細については公式ドキュメントもご参照ください。 Lambda requirements for container images OCI準拠のコンテナイメージをサポート コンテナイメージの形式としてはDocker Image Manifest V2 Schema 2もしくはOCI v1.0以上がサポートされます。AWS公式のベースイメージがDockerHubおよびECRから提供されるので、このベースイメージに開発したアプリケーションを追加してビルドするのが基本になりますが、前述のイメージフォーマットに準拠していれば、自分で1からビルドしたコンテナイメージを利用することも可能です。 コンテナイメージの要件 Lambda実行環境で正常動作させるためにコンテナイメージには以下の要
AWS Lambdaの汎用的なエラー通知を実現するLapperというツールをつくりました
Lapper is a wrapper programs for Container running on Lambda. (Beta) - Finatext/lapper AWS Lambdaのエラー通知どうするか問題Finatextでは、サーバレスなタスク実行の基盤として、AWS Lambdaを活用しています。 具体的なユースケースとしては、 CloudWatch EventsのSchedule expressionsをトリガーにした、定時処理SQSやS3のEvent NotificationやCloudWatch Eventsの特定のイベントをトリガーに起動する、非定時処理API Gateway等を介したHTTPSリクエストをトリガーにした、Webサーバとしての処理あたりがあります。 Lambdaを使うことによる恩恵はあらためて言及するまでもないと思いますが、非常に便利に使っています
【AWS】aws-sdk-mockでLambdaテストを行う - echo("備忘録");
はじめに この記事は、AWS Advent Calendar 2020 最終日の記事です。 qiita.com また、Serverless Advent Calendar 2020の12/18(金)にも記事を書いてますので、よろしければそちらもお願いします。 qiita.com ところで みなさん、テスト書いてますか？ ...と言っといてあれですが、正直僕も今年の前半までは、ほとんどテストを書いてませんでした。(なかなか本腰を入れられなかったのもありますが) でも、秋くらいから本格的にJestを勉強してテストを書いたら、考えがまるっと変わりました。 いやあ、テストは良いわ。てか絶対テストを書くべき。 テストを書くことにより受けられるメリットは、本当に大きいです。 「そんな時間あるならプロダクトコードを...」と思うかもしれませんが、受けられるメリットの大きさを考えたら、テストコードを書く時
サーバレスで扱うデータストアとしてS3という選択肢があるらしい - Qiita
この記事は、ニフティグループ Advent Calendar 2020 最終日の記事です🎄 昨日は、@RPcat さんの 即フォーマットチェックにincronを使う でした。 ファイルの変更や操作を監視してくれるコマンドが用意されていることを知らなかったので、非常に勉強になりました。 はじめに 皆さん、サーバレスアプリケーションを作ろうと考えたときに選択するデータストアとして何を思い浮かべますか？ 多くの人が思い浮かべるのは、 Amazon DynamoDB Amazon RDS + Amazon RDS Proxy だと思います。 ただ、DynamoDBを使っているときに**「使い慣れているSQLを使いたいなあ」と感じたり、個人でRDSを使うには「金額が高すぎるなあ」**と感じることがあると思います。自分がそう感じていました。 そこで、これらの問題を解決する一つの選択肢として Amaz
Metabaseのグラフをslackへ通知するbotをServerless Framework + Puppeteerで作ってみた - カミナシ エンジニアブログ
こんにちは。株式会社KAMINASHIでPMをやっている@gtongy1です。 みなさんはMetabaseをご存知ですか？ 見た目の良さによる直感的なダッシュボードの構築、クエリ記述時の補完機能、グラフの種類数の豊富さ、ツール自体は無料で使える等便利なBIダッシュボードツールです。 カミナシでもMetabaseをフルに活用して、日々分析時に利用しています。 そんなMetabaseですが唯一欠点があって、それはslackとの連携が難しい所です。 slackへ通知を行う時にグラフで表現できるのはまだ棒グラフだけとか、マルチバイトの文字列は文字化けしてしまうとか、実運用に回す時にはちょっと辛いなと感じるところがあります。 そこで、今回Metabaseのグラフをslackへ通知するbotをServerless Framework + Puppeteerで作ってみました。 最終的に以下のようにsla
コンテナによるLambdaのデプロイとSAM+GithubActionsによる自動デプロイ - Qiita
はじめに ※ この記事はLIFULL AdventCalendar 2020の19日目の記事として投稿されている可能性があります。 最近AWS re:Inventが開催されましたね。 エンジニアのみなさんが注目されているのがわかるほどにツイッターでも多くの情報がタイムライン上に飛び交っていました。 そんな中わたしも情報を追っていてすごくワクワクしながらみておりました。 その中でも私自身が一番アツいと思ったのはAWSLambdaのコンテナサポートですね。 AWSLambdaはサーバーについて気にすることなくコードをアップロードして実行できるため、とても使い勝手が良く非常に小さなソースコードの実行に向いているので使用される頻度は多いAWSサービスの一つだと思います。 その反面でソースコードは直接コードをGUI上で変更したりデプロイ時にzip化したファイルをアップロードするなどしてちょっと手間だ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nsriram/lambda-the-terraform-way: AWS Lambda using Terraform., an Introductory Cookbook