こんにちは!LayerXエンジニアの高際 @shun_tak です! この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので(大歓迎です!)、Amazon SQSとGoの machinery を活用して非同期処理しているよ! AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ! では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
バーチャルの世界でもロマンチックな旅をしたい? 天まで届きそうな大きな水槽のワールド、ステンドグラスが素敵なダークファンタジーなワールド、あの国民的定番ボードゲームが遊べるワールドなど、今月のおススメをピックアップ! Aquarium 部屋一面に広がる大きなアクアリウム。 こちらのワールドは“水族館の最高峰”と呼ばれる『モントレーベイ水族館』をヒントに作られたワールドなんだそうです。 背丈をはるかに超える海藻、水槽内を自由に泳ぐジンベエザメ… そのスケールの大きさは圧巻です。 ワールドにはお魚は図鑑が置いてあるので 『今泳いでるお魚はこれじゃない?』なんて会話で盛り上がれそう。 ベッドやソファ、バスルームも併設されているので、魚たちが泳いでいる姿を見ながらくつろぐことが出来ます。 仲のいいお友達との雑談や、恋人同士でのリラックスタイムを過ごす空間として、何時いても飽きないワールドですね。
ブラウザにテキストファイルや画像ファイルをドラッグるすと、テキストや画像が表示され、URLが「file:///」で始まるのは皆さんご存知かと思います。 Windowsであれば、「file:///」「file:///C:/」と入力すれば、エクスプローラーのような表示を行うこともできます。 で、「何でスラッシュが3つ並んでるんだろう?」と疑問に感じていたものの、「まぁそういうものなんだろう」と、ほったらかしにしていました。 ということでこの疑問を解消すべく、「file:///」について真面目に調べてみました。 1.「file」について まず「file」は、ホストコンピュータ上でアクセス可能なファイルを示すもので、RFC1738(URL仕様)の3.10に以下の記載がありました。 3.10 FILES The file URL scheme is used to designate files a
今回はソケット通信の最終回ということで、Unixドメインソケットについて紹介します。 UnixドメインソケットはPOSIX系OSで提供されている機能です。 コンピュータ内部でしか使えない代わりに、高速に通信が行えます。 TCP型(ストリーム型)と、UDP型(データグラム型)の両方の使い方ができます。 WindowsではこのUnixドメインソケットをそのまま使うことはできません。 似た概念の機能として、「名前付きパイプ」というものが存在します。 以降の説明では、まずUnixドメインソケットについて説明したあとで、 Windowsの名前付きパイプについても説明します。 (Windowsメインの方は、前半のUnixドメインソケット固有の説明については軽く流して読んでください。) Unixドメインソケットの基本 TCPとUDPによるソケット通信は、外部のネットワークに繋がるインタフェースに接続しま
This feature is well established and works across many devices and browser versions. It’s been available across browsers since 2020年7月. Learn more See full compatibility Report feedback オプショナルチェーン演算子 (?.) (optional chaining) は、オブジェクトのプロパティにアクセスしたり、関数を呼び出したりします。この演算子を使用してアクセスするオブジェクトまたは呼び出される関数が undefined または null の場合、エラーが発生することなく、式が途中で終了し、undefined と評価されます。
AWSソリューションアーキテクト-アソシエイト認定試験を受験し、合格してきましたので対策方法など書き留めておきます。 対策としてはやや特殊というか中途半端かもしれません。 前提 AWSソリューションアーキテクト-アソシエイト 結果 私について 対策方法 実機学習 参考書による学習 公式模擬 公式ドキュメント WEB問題集 本番試験について 試験の流れ 出題傾向 まとめ 前提 AWSソリューションアーキテクト-アソシエイト 一番の注意点は今回私が受験してきたのは「2020年3月」までの試験ということです。 なので、この記事を作成してから同じバージョンを受験できるのは2か月のみしかないので、自分が受けようとしているのはどの試験なのか確認して詳細などについては必要に応じて別のソースも確認することを推奨します。 なお、今の時期に合格しても有効期間は3年みたいなので、情報が多く出回っている私と同じバ
先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました! AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue?ナニソレ?という方は、是非、以下の再入門ブログをお読みください。 AWS Glue はフルマネージドでサーバーレスな ETL(抽出/変換/ロード)サービスですが、これまでデータソースとしては S3、RDS、Redshift・・・etc といったデータストレージのみが対象でした。そのため、Kinesis Data Streams や Apache Kafka といったストリーミングデータに対して Glue を組み込んだ ETL 処理は出来ませんでした。 従来であれば、例え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く