【S3からS3へ】Node.js の Streaming API を使って Lambda Function のみで CSVファイルを JSON Lines ファイルへ変換する | DevelopersIO
サーバーレスアプリケーションで、S3 にあるファイルを変換したいケースでは、AWS Glue を使った ETL が思い浮かびます。もちろんそれでもよいのですが、下準備のたいへんさや変換にかかる時間を考えると、何かとおおがかりな印象です。料金も手放しで安い！と言い切れるほどではありません。かといって、Lambda Function で S3 GetObject を使い一度メモリにすべて読み込んで処理するのは筋が悪そうです。 そこで Node.jsの Streaming API を使い、メモリを圧迫せず、かつ Lambda Function のみで処理する手段を試してみます。 CSVファイルを JSON Lines へ変換する 人間にとって見やすいのは表形式との相性がよいCSVですが、ソフトウェアで扱いやすいのはデータ型を表現できキー名もつけられるJSONです。よってこの2形式の相互変換は、多
S3 Select と Glacier Select – オブジェクトのサブセットを取得 | Amazon Web Services
Amazon Web Services ブログ S3 Select と Glacier Select – オブジェクトのサブセットを取得 Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常１エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自
Implementing Default Directory Indexes in Amazon S3-backed Amazon CloudFront Origins Using Lambda@Edge | Amazon Web Services
AWS Compute Blog Implementing Default Directory Indexes in Amazon S3-backed Amazon CloudFront Origins Using Lambda@Edge With the recent launch of Lambda@Edge, it’s now possible for you to provide even more robust functionality to your static websites. Amazon CloudFront is a content distribution network service. In this post, I show how you can use Lambda@Edge along with the CloudFront origin acces
S3の特定パスのみに対して全ての操作が可能なIAMポリシー | DevelopersIO
西澤です。今回は、S3バケットの特定パスに対するアクセス権限制御について、お客様から質問いただき、正確に理解できていなかったところを調査したので、整理してみます。 このポリシーで実行可能なアクションについて正確に回答できますか？ いきなりですが、クイズです。下記のようなポリシーにより権限付与されたユーザのアクセス範囲を正確に説明することはできますか？ { "Version": "2012-10-17", "Statement": [ { "Action": "s3:*", "Effect": "Allow", "Resource": "arn:aws:s3:::access-control-on-specific-path/dir_a/*" } ] } 今回調べてみる前まで、試さないとよくわからない、というのが正直なところでした。ポリシー設定用のjsonを読んだことがある方なら想像がつくと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wildcard subdomains point to appropriate S3/CloudFront subdirectories
Map multiple subdomains to same S3-bucket
