fluent-plugin-bigquery利用時に、tableを動的に設定する - Qiita
経緯 ちょうどログ解析基盤を移行しようとしていたところに、下記の記事が。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja BigQueryは、社内の利用者も多いGoogle Apps Script用のAPIも用意されているので、これは検証せねばと思っていました。 検証には、こちらの記事がたいへん参考になりましたm(__)m FluentdでGoogle BigQueryにログを挿入してクエリを実行する そして、課題も。。 fluent-plugin-bigquery単体では、BigQueryの格納先tableを動的に変更することができません。 BigQueryのPricingをみると、クエリ毎にtableのデータ量で課金されます。また、recordの削除はできないので、定期的にtableを変更してクエリ対象のtableが肥大化し
fluent-plugin-bigquery の設定 - Qiita
fluentdとfluent-plugin-bigqueryを使ってBigQueryにデータを投入する場合の設定について。 BigQueryの制限 2015/04/16に制限の変更がありました（公式発表, 日本語のまとめ情報）。これにより、本記事の内容も影響を受けますので、新しい制限値を参考の上、適宜調整してください。 1行20KBまで 1リクエスト500行まで 1リクエスト1MBまで 1秒10,000行まで (申請により100,000まで) 1秒10MBまで 参照: https://cloud.google.com/bigquery/quota-policy#streaminginserts 1リクエスト1MBを10リクエストで10MB、1リクエスト500行を20リクエストで1万行。 このどちらかが1秒あたりのリクエスト数の上限となる。 例えばサーバのアクセスログであれば1レコードのサイ
『08.Google App EngineとBigQuery 導入編(1/3)』
・08.Google App EngineとBigQuery 導入編(1/3) ・09.Google App EngineとBigQuery 実践編(2/3) ・10.Google App EngineとBigQuery ノウハウ編(3/3) CA Beat エンジニアリーダーのヤマサキ(@vierjp)です。 今回は、これまでに何度か触れてきたBigQueryについてです。 「02.macheでApp EngineのログをBigQueryにコピーして解析」 で BigQueryに少しだけ触れましたが、 ログの解析に関連して示した例はBigQueryの使い方のうちのほんの一部と言っていいでしょう。 CA Beatでは元々データ解析のためにBigQueryを使い始めた経緯もあり、 データ解析の方がメインの利用目的となります。 今回から3回に渡ってまるごとBigQuery特集です。 今回App
データインポートとDATASETとTABLEと。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 某ノンアルコール梅酒のCM。おっしゃる通り。ごめんなさい。 と、いうことでデータインポートとDATASETとTABLEについて。 とにかく安いんでぼこぼこデータ追加しちゃえばいいんですけど、私なりの考えをまとめてみました。 前提 CloudSDKは入れておきましょう。 https://developers.google.com/cloud/sdk/ まぁ、webの管理コンソールでも全部できちゃいますけどね。 サイオスさんも詳しく書いてくれていますよ。 http://sstd-bigdata.blogspot.jp/2013/0
Google BigQuery を試してみよう #gcpja
こんにちは。斎藤です。 先日のGoogle Compute EngineとGoogle Cloud DNSの解説に続き、今回はGoogle BigQueryを試したいと思います。ビッグデータという言葉がもてはやされる今日、DWHシステムは外せませんよね。 データがそろっていれば、操作は全てWebインタフェースから進められます。そのため、操作のハードルはそれほど高くありませんので、ぜひ試してみて下さい。 前提条件 全ての記述内容は、執筆時点である2014年6月時点の情報を基にしています。今後、変わる可能性があります。 まず、次の条件が揃っている事を確認して下さい。 先日のエントリ「Google Cloud Platformをはじめようチュートリアル #gcpja」をお読みになられていて、かつ操作が完了している。 簡単なSQLが書ける 次に、今回使うデータについて簡単にご紹介します。 内容:
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
SIOS ビッグデータ技術ブログ: Google BigQuery - bq command編
こんにちは、三回連続でSSTDの大村です。１年の半分がすぎてもう７月ですね。私事ですが、弊社の社屋移転まで１０日あまりとなりました。各種説明会、片付けなどで社内がばたばたしています。当たり前のように通勤していたオフィスですがあと１０日で別の場所になるのかと思うと急にセンチメンタルな気分になります。 前回までウェブインターフェースであるBigQuery BrowserからBigQueryを操作していましたが、コマンドラインから操作するためのbq Command-line Toolも用意されています。このbqはpythonベースのツールになっています。今回はbqの設定をし、簡単なコマンドの入力までを紹介します。 ローカル環境 OS:Windows8 Pro 64bit CPU:Intel Core i7 2.00GHz RAM:8GB インストール Linuxなどの環境ではできる方が多いと思い
fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る - Qiita
最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
Fluentd＋BigQueryの$300無料体験版を30分で試す手順 - Qiita
Fluentd＋BigQueryをできるだけ簡単に、30分くらいで試せるDockerコンテナを作ったので、使い方を記しておく。tacke_jpさんもBQとTwitter API連携の例を書いていたけど、今回はnginxログをBQに投げる例をできるだけシンプルに作ってみた。GCPを使ったことないという人向けに$300分の無料体験プログラムも始まったので、お昼休みの合間にでも試してみてほしい。 手順は以下のとおり。 BigQueryにサインアップ BQのデータセットとテーブルを作る Google Compute Engine (GCE)インスタンスを作る nginx＋FluentdのDockerコンテナを動かす BQクエリでアクセスログを見る BigQueryにサインアップ （既存のGCPプロジェクトを使う場合はスキップ） Google Developer Consoleで新規プロジェクト作成
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億
fluentd Windows版でBigQueryする - Qiita
0. 前書き BigQuery、楽しげですね！ けど、なんていうか、特にインプットのフェーズにおいて活用するとなるとWindowsワールドの住人、またはそこで暮らさざるを得ない人からはちょっと遠いところ感があって、利用しようと思った刹那、途端にナニソレオイシイノ？みたいな状況になっている人も少なからずいると思います。 そんな人達のために！ fluentd Windowsブランチを使ってお手軽BigQueryと行きましょう！ WindowsのイベントログをBigQueryにためこんでみます。 ということで目指す構成はこんな感じ。 Windows Server 2012 日本語版 Ruby 2.1 fluentd Windows版 fluent-plugin-winevtlog fluent-plugin-bigquery ポイントは fluent-plugin-bigqueryがWindow
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google BigQuery ODBC Driver - Visual Studio Marketplace
BigQuery | AI データ プラットフォーム | レイクハウス | EDW