Fluentdのお勧めシステム構成パターン2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』 出版記念！執筆者が語る大講演会！ での発表スライドです。
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
Collect Cloud Foundry App Logs with Fluentd
Collect Cloud Foundry App Logs with FluentdAI-enhanced description This document summarizes a meetup about using Fluentd to collect application logs in CloudFoundry. Katsunori Kawaguchi demonstrated a new feature that collects app logs into VCAP. Previously, VCAP would delete logs after a droplet was moved. The demo showed using updated 'vmc logs -f' and 'vmc files -f' commands to stream logs and
Distributed Stream Processing on Fluentd / #fluentd
Distributed Stream Processing on Fluentd / #fluentdAI-enhanced description This document discusses NHN Japan's use of Fluentd for log collection, conversion, and analysis. It summarizes their architecture which involves collecting logs from servers using Scribeline, delivering them to Fluentd processes, converting the logs to a structured format using Fluentd plugins, writing the structured data t
Fluentd meetup dive into fluent plugin (outdated)
Fluentd meetup dive into fluent plugin (outdated)AI-enhanced description The document provides an overview of Fluentd, a log collector with a flexible plugin architecture, allowing customization through input, output, and buffer plugins. It details how to install Fluentd plugins, configure them, and develop new plugins using Ruby, alongside examples of using Fluentd with MongoDB. Additionally, it
An Introduction to Fluent & MongoDB Plugins
An Introduction to Fluent & MongoDB PluginsAI-enhanced description This document discusses Fluent, an open source data collector. It has structured logging, a pluggable architecture, and reliable forwarding. It also mentions that Sadayuki Furuhashi of Treasure Data presented information on Fluent and its event collector service.
Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記 はてな支店
皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - muga/fluent-plugin-flume: Flume input and output plugin for Fluentd event collector