IoTや組み込み向けのデータコレクタ、FluentBitについて - 一寸先は/dev/null
FluentBitとは IoT機器や組み込み機器を対象としたオープンソースのデータコレクタです。名前から分かる通り、Fluentdの兄弟アプリで、Treasure Dataのエンジニアが中心となって開発が進められています。 このソフトでは、例えば、 定期的にCPU使用率を取得し、標準出力に出力する カーネルログを取得し、外部のFluentdサーバに送信する センサファイルから定期的に状態を読み出し、HTTP経由で外部に送信する といったことが可能です。 名前はFluent-Bitだったり、Fluent Bitだったり、FluentBitだったり、様々な記載が見受けられます。 特徴 本家のFluentdと比べて次のような特徴があります。 C言語で実装されているため、Rubyが無い環境でも動作する 軽量・高速(らしい)*1 C API経由で自前のアプリからデータを流せる/受け取れる ビルドオプ
RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
ネットワークの可視化 | GREE Engineering
GREE Advent Calendar 2015 の23日目担当の上竹です。普段はアプライアンスLB やネットワークの構築/運用をしております。 概要 バックボーンネットワークを設計運用していると、実際どのようなトラフィックがどのくらい流れているか中身を知りたい(見たい)ことがよくあります。 どのISP からどの回線へどのくらい流入があるのかだったり、どんなAS からどのくらいアクセスがきているか、これら様々な情報を正しく把握することは、Transit 回線やIX 回線をコントロールし今後のネットワーク戦略を考えるうえで非常に有益です。 また、昨今我々を悩ましているDDoS 対策の第一歩として、今流れているトラフィックをまず"知る"ということが必要だと思います。 そこで、今回ネットワークの見える化を、「NetFlow」、「Fluentd + ElasticSearch + Kibana」
FluencyというYet another fluent Java loggerを作った話 - komamitsu.log
この記事は、Fluentd Advent Calendar 2015 - Qiita の七日目の記事です。 先日、komamitsu/fluency · GitHub というFluentd (in_forward) 用のJava loggerを作ってみました。 元々、fluent/fluent-logger-java · GitHub の開発を見ていたのですが、Fluentd MLで色々と要望があって機能を拡張したい欲が高まったものの既存の実装的に面倒臭そうな感じだったので、ついカッとなってゼロから書いてしまいました。 特徴 特徴としては以下のものがあります。 通常 (fluent/fluent-logger-java · GitHub) より三倍速い fluency_benchmark.md · GitHub 参照 (後述するPackedForwardを利用した場合) Fluentdへの
Fluentd vs Logstash: A Comparison of Log Collectors | Logz.io
The unsung heroes of log analysis are the log collectors. They are the hard-working daemons that run on servers to pull server metrics, parse loogs, and transport them to systems like Elasticsearch or PostgreSQL. While visualization tools like Kibana or re:dash bask in the glory, log collectors’s routing making it all possible. Here, we will pit the two of the most popular data collectors in the o
Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ - ようへいの日々精進XP
はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容があるかもしれないのでご容赦下さいませ。 追記（2015/08/12 PM 5:15） 1.8 が正式にリリースされていた github.com アップデート or インストール（Ubuntu） d$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=14.04 DISTRIB_CODENAME=trusty DISTRIB_DESCRIPTION="Ubuntu 14.04.1 LTS" $ $ curl -sSL https://
Data Analytics Park ～アナリティクスびより～: fluentdを使ってWindows環境のログを収集（パース編）
今回は、以下の図の通り、将来的な拡張を考慮しつつ、複数のプラグインを使ってログのパースからElasticsearchへの送信までを設定していきます。なお、点線で囲ってあるプラグインは、今回は設定しませんのでご注意ください。 ■ 事前設定: nxlogの全角文字化け対策設定 Windows 2003 Server (Windows XP)以前の環境からログ収集を実行する場合や、コマンドプロンプトから出力されるログファイルは基本的に”Shift JIS”で出力されますが、ログ集約をするfluentdがインストールされているLinuxサーバーは基本的に”UTF-8”で運用されています。このため、単純にWindowsからログを収集してLinuxサーバーに転送すると文字化けが発生します（特に全角文字）。これを解消させるために、文字コードの変換処理をnxlogの設定ファイル（C:\Program Fi
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
CEDEC 2015 IoT向け汎用protocol MQTTのリアルタイムゲーム通信利用と実装、そして未来へ…
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - repeatedly/fluent-plugin-beats: Fluentd plugin for Elastic beats
Fluentd ソースコード完全解説 (v0.10向け)