MongoDBをシェルで弄ることが多いならmesh使おう - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
MongoDB 2.4 の性能 徹底評価（Memory vs DISK） - 中年engineerの独り言 - crumbjp
大体欲しいデータは揃ったのと、MongoDBの気持ちが解ってきたのでMongoDB2.4の性能調査は今回で最後の予定 実は前回MongoDB 2.4 の性能 徹底評価（レコード長による評価）のFETCHバイト数（1.5GB） 実は今回のOn-memoryデータ vs DISKリードに繋げる事を意図した大きさだった。 システムの2GBメモリに収まるだろう。と・・・ しかし、、測れど測れど、意図した通りの結果にならない・・・ それで気付いた。 インデックスの大きさを勘違いしていたのだ。 MongoDBのインデックスは単なるコレクションでは無いようだ！ 1億件の数値型インデックスは2.3GBにもなる。 という訳で、1億件のコレクションのインデックスはそもそもメモリーに入らない。。 １ドキュメント辺り25〜26byte インデックス数値型８バイト＋ドキュメントへのポインタ８バイト＋メタ情報？ _i
MongoDB 2.4 の性能 徹底評価 - 中年engineerの独り言 - crumbjp
まとめ 超長くなったのでまとめを上に持ってきた。 巷で言われているチューニングは結構嘘が多い事が解ってきた。 ツール等 workingSet Analyzer は信用ならない。（overSecondsはまあ良い） mongoperfの値は完全に参考にならない。 insert mongoperfの値はinsert性能と関連しない。（何を測ってるんだ？） カラムのプリアロケーションによるUPDATE時のデータ肥大化回避($setOnInsert)はMUST。 クリティカルな時間帯にストレージファイル(2GB)の生成を避けるチューニングの効果は懐疑的。 レコードプリアロケーション・チューニングは頑張る価値が無い。(むしろ逆効果) update 上記の通り必ずin-placeになるようにする。 paddingFactorが動くようだとお話にならない性能劣化 remove かなり高速。 全件削除の場
第8回 リリース間近！ MongoDB 2.4の新機能 | gihyo.jp
今回は、リリース間近となっているMongoDB v2.4で追加/改善された機能を紹介します。 v2.4については2月19日に行われた第7回丸の内MongoDB勉強会で取り扱いましたが、今回記事執筆のために改めて確認すると、リリースノートの項目が増えていました。まさにリリースに向けて開発中という雰囲気が伝わってきます。 今回の内容は、3月7日時点のMongoDB v2.4リリースノートを基にしています。 ひとつ前の安定バージョンであるv2.2の新機能については、この連載の以前の記事をお読みください。 第2回 MongoDB 2.2の新機能 新機能ダイジェスト 1. 全文検索機能 ついにインデックス付きの全文検索機能が追加されました！しかし、日本語には対応していませんので注意してください。 2. 権限によるアクセスコントロール ロールを用いてユーザごとに読み込み権限、書き込み権限をコントロール
多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
MongoDB のベストプラクティス (翻訳版) - Engine Yard Blog JP | Engine Yard Blog JP
本記事は英語版ブログで2011年12月20日に公開された記事の翻訳版です。 Engine Yard のデータ チームからご挨拶申し上げます。今回は、当チームで前回のブログ(英語版)以来どのような努力をしてきたかをお知らせしたいと思います。 今年当チームが編成された当初、最初に与えられた仕事は MongoDB を使ってスタックの機能を拡張することでした。しかし、NoSQL データストアをスタックに追加するだけで、当社がサポートするリレーショナル データベースを更新しないのでは、かえってお客様に迷惑をかけることになると私たちは感じました。そのため MongoDB の開発を一時中断し、MySQL と PostgreSQL の両方を更新することにしたわけです。今日現在、MySQL 5.5 はベータ版が公開されており、PostgreSQL 9.1 のベータ版も近日中に公開されます。両方とも 2012
MongoDBとメモリ使用量
はじめに WAF「Scutum（スキュータム）」ではサービス開始時より、データストアとしてmemcachedとpgpool II+PostgreSQLを利用しています。これらはどれも安定して動いており満足しているのですが、最近になってより柔軟にデータを取っていきたいというニーズが高くなってきたため、MongoDBの導入を行いました。まだ完全なリプレースまでは至っていませんが、元々のデータベースのスキーマ構造がシンプルであることもあり、数ヶ月以内にはpgpool II+PostgreSQLの部分をMongoDB（Replica Sets）で置き換えることができるのではないかと思っています。 MongoDBにとっての「メモリ使用量」 MongoDBを導入するにあたり、Linux(X86_64）上でMongoDBを動作させたときのメモリの消費について、簡単にですが調べてみました。まず参考にしたの
Node.js のログを Fluentd を使って MongoDB に集約する | DevelopersIO
最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB に保存するサンプルを作ってみます。 こんな感じ。とてもシンプルです。。 Input Output +------------------------------------------------+ | | | Node.js --------> Fluentd --------> MongoDB | | | +-------------------------------------------
第5回 MongoDBのシャーディングを試してみよう | gihyo.jp
はじめに 今回は、MongoDBのシャーディングについて説明します。 シャーディングとは、データを複数のサーバに分散させる機能です。今回は、最初にシャーディングのメリットを説明し、続けてシャーディングの概要、さらにシャーディングに登場する重要キーワードを解説します。2ページ目以降ではシャーディングの構築手順について解説します。 シャーディングはMongoDBの機能の中でも重要かつ複雑なもののひとつです。手元の環境で構築することが、シャーディングを理解する大きな助けになりますので、本記事を参考にぜひ構築してみてください。 シャーディングのメリット シャーディングはMongoDBを水平スケーリングさせる機能で、以下のようなメリットをもたらします。 負荷分散による性能の向上 データを複数のサーバに分散させることにより、CPUやI/O負荷を分散させることが可能です。後述しますが、MongoDBはキ
【CyberAgent】技術情報／TechReport - テックレポート／MongoDBの運用について | 株式会社サイバーエージェント
■はじめに 弊社でも、ピグライフをはじめとしてモバイルゲームなどのサービスでMongoDBを使い始めています。 運用に関してはMySQL等にはまだノウハウ的にはかなわないものの、NoSQLのジャンルの中では有用なプロダクトであるといえるかと思います。 ですが、運用に関しての共有ができておらず、有効な使い方ができていないパターンも多いです、そのため運用に関してノウハウを共有するための資料を作成しました。 ■概要／特徴 MongoDBには以下のような特徴がある ● BSONによる、JSONによるスキーマレスなデータ運用 これにより、柔軟なデータ構造をわかりやすく表現できる。 加えてスキーマレスなため、データの構成を柔軟に帰ることが出来る ● レプリカセットによる冗長化対応 MySQLでも、マスタを冗長化するためには、MySQLCluster、MHAなどのプロダクトがあ
Query Mongo: MySQL to MongoDB Query Translator
Mongo and MongoDB are registered trademarks of MongoDB, Inc. This site is for educational and demonstration purposes (and because we think MongoDB is pretty cool). More helpful tools for working with data: Getting Your Data into Redshift, Postgres, BigQuery, Snowflake, or Panoply | Customer Lifetime Value | Churn Rate | Cohort Analysis | SQL Join | Columnar Database | ETL Database | The Sta
LgR on Fluentd & MongoDB: Railsが吐いたJSONをfluent経由でMongoに突っ込んで集計 – 6109.hidepiy.com
Overview create JSON formatted log from Rails send log using fluent-agent-lite receive log using Fluentd save on local file & MongoDB map & reduce on MongoDB @さくらのVPS 2G with Debian GNU/Linux testing (wheezy) install Ruby & Rails rbenv使って入れてみる $ git clone http://gitweb.hidepiy.com/git/dotfiles.git $ cd ~ $ /bin/bash ~/dotfiles/init.sh $ vim hogehoge :BundleInstall しばし待つ。。。 $ zsh $ sudo aptitude in
Treasure Data Blog • Real-Time Log Collection with Fluentd and MongoDB
Tweet About This post shows how to use Fluentd-MongoDB plugin to aggregate semi-structured logs in real-time. Background Fluentd is an advanced open-source log collector developed at Treasure Data, Inc (see previous post). Because Fluentd handles logs as semi-structured data streams, the ideal database should have strong support for semi-structured data. There are several databases that meet this
第2回 MongoDB 2.2の新機能 | gihyo.jp
今回は、MongoDB v2.2リリースノートをもとにv2.2で追加/改善された機能を紹介します。機能についてより詳しく知りたい方は第3回丸の内勉強会の資料を参照ください。コマンドレベルでの手順や、一部機能の検証が載っています。 新機能ダイジェスト 1．並列処理の強化（Concurrency Improvements） ロックの粒度がGlobalロックからDBロックになりました。 PageFaultアーキテクチャが改善されロック時間が減りました。 2．Aggregation Framework 集計処理がコマンドで可能になりました。 3．Replica SetsのReadノード選択 一貫性レベルに応じて、どのノードからデータをReadするかを選択可能になりました。 4．Tagを使用したSharding（Improved Data Center Awareness） データ保存先のShard
MongoDBイン・アクション
TOPICS Database , PHP , Ruby 発行年月日 2012年12月 PRINT LENGTH 380 ISBN 978-4-87311-590-0 原書 MongoDB in Action FORMAT 本書はMongoDBを学びたいアプリケーション開発者やDBAに向けて、MongoDBの基礎から応用までを包括的に解説する書籍です。MongoDBの機能やユースケースの概要など基本的な事柄から、ドキュメント指向データやクエリと集計など、MongoDB APIの詳細について、さらにパフォーマンスやトラブルシューティングなど高度なトピックまで豊富なサンプルでわかりやすく解説します。付録ではデザインパターンも紹介。コードはJavaScriptとRubyで書かれていますが、PHP、Java、C++での利用についても触れています。MongoDBを使いこなしたいすべてのエンジニア必携
「MongoDBのはじめての運用テキスト」を書いてみた - 256bitの殺人メニュー
MongoDB使いましょって時に、やれ、レプリカセットだの、シャーディングだの、いちいち手順とか教えていくのがめんどくさくなったので、これを見たらコマンド的な手順はひと通りいけますよ。だから後は自分で調べてね、っていう資料をつくってみたのだ。 というわけで、「MongoDBのはじめての運用テキスト」SlideShareにあげました。 MongoDBのはじめての運用テキスト from Akihiro Kuwano 内容 PDFには、以下の様な内容を盛り込んでいます。 インストール レプリカセット構築 シャーディング設定 基本的なオペレーション Stat系ツールの見方。 ただし、徐々に古い情報にはなってくると思うので、詳しい情報や、最新の情報を見たい方には公式のWikiなり、ソースなり見ていただくのを推奨いたしますｗ 意図 以前MongoDBの薄い本などもあって、あれはすごくわかりやすい入門テ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSCON 2013 talk on AWS and MongoDB
GitHub - spohlenz/mongomodel: Ruby ORM for MongoDB (compatible with Rails 3)
GitHub - bobthecow/genghis: The single-file MongoDB admin app
mongodbのディスク領域を解放するのが難しい問題
