Sharding を使いこなすための5つのTips - doryokujin's blog
@doryokujinです。今日も相変わらずMongoDBの、そしてShardingに関する記事を書こうと思います。 …と、その前にお知らせです！6月は2つのMongoDB勉強会を予定しております、是非ご参加下さい！ ・2011年6月11日（土） 「第4回 MongoDB 勉強会 in Tokyo」@フューチャーアーキテクト ・2011年6月28日（火）「第1回 MongoDB ソースコードリーディング」@PFI さて、それでは本題に入りたいと思います。 MongoDBのShardingといえば、 ・初期設定やShardの追加・削除といった導入の容易さ ・Shardの面倒をMongo側がずっと見てくれるという管理の容易さ を備えていると言うことで興味を持っておられる方も多数いると思います。 しかしその一方で実際にSharding環境を導入している方々の中の多くは、遭遇する様々な不都合や不整
第25回 MongoDB最前線！ 効果的なシャーディングとバックアップ | gihyo.jp
「MongoDB」は、スキーマレスであることやスケールアウトが容易なこと、さらにレプリケーションのしくみが用意されているといった特徴から急速に人気を集めている、オープンソースのドキュメント指向データベースです。第21回で、MongoDBの基本的なしくみや開発時における注意点などをサイバーエージェントの技術者に解説していただきました。今回は後編ということで、運用時におけるポイントについて伺っていきます。 Ameba PicoやピグライフでMongoDBを実運用 サイバーエージェントにおいて、MongoDBはすでにいくつかのプロジェクトで活用されていますが、その1つにアメリカ向けのアメーバピグであるAmeba Picoが挙げられます。松下雅和氏は2011年1月に入社し、このAmeba Picoの運用にアサインされたことでMongoDBを使うことになったと話します。 「前職ではMongoDBを使
MongoDBでChunkのMigrationが進行中か確認したい場合 - 256bitの殺人メニュー
MongoDBのAutoBalancingって便利ですよね。 便利というか、手動Balancingが即時全体反映じゃないので、AutoBalancing使わざるを得ない理由もありますが(； ･`д･´) というわけで、今Shard間でChunkのMigration(以下moveChunk)が走っていないか確認する方法です。 小ネタ注意報。 configデータベース mongocに入っているconfigデータベースには各種Shardingに関する情報が入っています。 これらのCollectionを見ることで現在のShardingの情報は大体わかります。 スキーマの概要はここ changelogコレクション Splitとか、moveChunkが走っているかを見たいのであれば、changelogコレクションを見ましょう。 ここにSplitや、moveChunk等のイベントの進行状況がわかるように
MongoDB Oplog入門
This document demonstrates how the oplog in MongoDB replica sets works by replicating operations from the primary to secondaries. It shows insert, update, remove operations on a collection on the primary and then verifies that the same operations have been replicated to the oplog and applied on a secondary by finding the same document changes. It also shows getMore commands from secondaries tailin
MongoDBでらくらくバッチ処理をやる(Javascriptファイルを実行する)方法 · DQNEO日記
make_users.js for (var i = 1; i<= 10000 ; i++) { var user = { id : i, name : "nanashi_" + i , created_on : new Date() }; db.collection.save(user); } 実行します。 $ bin/mongo --quiet localhost/testdb make_users.js １万件でも１秒未満で終わります。速い！ Mongoシェルに入って結果を確認します。 $ bin/mongo localhost/testdb MongoDB shell version: 2.0.4 connecting to: localhost/testdb > db.collection.count(); 10000 おー、ちゃんと１万件と出ました。 中身はどうなってるでしょう
【CyberAgent】技術情報／TechReport - テックレポート／MongoDBの運用について | 株式会社サイバーエージェント
■はじめに 弊社でも、ピグライフをはじめとしてモバイルゲームなどのサービスでMongoDBを使い始めています。 運用に関してはMySQL等にはまだノウハウ的にはかなわないものの、NoSQLのジャンルの中では有用なプロダクトであるといえるかと思います。 ですが、運用に関しての共有ができておらず、有効な使い方ができていないパターンも多いです、そのため運用に関してノウハウを共有するための資料を作成しました。 ■概要／特徴 MongoDBには以下のような特徴がある ● BSONによる、JSONによるスキーマレスなデータ運用 これにより、柔軟なデータ構造をわかりやすく表現できる。 加えてスキーマレスなため、データの構成を柔軟に帰ることが出来る ● レプリカセットによる冗長化対応 MySQLでも、マスタを冗長化するためには、MySQLCluster、MHAなどのプロダクトがあ
日本語：Mongo dbに於けるシャーディングについて
どうやって決める？kubernetesでのシークレット管理方法（Cloud Native Days 2020 発表資料）
MongoDBのShard Key設計を失敗したため、そのリカバリにたいへん手間取ったメモ - 都内在住エンジニアの思考整理録
年末年始の休暇を挟み、MongoDBサーバのディスクが溢れそうになっていたので、 「そろそろShard増やすか」と思ったら、思いの外うまいこといかなかったのでメモ。 【今回のトラブル】 AWS上にある、約１TBのMongoDBサーバ(m2.4xlarge×3台/Shard6個)のディスク容量が残り10%を切ったので、 新しいMongoDBサーバ(m2.4xlarge×3台/Shard6個)を追加しようとしたけど、データが全く移動できなくなった。 【現象】 1.新しく追加したShardへ、既存データが入っているChunkを移動さえしょうとするも失敗 mongos> db.adminCommand({moveChunk : "hoge.fuga", find : {hourint : 4}, to : "new_shard"}) { "cause" : { "chunkTooBig" : tr
〜うまく動かすMongoDB〜仕組みや挙動を理解する - doryokujin's blog
@doryokujinです。この業界で非常に強い影響力を持つ@kuwa_tw氏が某勉強会でMongoDBについてdisられており、このままではMongoDB自身の存続が危ういと思い、急遽ブログ書きました。（冗談ですよ） ザ・ドキュメント〜うまくいかないNoSQL〜 View more presentations from Akihiro Kuwano MongoDBを使っているときに出会うトラブルをうまくまとめてくださった「MongoDBあるある」的な良い資料だと思います。今日はここで書かれているトラブルの解決方法を提示したいと思います。恐らく@kuwa_tw氏は全ての解決方法を知っていながら、同じトラブルへ悩む人のためにあえてdisったのだと思います。 MongoDB はデータベースもコレクションも存在しなければ自動作成してくれる mongoシェルを起動する場合、たいていは $ mong
bson_ext がロード済みだと Timecop で BSON::ObjectId の creation timestamp を制御できない - Qiita
MongoDB のドキュメントは ObjectId 型の _id というフィールドを持つ。 ObjectId の先頭 4 バイトはその ObjectId が生成された UNIX timestamp を表現しているので、 ObjectId をアルファベット昇順でソートすると生成時刻の古い順に並ぶ。 http://docs.mongodb.org/manual/reference/object-id/ require 'bson' a = BSON::ObjectId.new # => BSON::ObjectId('531029d64b656ea1f4000000') sleep 1 b = BSON::ObjectId.new # => BSON::ObjectId('531029d74b656ea1f4010000') p [b, a].sort # => [BSON::ObjectId
MongoDBの集計機能が便利過ぎて泣けてくるお話し - Y's note
MongoDBイン・アクション 作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Yuta.Kikuchiの日記 時給3000円のCEOと揶揄されている@yutakikucです。今日は簡単にMongodbのログ集計機能を紹介します。機能が豊富過ぎて泣けてくるんで、ログ解析する人は是非使ってみて下さい。FluentdでMongodbにNginxのLogを流し込む設定は上のエントリーを参照して下さい。次回はAggregationFramework/MapReduce周りについて触れたいと思います。 泣ける話 : 集
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mongo sharding
MongoDB〜その性質と利用場面〜
最近のタイムライン保存事情