大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
僕のセッションを聞いて頂いた皆様、主催の@railuteさん、その他にも会場で色々とお世話をして頂いた皆様本当にありがとうございました。正直前半は人数の多さと喋っている目の前でコミッターの@aaronmortonさんや@spycedさん、@AlTobeyさん、@yukimさんなどDatastaxの人達がいてアガりまくっていました。なので、かなりお聞き苦しい所が多々あったかと思いますがご容赦下さい・・・。 発表したスライドはこちら cassandra 100 node cluster �admin operation from oranie 一部直した所があるかも。 今回参加させて頂いて凄い助かったのは同時通訳のシステムがあって、英語の発表も完全じゃなくてもニュアンスまでは理解できたのが凄い助かりました。 ただ、発表終わって話掛けて貰ったのに英語だったので ('A`)「さ、さんきゅー」
Cassandraとは オープンソースの分散データベース。 元々Facebook社が開発し、現在はApache Software Foundationが開発中で、2013年12月現在の最新版は2.0.3です。 ノードがP2P通信でクラスタを組む非中央管理型のシステムであり、 スケーラビリティ、高可用性、耐障害性に優れていると 言われています。 以下勉強メモ ■Cassandraのインストール ■用語集 Cassandraのインストール JDKインストール OracleJDKをダウンロードしてくる http://www.oracle.com/technetwork/java/javase/downloads/index.html rpm -ivh /tmp/jdk-7u45-linux-x64.rpmCassandraダウンロード wget http://ftp.tsukuba.wide.a
Welcome to Barcelona! We’re on the ground at a sold-out Team ‘25 Europe event, and you can really feel the...
Cassandra 2.0が公開、軽量トランザクションやCQL強化で生産性向上:Stormとの統合も容易に Apache Software Foundationは、ビッグデータ用分散型データベース管理システムのメジャーアップデートとなる「Apache Cassandra 2.0」を公開した。軽量トランザクションやトリガーなどの新機能に加え、クエリ言語「Cassandra Query Language(CQL)」の強化などを通じて生産性の向上を図った。 Apache Software Foundation(ASF)は2013年9月4日、ビッグデータ用分散型データベース管理システム(DBMS)のメジャーアップデートとなる「Apache Cassandra 2.0」を公開した。軽量トランザクションやトリガーなどの新機能に加え、クエリ言語「Cassandra Query Language(CQL)
まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい(ステマ テストスクリプトとか。 https://github.com/oranie/oranie/blob/master/cassandra/cassandra_test_data.pl こんな感じで、僕の場合perlでCassandra::Lite使うと楽だった。 Cassandra::Liteメモ # Insert it. $c->put($columnFamily, $key, {title => 'testing title', body => '...'}); And get data: # Get a c
re.md @oranie さんのブログ記事への返信です。 たいへん遅くなりました。申し訳ないです。 repairとcompactionのコストが高すぎる Cassandraにノードを追加する(Bootstrap)と、そのノードが担当するレプリカのデータを他のノードから取得します。 Repairはノードが保持するレプリカの整合性を検証して修復します。 どちらもデータを他のノードから取得しますが、ファイルを1つづつやり取りするため時間がかかるのは事実です。 この部分にまだまだ改善の余地があります。次のメジャーバージョンで抜本的に見直します。 ファイルのストリーミングはデフォルトで400Mbit/secに制限されています。帯域に余裕があれば設定(cassandra.yaml の stream_throughput_outbound_megabits_per_sec)を変更しても良いかもしれませ
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
9月半ばくらいから仕事でCassandraに触れている。現場でCassandraの機嫌を取ったり、同僚とオライリー本を輪読したり、手元でいじったりしているうちにCassandraをある程度習得することができた(つもり)。なのでメモを残しておく。今日は第一弾としてCassandraの特徴、インストール、データモデル、データ操作についてまとめる。なお、ここで言及しているCassandraのバージョンは1.1.5。 (1) Cassandraの特徴 まずは特徴を列挙する。 列指向分散DB 4次元または5次元の構造 キースペース、カラムファミリ、ロウ、(スーパーカラム)、カラムの順に入れ子構造となる。 カラムは値とタイムスタンプをもつ。タイムスタンプはカラム挿入時に自動で付与される。 カラムは挿入時にTTLを設定することにより時限削除可能。 データ操作は挿入、削除、参照のみ。 データの更新は挿入に
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
Tweet Last week, I discussed our experiences with configuring Cassandra. As some of the commenters pointed out, my conclusions about the garbage collection were not fully accurate. I did some more experiments with different kinds of GC settings, which I will discuss in this post. On the bottom line, it is not that hard to get Cassandra run in a stable manner, but you still need a lot more heap spa
Deepening watsonx capabilities with DataStax to unlock enterprise data and build accurate, enterprise-ready AI apps DataStax® is bringing cutting-edge capabilities—spanning Astra DB, HCD, Langflow—to watsonx®, enabling enterprises to manage real-time, unstructured and multimodal data for AI at scale. The result: Open, AI-ready infrastructure that runs anywhere—on-prem, hybrid or multi-cloud—while
1. Cassandra is a decentralized structured storage system designed for scalability and high availability without single points of failure. 2. It uses consistent hashing to partition data across nodes and provide high availability, and an anti-entropy process to detect and repair inconsistencies between nodes. 3. Clients can specify consistency levels for reads and writes, with different levels bal
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています(NoSQL=Not Only SQL。命名の経緯はこちら)。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも(ツイートデータの格納には使われないようですが、それ以外の用途で)利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
【実証】Apache CassandraでNoSQLに挑戦 後編GMOクラウド株式会社の芦田です。前回の”【実証】Apache CassandraでNoSQLに挑戦 前編“に引き続き、Apache Cassandraの使い方を紹介します。今回はCassandraに対するデータの書き込みおよび読み出しの方法と、複数ノードでのクラスタの構成方法を解説します。 1 接続の確認 まず、前回インストールしたCassandraにコンソールから接続してみましょう。Cassandraにはコンソールベースのクライアントプログラム「cassandra-cli」が付属しています。cassandra-cliコマンドはbinディレクトリにあり、接続先ノードのホスト名(IPアドレス)とポート番号を指定して次のように実行します。 [root@kumolabo-cassandra ~]# /usr/local/cassa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く