Dockerでデプロイ、60ノードまでスケールアウト、Sparkで分析 テラバイト・クラスの集計処理もあっさり返すdashDB LocalでDWHを構築する - はてなニュース
日本アイ・ビー・エム（以下、日本IBM）の「IBM dashDB Local」は、プライベートクラウド/ハイブリッドクラウドに最適な構成を持つデータウェアハウス（DWH）向けの製品である。Dockerコンテナとしてデプロイ、スケールアウト（規模拡大）でき、データ量や処理負荷の急増に柔軟に対応できる。インメモリの列指向データベースと並列処理により検索処理を高速に実行する。システムの成長に柔軟に対応できるライセンス体系を備えている。 構成はITジャーナリストの星 暁雄です。記事の最後にはプレゼントのお知らせもあります。 （※この記事は、日本アイ・ビー・エム株式会社提供によるPR記事です） ▽ IBM dashDB Local - ハイブリッド・データウェアハウスを実現する Software-Defined DWH - Japan プライベートクラウド上でソフトウェアで定義されたスケーラブルなデ
Twitter、NTTデータを含む再販業者へのFirehose提供を8月までに打ち切りへ
米Twitter傘下のGnipは4月10日（現地時間）、公開ツイートデータ「Firehose」の再販業者への直接提供を8月中に打ち切ると発表した。企業や組織へのFirehoseの提供はGnipのみが行うことになる。 Gnipによると、TwitterはGnip買収直後から再販業者へのFirehose提供打ち切りのプロセスを開始し、現在まだFirehoseを扱っているNTTデータと米DataSiftへのFirehose提供を8月半ばには終了する見込みという。 再販業者へのFirehose提供打ち切りの理由は、Firehoseのユーザー企業とダイレクトな関係を築くことが、Firehoseをサポートする最善の方法だと確信するからとしている。 Twitterは2012年に立ち上げた「公認製品プログラム」で、Twitterのデータの価値を高め、利用しやすくするツールの構築をサードパーティーに奨励し、F
数百億件のデータを30秒で解析――クラウド型DWH「Treasure Data」に新サービス
クラウド型のデータウェアハウス（DWH）サービス「Treasure Data Service」を手掛けるトレジャーデータは12月9日、クエリの実行速度を従来比で10～50倍に高速化するというオプションサービス「Treasure Query Accelerator」の提供を始めた。 Treasure Data Serviceは、ユーザー企業が持つ大量のセンサーデータや購買取り引きデータ、Web閲覧データ、アプリケーションログデータなどをクラウド上に蓄積し、分析可能な形に整理して提供するサービス。有償版は月額3000ドルからのサブスクリプション制で利用でき、ビッグデータ活用基盤の構築・運用にかかる時間やコストを低減するとしている。 新サービスは、アドホックデータ解析向けに新たに構築したクエリエンジンを提供し、従来のバッチ型エンジンと比べてクエリ実行速度を高速化するもの。太田一樹CTOによれば、
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
ローソン「31位の菓子パンを売り続ける理由」 −人知を超えるビッグデータの底力【6】 - ライブドアニュース
2013年7月27日 13時15分 リンクをコピーする by ライブドアニュース編集部 ざっくり言うと が「ビッグデータ」をどう活用しているかを紹介している 「カード」の導入で、は購買傾向を知ることが出来たという 売れ筋ではないが女性の支持があるため陳列されている菓子パンも 1勝3敗1引き分け。今年4月の「第2回電王戦」でプロ棋士はソフトに負け越した。コンピュータのデータ解析能力は、将棋のような複雑な世界でも人間を上回りつつある。こうした「ビッグデータ」はビジネスではどう活かされているのか。各社の最新事例を探った──。一方、でも「POSデータ」をさらに深めたデータ分析が進んでいる。最大の要因は10年3月に導入した共通ポイントサービス「（ポンタ）」だ。ポンタの会員数は昨年末に5000万人を突破。提携企業数は13年5月現在で66社にのぼる。 ポンタの導入により、「1割のヘビーユーザーが6割の売
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1）
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） ERPベンダ最大手のSAPは2010年、新規に開発したデータベース「SAP HANA」（当時の名称は「SAP High-Performance Analytics Appliance」）を発表しました。 HANAの製品化を背景に、SAPは2012年5月にデータベース市場への本格参入を宣言し、オラクルやIBM、マイクロソフトとデータベース市場で競合していくことを表明。そして今年2013年2月にはついにERPと組み合わせた「SAP Business Suite powered by SAP HANA」の出荷を開始し、業務アプリケーションのバックエンドデータベースとしてHANAの本格利用を開始しました。 HANAには、これまで主流だったリレーショナルデータベースとは異なる
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CCC、約300の「属性」と「志向性」からTポイント会員を“プロファイリング”、データは音楽会社に提供へ - 日経BigData