2018年のApache Hadoopを振り返る - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 そろそろApache Hadoopは終わったのでは? という話がありそうなので、ここ最近の状況を書きます。結論を言うとまだまだ終わってないですが、クラウド事業者が提供するマネージドサービスが充実してきたことにより、直接 Hadoopクラスタ上でジョブを実行したり、Hadoopクラスタを運用したりする人々は特定の企業に集中していくのかなと考えています。 Apache Hadoopとは Hadoopは、大きく分けてHDFS(Hadoop Distributed FileSystem), Hadoop MapReduce, Hadoop
YARN、HDFS、そしてSparkの将来像とは：「Hadoop/Spark Con」基調講演
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本Hadoopユーザー会は2月8日、東京都品川区で「Hadoop Conference Japan 2016」を開催した。第6回目となる今回のイベントでは「Spark Conference Japan 2016」が初めて併催され、キーノートにはApache Sparkの主要開発者であるXin Reynold氏も登壇。2016年にリリース予定のSparkの次期バージョン「Spark 2.0」の最新情報を紹介した。今回の参加登録者数は1347人で、そのうち63%が初参加だという。この記事では、同イベントのキーノートの様子をレポートする。 Apache Hadoopは、大規模データの分散処理を行うオープソースのミドルウェア。分散ファイルシス
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
日本から初めて3人がHadoopコミッタに就任。NTTとNTTデータから。業務としてのコミッタは人事評価も有利になる？
NTTとNTTデータは、オープンソースで開発されているHadoopのプログラムを書き換える権限を持つコミッタに、同社の社員3名が就任したと発表しました。 Hadoopのコミッタに就任した3人。左から、NTTデータ 基盤システム事業本部 鯵坂明氏、NTT ソフトウェアイノベーショ ンセンタ 小沢健史氏、NTTデータ 基盤システム事業本部 岩崎正剛氏 Hadoopのコミッタに日本企業の従業員が就任するのは初めて。NTTデータは2008年からHadoopに取り組みを開始しておりオープンソースへの貢献にも積極的で、Hadoopへの貢献度をコードの行数で集計すると、2014年の上半期はHortonworks、Cloudera、Yahoo!に次いで4位とのこと。 こうした貢献が評価され、Hadoopのオープンソースコミュニティを運営するThe Hadoop Project Management Com
Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
Treasure Dataでの大容量データベンチマーク - Qiita
あふれるデータ 会社で、Treasure Dataを使った分析システムを作っている。ゲーム情報を収集して、ユーザーの体験向上に役立てるためだ。そのため、ユーザーの行動を細かく把握する必要がある。勢いデータ容量は増えてしまう。加えて、オンラインのゲームは、パッケージゲームと違い売って終わりではなく、その後何年にも渡って、サービスを提供する。そのため、ユーザーの行動ログは数億件に達することも珍しくない。 Treasure Dataでのログ分析 先に書いたが、大量のログに対応するため、hadoopを利用した問題解決が様々な企業から提供され始めている。タイトルに有るTreasure Dataもその企業の一つだ。こちらからは、ログを送るだけでhadoopやhiveを用いた分析環境を提供してくれる。一方で、こちらが分析機材を用意するわけではないため、どのくらいの速度で分析できるかわからない。特に複雑な
企業向けHadoopの上位版はApache HBaseの諸問題を解決した
米MapR Technologiesは、企業向けに性能や可用性を高めたHadoop互換ソフトを開発しているベンダーである。国内では、OEM（相手先ブランドによる生産）製品の「EMC Greemplum MR」（旧称はGreemplum HD）が先行して販売されてきた。2013年4月には、日本法人「マップアール・テクノロジーズ」を設立。9月19日には、国内販売代理店2社（ノーチラス・テクノロジーズと新日鉄住金ソリューションズ）と正式にパートナー契約を交わしたことを発表。これにより、今後はEMC Greemplum MRに加え、自社ブランドでも日本市場で展開することになった。同社幹部に、ユーザーから見た自社ブランド製品の意義を聞いた。 大きく二つある。一つは、販売チャネルが広がることだ。これまで日本市場に提供してきたEMC Greemplum MRの販売チャネルに加えて、オリジナルブランドの製
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
Hadoopのシステム設計・運用のポイント
Cloudera World Tokyo 2012 で発表した、Hadoopのシステム設計と運用のポイントに関する資料です。
第7回 halookを支える技術「ENdoSnipe」：halookで始めるHadoop/HBaseトラブルシューティング｜gihyo.jp … 技術評論社
このように開発から運用まで幅広い開発工程で利用することを想定しています。 halookはこのENdoSnipeのプラグインとして開発しており、Javelinを拡張してHadoopの情報を取得できるようにしたり、DashboardにHadoop用のビューを追加することで、Hadoopを解析できるようにしています。同様の手法で、他のOSSなアプリケーションやミドルウェアを解析するためのツールも構築することができるでしょう。 Javelin : ENdoSnipeのコア機能 では、どのようにしてENdoSnipeはJavaの内部情報を取得しているのでしょうか。Java内部の情報を取得する方法としては、たとえばスレッドダンプやヒープダンプがあります。これらを取得すれば、Java内部で動いている全てのスレッドの情報やヒープメモリの状況は分かりますが、情報として十分ではありません。たとえば引数や戻り値
第6回 Capacity Scheduler による複数ジョブの同時実行 | gihyo.jp
前回の記事では、Fair Schedulerによる複数ジョブの同時実行についてご紹介しました。今回は、Capacity Schedulerを使った場合について、複数ジョブの同時実行時の挙動を見てみましょう。 HadoopのSchedulerとは複数のジョブを実行する際に、slot数の割り当てを制御し、均等にリソースを割り振ってすべてのジョブが同時に動くようにしたり、優先度の高いジョブから実行させたりといったことを可能にするものです。Scheduler自体の意義については、具体例とともに前回の記事に記載しているので併せて参考にしてください。 Capacity Schedulerとは？ Fair Schedulerは、あらかじめ「pool」を定義して、poolごとにslot数の割り当てなどを決め、ジョブの実行時にどのpoolに属するジョブかを指定しました。Capacity Schedulerで
山崎製パン、統合基幹システムをSOA基盤上に刷新
分散稼働していた基幹システムをSOAによる基盤上で刷新。各工場の業務に応じて設計されていたシステムを整理し、全データの一元管理・利用を可能にした。 山崎製パンが富士通と共同で、受注から請求までの基幹業務を強力に推進する「ヤマザキ基幹システム」を刷新し、稼働を開始した。両社が5月7日に発表した。 山崎製パンは、30年にわたって工場ごとのホストで分散稼働していた基幹システムを、SOA（サービス指向アーキテクチャ）の基盤上で刷新し、各システムのデータ連携や全社的なシステムとして全体最適を行った。これまで各工場の業務に応じて設計されていた受注、発注、物流、売上・請求システムを、データの属性や処理の流れなどプロセスから整理し、今後のビッグデータ活用に向け、全データの一元管理・利用を可能にしている。SOA基盤には、システム間のインタフェースの違いを吸収し、さまざまなサービスやシステムと柔軟に連携できる
Apache HBase® Reference Guide
This is the official reference guide for the HBase version it ships with. Herein you will find either the definitive documentation on an HBase topic as of its standing when the referenced HBase version shipped, or it will point to the location in Javadoc or JIRA where the pertinent information can be found. This reference guide is a work in progress. The source for this guide can be found in the _
Zabbix向けのHadoopメトリクス取得用スクリプトとテンプレート - 双六工場日誌
先週からZabbix向けのHadoopメトリクス取得用スクリプトとテンプレートをこっそり公開していました。 プログラムとしてはかなり荒削りな状態なので、これまでGithubに上げただけにしていましたが、それだけではあまり意味が無いので、今さらブログで取り上げてみる次第です。 URLは以下。 https://github.com/sechiro/zbx_hadoop_monitor 今上がっているものは、HadoopとHBaseのメトリクスを取得する外部チェックスクリプトとZabbixテンプレート生成スクリプト、生成済みテンプレートのセットです。 監視の観点では、しきい値の設定やグラフの設定など、まだ追加しないといけない要素があるのですが、まずは基本のところのみ上げています。 こちらはすべて /jmx のJMXサーブレットのインターフェースを使用します。 /metrics のメトリクスサーブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本当にあった怖い話 「Hadoopで炎上しかけた話」
CoreOSとDockerの上でビッグデータ分析の敷居をフロントエンドプログラマ向けに低くするPachyderm | TechCrunch Japan
Lxc で始めるケチケチ仮想化生活？！
Latest Insights on Data and AI | Cloudera Blog
The Apache HBase™ Reference Guide
Alluxio | Home
