【公式】3.Hadoopで基幹バッチを行うために - Asakusa Framework
【ノーチラス・テクノロジーズ の詳細はこちら】 http://www.nautilus-technologies.com/ http://www.facebook.com/NautilusTechnologies https://twitter.com/#!/NAUTILUS_Tech 【Asakusa Frameworkの詳細はこちら】 http://www.asakusafw.com/ https://twitter.com/#!/asakusa_hadoop 【この動画について】 この動画では、Hadoopの適用基準や、バッチ処理基盤としてのHadoopに「何が足りないのか？」、そしてHadoopの足りないところを補うAsakusa Frameworkについての解説をしています。 Hadoopは信頼性の高い、スケーラブルな分散処理基盤を提供する
アトムとビット〜Hadoopでバッチが速くなって何がうれしいか？ - 急がば回れ、選ぶなら近道
まず、社内のオープニングで説明した内容だったりするのですが、一回まとめておきたいので。 断っておくとこの言い方はニコラス・ネグロポンティから取っています。彼の主張は明確でいままでアトム（物質）的な存在だったものが、ビット（電子情報）的な存在に凌駕される、いや大きく姿を変えてるという指摘でございますね。Being digitalが出版されたのが95年なので、もう15年以上になるわけですね。ま、ざっくりすぎてアレですが。・・ワーディングとして便利なので利用させてもらいます。 まず、主題は何かというと、「バッチが速くなって何がうれしいのか？」という問題の背景をちゃんと説明しておきたい。もともとHadoopで何がしたかったのかというと、そもそもバッチのスピードを上げたかった。そもそもRDBMSではまぁ限界があったというのが事の起こり。んで分散処理を行うとIOが分散されるので、スピードがあがりますね
第2回Asakusaソースコードリーディングのメモ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusaソースコードリーディング（第二回）、ThunderGate編のメモです。 資料： ThunderGate Togetter：Asakusaソースコードリーディング（第二回） ThunderGateはHDFSと外部のRDB（今のところはMySQL）とのデータ転送を行う部分。Asakusaフレームワークが「トランザクションをサポート」と言っているのは、ThunderGateにかかっている。 やはりHadoopを使う上ではHDFSと外部とのデータ配信がひとつのポイントになるので、重要。 説明してくださったのは、ThunderGateのアーキテクチャー設計者の埋金さん。 テレメータ（社会インフラ）の開発だとか、RDBでHAクラスターを組んだりとか、UMLaut/J-
会社を作りました。 - 急がば回れ、選ぶなら近道
さて、会社を作った。 （元）EC-ONEの最首さんと一緒につくった。 EC-ONE側は、SI事業をウルシステムズへ統合して、分社化する。 僕らのチームがそのままEC-ONEに移動し、そして新しい会社を作る。 分散をやっているEC-ONEの福岡のチームと合流して、 分散技術や次世代の技術を業務に活かすということを いろいろでやっていく会社（というか入れ物だ）を作る。 分散技術にウェイトを置いて起きつつ、ソリューションにしていくための入れ物ですね。 「ノーチラス・テクノロジーズ」 NAUTILUS Hadoopや分散技術をエンタープライズに活かしていくことを 目的にした日本では最初の会社になると思う。 1.まず手始めにHadoopを中心の道具立てにしていく 幸いAsakusaもチームの頑張りで晴れてOSSになったし、 実際に動いている 開発効率の高さは自分でもびっくりしているぐらいだ。 分散技
株式会社ノーチラス・テクノロジーズ
劔＂Tsurugi＂ 新しいハードウェアアーキテクチャ（メニーコア・大容量メモリー）に合わせた設計思想で、 性能を最大限に発揮するデータベース Asakusa Framework 業務システムのバッチに並列分散処理の能力を活用するためのフレームワークです。大容量のデータ・複雑な処理を多数のコンピューターに分割して処理し、従来のシステムでは難しかった処理も実現できます。 Asakusa on M³BP Asakusa on M³BPは、分散処理の開発フレームワークであるAskausa Frameworkと、マルチコア環境でDAG形式で並列処理をするインメモリエンジンのM³ for Batch Processing（略称：M³BP）を組み合わせたデータ処理高速化のソリューションです。フィックスターズ社との共同開発でOSSとして公開しています。
ウルシステムズとイーシー・ワンが経営統合、Hadoop専業会社を立ち上げ
ウルシステムズとイーシー・ワン（EC-One）は2011年5月25日、10月3日付けで経営統合すると発表した。EC-Oneの主力事業であるシステムインテグレーション（SI）事業を、ウルシステムズに統合する。併せて、ウルシステムズの「Hadoop」関連部門をEC-Oneに移す。EC-OneはHadoop専業会社となり、社名を「ノーチラス・テクノロジーズ」に変更する。 ウルシステムズは、オープンソースソフトウエア（OSS）の分散バッチ処理ソフトであるHadoopを使ったシステム構築を行っており、2011年3月には自社で開発した基幹バッチ用Hadoopフレームワーク「Asakusa Framework（Asakusa）」をOSSとして公開した。EC-Oneは、分散システム管理ソフト「Monkey Magic」のHadoop対応を進めている。 Asakusaの開発チームとMonkey Magicの
第3回 業務の境界や並列性を見極め処理を分割
第3回と第4回では、Asakusaを使ったバッチ処理アプリケーションの設計方法について解説する。Asakusaでは、Batch DSLで記述する「バッチ」、Flow DSLで記述する「ジョブフロー」と「フロー部品」、Operator DSLで記述する「演算子」という三つの階層で、アプリケーションを構成する。 なお今回解説する設計技法は、Hadoopへの依存度を極力なくすことを意図している。Hadoopへの依存度が高いと、設計者がHadoopをマスターする必要があり、開発規模を拡大する足かせになるからである。以降は「クラウド時代の非同期処理設計の一般技法」と捉えてもらっても差し支えない。 有向非循環グラフ「DAG」を使って開発する Asakusaでの設計では、DAG（Directed Acyclic Graph）を用いる。DAGは、図1に示したような有向非循環グラフのことである。処理を表す頂
Asakusa Enterprise Batch Processing Framework for Hadoop
Asakusa Enterprise Batch Processing Framework for Hadoop Hadoop Japan Conference 2011-2-22
#ashigel Ashigelコンパイラの勉強会
豊月 @yutuki_r Asakusaの次期VerのコードネームはやはりTawarachoなのだろうか。Ueno、Nihonbashi、Toranomonなどを経て最後はShibuyaになるんだろうか・・・ 2011-02-25 01:00:42
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
gooサービス終了のお知らせ | dメニュー
gooサービス終了のお知らせ | dメニュー