Engadget | Technology News & Reviews
California's age verification bill for app stores and operating systems takes another step forwardThe Digital Age Assurance Act will now go to Governor Gavin Newsom. Roblox hit with wrongful death lawsuit following a teen player's suicideAccording to The New York Times, a mother has taken legal action against Roblox and Discord for their alleged involvement in her son's death.
気象庁、ウェザーニューズ社に注意 : 社会 : YOMIURI ONLINE（読売新聞）
日本列島を縦断して大きな被害をもたらした台風１８号について、民間の気象情報会社「ウェザーニューズ」（東京）が独自に上陸地点を発表したとして、気象庁が９日、気象業務法に基づいて同社を注意していたことがわかった。 同庁は「台風などの防災情報は、混乱を防ぐために一元化しなければならない」としているが、ウェザー社は「利用者のニーズに応えるため、早く発信しようとしただけ」と主張している。 台風１８号は、同庁の発表では８日午前５時頃、愛知県の知多半島に上陸したことになっているが、ウェザー社はこれに先立つ同４時頃、三重県の志摩半島に上陸したとする情報をホームページに掲載している。 同庁では、「防災情報は気象庁の解説にとどめることを条件に許認可を与えた」としており、同庁の桜井邦雄長官は１５日の定例会見で、「台風が今まさに迫っている状態で、複数の情報が出て混乱させるのは望ましくない」としている。これに対し、
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
