巨大サイズデータ処理に対して省メモリで立ち向かう
こんにちは。検索連動型ショッピング広告のレポートシステムを担当している眞井です。 レポートシステムでは、広告主が広告の成果の可視化や分析を行うためのレポートを作成する機能を提供しています。 作成するレポートはCSVやTSVなどのテキストファイルで、広告の運用状況によっては数GB規模の巨大なサイズになることもあります。 普段はなんてことない処理でも、扱うデータのサイズが巨大になると多くのメモリが要求されてサーバ費用が高くついたり、OOME（Out Of Memory Error）が発生して処理が失敗してしまうといった問題が発生します。 今回は、このような問題を回避するためにレポートシステムで行っている2つのテクニックを紹介します。 巨大なデータを扱う場合に発生するOOME まず、どのようなシーンでメモリが要求されOOMEが発生するのかを、レポートシステムの例で説明します。 レポートシステムが
Domo - データ活用プラットフォーム
企業のデータ活用を支える、AIネイティブプラットフォームDomoは、お客様のデータ活用、DXを支えるためのAIを搭載したオールインワンプラットフォームです。 単なるBIの領域を超え、データの統合・社外へのダッシュボードの共有・埋め込みApp作成・ワークフロー・CDW連携など、データ活用・DXに必要な機能をワンストップで提供しています。 セキュアでガバナンスの整った環境だからこそ、AIもすぐに利用することができます。 Domoは企業の情報を一元管理し、全社でのデータ活用の効率化と促進、そして迅速な意思決定を支援します。 業界・課題別顧客事例Domoのお客様は、業界・分野を問わず多岐にわたります。それぞれの企業が抱える課題に対して、独自の視点や工夫で取り組まれた実践的な事例を多数ご紹介しています。皆さまの課題解決や新たなアイデアのヒントとして、ぜひご参考ください。 顧客事例集へ
CBOR — Concise Binary Object Representation | Overview
RFC 8949 Concise Binary Object Representation “The Concise Binary Object Representation (CBOR) is a data format whose design goals include the possibility of extremely small code size, fairly small message size, and extensibility without the need for version negotiation.” JSON data model CBOR is based on the wildly successful JSON data model: numbers, strings, arrays, maps (called objects in JSON)
Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出 - Qiita
みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェックしてみて下さい． Linked Data の基本 Linked Data では，エンティティ，プロパティ，リテラル の 3 つを使って情報を表現します．エンティティは上図の
Space-Track.org
All numbers are approximate. Analyst objects are variably tracked and in constant flux, so their catalog and element set data are not published on this website. Visit FAQs for more information. Space-Track.org promotes space flight safety, protection of the space environment and the peaceful use of space worldwide by sharing space situational awareness services and information with U.S. and intern
SSL/TLSの基礎と最新動向
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）
DRAW: A Recurrent Neural Network For Image Generation
This paper introduces the Deep Recurrent Attentive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel spatial attention mechanism that mimics the foveation of the human eye, with a sequential variational auto-encoding framework that allows for the iterative construction of complex images. The system substantially improves on the state of the art for gener
総務省｜平成25年版 情報通信白書｜平成25年版 情報通信白書のポイント
■構成 第1部 特集「スマートICT」の戦略的活用でいかに日本に元気と成長をもたらすか ICTを「元気の源泉」として戦略的に活用することにより、経済成長や社会的課題の解決、安心・安全社会の実現にどのようにつながるかを展望する。 第1章：「スマートICT」の進展による新たな価値の創造 スマートフォンの普及やビッグデータ・オープンデータ活用の高まりなど、ICTの新たなトレンドが新たな価値を創造し、ICTと成長に対する期待値を高めつつある状況を検証 第2章：ICTの活用による社会的課題の解決 ICTの活用による社会的課題の解決が期待される分野として、電子行政、社会インフラの効率的管理を含む資源問題対策、健康長寿社会の構築に向けた取組について現状及び課題を検証 第3章：安心・安全なICT活用環境の実現と研究開発戦略 ICTのポテンシャルを引き出すには、利用者が安心・安全にICTを活用できる環境の構
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lightdash | Self-serve BI to 10x your data team
Simple Data Analytics Leads impact - Speaker Deck
GitHub - tidwall/buntdb: BuntDB is an embeddable, in-memory key/value database for Go with custom indexing and geospatial support
GitHub - yahoo/fetchr: Universal data access layer for web applications.