Bright Data - All in One Platform for Proxies and Web ScrapingBrowser APISpin up remote browsers, stealth included
State of the Map Japan 2024
State of the Map Japan 2024 同時開催: FOSS4G Hokkaido 2024 2025年2月15日 (土曜日) 13:00 - 18:00 EZOHUB SAPPORO BOOK LAUNGE カンファレンス開催テーマ「Re:mapping」 OpenStreetMapは「自由な地図をみんなの手に」をスローガンに作成した地図データの集合体です。わたしたちは、この活動をさらに発展させるためにカンファレンスを企画しました。 (もっと読む) State of the Map（以下 SotM）は、世界中の多様な人々が紡ぐ世界地図プロジェクト OpenStreetMap(以下 OSM )の国際カンファレンスシリーズであり、OSM編集者(マッパー)、技術者、OSMを利活用・支援する企業や団体など、世界のコミュニティが一同に介するカンファレンスとして、2008年から続けら
プライマリキーにUUID v7/ULIDを使うか問題について
MySQLでUUID(v4)をプライマリキーにしてはいけない理由データベースの設計でプライマリキーをどうするかは、最初に悩むところではないかと思います。特にコンシューマー向けのWebサービスやマルチテナントのB2Bサービスを開発するときなどは特に気をつかいますよね。 何も考えずにAuto increment（自動採番）型のプライマリキーを付けて、「/users/1」「/users/2」「/users/3」みたいなID付きのURLでアクセスさせてしまうと、次のような問題が生じることがあります。 URLに使われているIDの大きさや増加数から、システムの規模感や利用状況が分かってしまう。IDを機械的に変えて総当たり的に情報を取得できてしまう。また、分散したシステムでサブシステムごとに衝突しないIDを割り当てたいことがあるかもしれません。そんなときにUUIDをプライマリキーにしちゃえばいいんじゃね
MDMの効果を経営層に納得させるために―ROI可視化に効く3つの観点とは？ | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ データマネジメント2021 ＞ MDMの効果を経営層に納得させるために―ROI可視化に効く3つの観点とは？ データマネジメント データマネジメント記事一覧へ [Sponsored] [データマネジメント2021] MDMの効果を経営層に納得させるために―ROI可視化に効く3つの観点とは？ 2021年4月26日(月) リスト いくつものシステムで利用されるデータの整合性を取るための「マスタデータ管理（MDM）」は、データ活用の基盤と言える取り組みだ。ただし、MDM単体では効果を数値として算出しにくく、有効性を経営層に納得させるのが一苦労だ。結果、プロジェクトが途中で頓挫することも現実問題として多い。「データマネジメント20201」のセッションで、JSOLの有澤太氏が、その打開策の一端を教示する。 MDMは必要だが
行政や自治体DXで学んだ大切なこと──大規模組織で抵抗勢力を作らず、1.1倍の進化で変革を生むには | Biz/Zine
データには逆算が必要だ吉本：すごく共感します。僕らのシステムの中には、自治体の人だけでなく市民向けの可視化の機能もあります。そこのプロダクトマネージャーには、「『週刊文春』だったらどう書くか？」を考えるように言っています。何がバズるのかということを箇条書きして、そこに、正確さや誠実さ、みたいなものも加味して、体系化して整理すると何をやるべきかが見えてくるよ、と。 樫田：面白い。
データアナリストが使うと便利な生成AIプロンプト事例
こんにちは。Ubieでアナリティクスエンジニア/データアナリストをやっているむらなかです。 2024年5月に入社し、2ヶ月半の育休を挟んで10月に復帰しました。 医療ドメインは想像以上に奥深く、プロダクトの幅広さやデータの複雑性も相まって、毎日が新たな学びと挑戦の連続です。入社して間もない私にとって、新しい概念や膨大な情報を整理する作業は、大きな認知負荷となりがちでした。 Ubieでは全社的に生成AIの活用に力を入れており、BIチームでも互いの生成AI活用事例を共有しながら生産性向上を図っています。生成AIをうまく使うことで、前述の認知負荷も軽減できそうだと感じていて、実際、プロンプトの工夫次第でSQLやデータモデルの理解、分析要件整理など、日常的な業務をスムーズに進められるようになりました。 私のチームではスクラムを採用し、story pointを振ってベロシティを計測しているのですが、
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - レバレジーズ データAIブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
ゼロから始めるDagster・すぐに使える実践ガイド
はじめに 本ドキュメントは、Dagsterのシステムコンセプトについて基本的な内容を要約・再整理した、Dagster導入のガイドです。 Dagsterの概念は、データオーケストレーションに特化されているところから独特のコンセプトを用いているところがあります。そのため、特に難しく重要な内容を要約し、理解の助けにするところを目指しました。また、公式ドキュメントの構成も十分に整理されていない部分もあり私なりに再構成してあります。用途に応じ目次を参照しつつ拾い読みしながらご活用いただけると幸いです。 Dagsterのシステム概要 以下は公式から引用したDagsterのシステム概要図です。Dagsterのサービス(Long-runnning services) とサービスから生成される Job(Ephemeral Process) の関係を示します。 図にはk8s(Kubernetes)とありますが
MDM - Wikipedia
通常マスターデータは個々の情報管理アプリケーション内で定義されるが、マスターデータが適切に管理されていない場合や、複数の情報管理システムで同じマスターデータを使用する場合には、マスターデータ間の整合性が保たれない、または重複が存在するという事態が発生しうる。マスターデータの重複や不整合は、そのマスターデータと関連するデータが検索・同定できなくなる、といった不都合を生むため、マスターデータ自体を管理する必要からMDMという概念が生まれている。 MDM は、メインフレーム時代から続く古い課題であり、システム開発の度にそのアプリケーションにおいて整合性をとり品質を保つ仕組みを実装してきた。情報システムにおけるパッケージソフトウェアの適用が拡大することで、アプリケーション側でのマスターデータ管理が困難になってきたことから、MDMを行うためのパッケージソフトウェア製品も開発されてきた。 以下で行う
DMBOKに基づく「データマネジメント成熟度アセスメント」を実施してみた話 - レバレジーズ データAIブログ
はじめに こんにちは。レバレジーズのデータ戦略室の辰野です。いつの間にか5回目の投稿を迎えました。 今回は、私が2024年度上半期に注力した「DMBOKに基づくデータマネジメント成熟度アセスメントの実施」についてご紹介できればと思います。 レバレジーズでは初めての実施ということもありかなり苦労したので、これからデータマネジメント成熟度アセスメントを実施してみよう！と思われている方にとって、参考になれば幸いです。 ※ベースとなるDMBOKに関する情報は、既に多くの記事が出ているかと思いますので本記事では割愛させていただきます なぜやることになったのか 例えば、皆さまの周りでこんなことは起きていないでしょうか？ 「テーブル定義書はあるけど、実際のテーブルと内容が違う…」 「この指標の定義を知りたいけど、どこを見ればいいのか分からない…」 「このツールの使い方がどこにまとまっているか分からない…
サロゲートキーの扱いに終止符を打ちたい - 日々量産
データベーススペシャリストに落ちまくってるので権威性ゼロです。こんにちわ。誰も扱いに困ってないと思いますが、自分の中で決着がついたので。 いつものように散らかってます。すんません。書きなおす気力ないです。 要約: サロゲートキーを使うか・使わないかではない。必要なときは使えばよい サロゲートキー サロゲートキーとは メリット デメリット DB設計の観点 論理設計 物理設計 アプリの観点 フレームワークの都合でサロゲートキーを採用する/しないがある サロゲートキーじゃないと条件漏れが怖い？ サロゲートキーがあっても結局使えないこともある 「じゃあずっと複合主キーでやっていくのかよ！うちは5カラムもあってやってられんわ！実装側に入力ミスさせるような設計してんのか！DB設計しただけでいい気になりやがって！！」 「複合主キー許すまじ！サロゲートキーを一律に振れ！！」 サロゲートキーに関する様々な意
【合格体験記】DB初心者が2か月でSnowPro Coreに合格した - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経験がない データエンジニアリングを学んでみたいが、どこから手をつけるといいかわからない 簡単なバックグラウンドと経緯 Tableauによるクロス集計中心のデータ分析職（他業務も兼務）から、2023年2月にデータ分
「噂のSnowflake Deep Dive」Data Engineering Study #5
▍イベントレポートはこちら https://blog.trocco.io/event-report/data-engineering-study-vol-5 ▍視聴後は... ・データエンジニアのためのニュースまとめ「Data Engineering News」はこちら https://blog.trocco.io/category/data-engineering-news ▍イベント参加方法🐦 ・Twitter ハッシュタグ「#DataEngineeringStudy」 ハッシュタグを付けてツイート → https://twitter.com/intent/tweet?hashtags=DataEngineeringStudy ハッシュタグのツイートを見る → https://twitter.com/search?q=%23DataEngineeringStu
RDBMS(PostgreSQL)のデータを、DWH(Snowflake)に入れる時に、再考したPrimary keyの重要性
RDBMS(PostgreSQL)のデータを、DWH(Snowflake)に入れる時に、再考したPrimary keyの重要性 PostgreSQL Advent Calendar 2022 の25日目の記事です。 RDBMS（以下、データベース）のデータをデータウェアハウスに入れたいというニーズは、データ統合を進めていくと発生すると思います。筆者は、実際にPostgreSQLのデータを、Snowflakeに取り込みを行いました。その際に、テーブルにPrimary keyがついておらず困りました。なぜPrimary keyが必要なのかについて、自分なりの見解をまとめてみました。 ※現在は、Primary keyをつける方針になり、事なきを得ました。 解決したかったこと 社内に存在しているデータベース。今回だとPostgreSQLに入ってるデータを、Snowflakeにさくっと入れたい。 な
ディメンショナルモデリング勉強会を実施しました - 10X Product Blog
データ基盤チームに所属しているデータエンジニアの吉田(id:syou6162)です。10X社内のデータマネジメントの仕事をしています。 最近、社内でディメンショナルモデリング勉強会を行なったですが、なぜ勉強会を行なったのか、どのように行なったのか、勉強会を行なった結果何が得られたかについてまとめます。 ディメンショナルモデリング勉強会開催の背景 勉強会の進め方やスコープ 勉強会の参加者 勉強会で学んだ内容 Four-Step Dimensional Design Process キーの設計について 複数スタースキーマを適切に利用し、ファントラップを避ける コンフォームドディメンション まとめ: 勉強会で得られたもの ディメンショナルモデリング勉強会開催の背景 前回のエントリにまとめた通り、10Xのデータマネジメントの課題の中でも「データウェアハウジングとビジネスインテリジェンス」は優先度が
経営管理DX SaaS – kpiee（ケイピー）
経営管理の定型業務を全て自動化し、 AIにより経営の意思決定の加速化を 実現する クラウドサービス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - morph-data/morph: Python + Markdown framework for building internal apps.
DSAデータカタログガイドライン | 一般社団法人データ社会推進協議会(DSA)
Gemini at Work - Data for AI -
各種プランと機能
