DBRE(Database Reliability Engineering) の活動 〜 テーブルリファクタリング編 〜
こんにちは、BizReach で DBRE チームをやらせてもらっている あわっちです。 今回は DBRE としてデータマイグレーションをサポートした際のサービスとの関わり方と手法について、令和最初の Tech Blog として紹介します。 DBRE というよりも、 DBA という要素が強いかもしれませんが、サービスサポートも私たちの重要な役割の１つです。 前回のDBRE(Database Reliability Engineering) の活動 〜 Backup Platform 編 〜とは少し違って泥臭いオペレーションのお話になりますが、お付き合いいただければと思います。 ビズリーチサービス Restart Project Slow Query 撲滅に向けて ビズリーチサービスはサービス開始から10年が経過しましたが、データの肥大化による Slow Query の増加が問題になったり、
Data Models
Data Models: A Comprehensive Guide to Structuring Information for Optimal Insights and Decision-Making In the realm of data management, the use of effective data models plays a pivotal role in organizing and representing information in a structured and meaningful way. Data models serve as the blueprint for databases, facilitating efficient data storage, retrieval, and analysis. This article delves
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
「SQLパフォーマンス詳解」という本を翻訳しました | b.l0g.jp
「SQLパフォーマンス詳解」という本を翻訳しました 2015-04-07 題の通り、「SQLパフォーマンス詳解」(原文タイトルSQL Performance Explained)という本を翻訳しました。PDF版と印刷版が上記サイトから購入できます。 (追記 2017年9月から、渋谷のBOOK LAB TOKYOさんでも印刷版を販売していただいています。輸送コストの関係で、サイトから購入するより若干安くなっています) リレーショナルデータベースにおいて、SQLとインデックスがどのように関連し、どのようにすればSQLのパフォーマンスを良くできるのかを解説した本です。特定のデータベース製品に焦点を当てた本は多数ありますが、この本ではOracle Database、PostgreSQL、MySQL、SQL Serverの4つのメジャーなリレーショナルデータベース製品を同時に扱っていて、それぞれのク
MySQLのmy.cnfファイルサンプル
MySQLのバージョン インストールされたMySQLのバージョンは以下のようになります。 名前 バージョン ダウンロード元 my.cnfサンプル 以下のサンプルを参照して、my.cnfファイルを作成してください。 # このファイルは MySQL 5.6を基準として作られてあります。 # http://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html を参照しました。 [mysqld] ##-------------------------------------------------------------------- # mysqldの基本設定 ##-------------------------------------------------------------------- # id は 1 から 2^
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
駄文：MySQLエコシステムと車の関係 - rkajiyama’s diary
MySQLサーバを市販されている乗用車だとすると、MySQL Clusterは整備されたサーキットでの高速走行に最適化されたフォーミュラカーな感じで、WebScaleSQLは市販車をベースにして、特殊な走行環境に最適化されたラリーカーなイメージか？ photo by djkennyc; CC-SA 3.0, from deviantart.com フォーミュラカーの限界性能を引き出すためには特殊な運転テクニックのみならず、専門スタッフによるメンテナンスが必須。エンジンや仕様は市販車とは大幅に異なり、一人しか乗れなかったり荷物を搭載できない上、一般道での走行が実質的に不可など制限事項が多いが、圧倒的に高速。フォーミュラカーでの蓄積された技術が市販車に反映されたり、逆に市販車でのニーズをもとにフォーミュラカーの仕様が決められることも。 photo by kallerna; CC-SA 3.0,
代理キーとナチュラルキー｜TechRacho by BPS株式会社
こんにちは、未だ勉強中のhachi8833です。 最近読んだ「楽々ERDレッスン (CodeZine BOOKS) 」という本は、Railsとは特に関係ない一般的なテーブル設計の解説ですが、データベースの教科書と現実の設計の間を埋めてくれる実践的な記述で、今の自分にとっては有用な本でした。Railsから入門して間もない人にはきっと有用だと思います。なおこの本が出版された2006年にはRailsはまだ1.0でしたが、現在も版を重ねているようです。さりげなく文章の質がよく非常に読みやすいのがありがたい点です。 同書で繰り返し言及されていたのが、「顧客番号のようなコード番号をテーブルの主キーにしないこと」「主キーには、それ自体は意味を持たないアイデンティファイア(識別子)を使い、外部キーとして参照すること」というものでした。ほんの一瞬COBOLerだった頃の遠い記憶がほんのりと蘇ってまいりました
Vedis - An Embeddable Datastore Engine
Vedis is an embeddable datastore C library built with over 70 commands similar in concept to Redis but without the networking layer since Vedis run in the same process of the host application. Unlike most other datastores (i.e. memcache, Redis), Vedis does not have a separate server process. Vedis reads and writes directly to ordinary disk files. A complete database with multiple collections, is c
CSVデータをデータベース化するツール「CtoD」の紹介
前の記事ではCtoDを使ってCSVデータからHeroku上にWebアプリを構築する手順を説明しました。 Excelデータを最速でWebアプリ(Heroku)にする１０９のステップ ここではCtoDの詳細を説明します。対象バージョンは0.0.3です。 ctoD | RubyGems.org | your community gem host melborne/ctoD 使い方 gem install ctoDでインストールすると、ctoDターミナルコマンドが使えるようになります。サブコマンドを渡さなければそのヘルプが表示されます。 % ctoD Commands: ctoD create_table CSV DATABASE # Create a database table for CSV ctoD export CSV DATABASE # Export CSV data to DATA
Sequel READMEの日本語訳というかみじんこ訳 - 岡山県北でがんばるフリーエンジニアのメモ
ruby, sequel※これは Sequel 2.X のものです。最新のSequelでは一部機能がプラグインに切り出されているなど、非互換の部分があります。ご注意下さい。 Sequelを使ってみようかと思いました。 でも、日本語のまとまった情報が見つからないよ(´・ω・｀) 仕方ないので公式を読むことに。 英語が超苦手（中学英語ですでにわかりません。）なので、こんな感じかな？という適当訳。参考にはならないと思う。 少しずつ進めていってます。まだ半分以上残ってます。2008.12.1 ようやくできました。 関連： SequelでMigration http://sequel.rubyforge.org/rdoc/files/README.html Sequel（しーくうぇる）とはRubyのための、軽量なデータベースアクセスライブラリ。スレッドセーフコネクションプーリングクエリとスキームのた
Home - MarkMail - Community libraries
MarkMail is developed and hosted by MarkLogic Corporation. MarkMail is a free service for searching mailing list archives, with huge advantages over traditional search engines. It is powered by MarkLogic's Enterprise NoSQL Database. Each email is stored internally as a document in the database. All searches, faceted navigation, analytic calculations, and HTML page renderings are performed by a sma
Scene Completion Using Millions of Photographs
People James Hays Alexei Efros Abstract What can you do with a million images? In this paper we present a new image completion algorithm powered by a huge database of photographs gathered from the Web. The algorithm patches up holes in images by finding similar image regions in the database that are not only seamless but also semantically valid. Our chief insight is that while the space of images
国土交通省ネガティブ情報等検索システム
【対象事業者一覧】 ○建設業者(行政処分) ○建設業者(指名停止) ○測量業者 ○建設コンサルタント ○地質調査業者 ○補償コンサルタント ○宅地建物取引業者 ○マンション管理業者 ○不動産鑑定士 ○登録住宅性能評価機関 ○指定確認検査機関 ○建築基準適合判定資格者 ○一級建築士 ○鉄道事業者 ○バス事業者 ○タクシー事業者 ○トラック事業者 ○自動車整備事業者 ○自動車製作者等【道路運送車両法関係】 ○船舶運航事業者 ○航空運送事業者 【過去の記者発表】 ○平成１９年４月１８日 「消費者による選択・監視〜ネガティブ情報の公開〜」について ○平成１９年９月２８日 国土交通省ネガティブ情報等検索サイトが１０月１日にオープンします 【リンク先】 国土交通省ＨＯＭＥ 国土交通省関連リンク集 【問い合わせ先】 国土交通省大臣官房広報課 〒
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DataGrip | JetBrains for Data
xRef - Database
http://kwatch.houkagoteatime.net/blog/2014/12/20/postgresql-features/
MySQL 4.0で9年動き続けたサーバを リプレイスしてバージョンアップした話
Inouetakuya