TiDB IntroductionTiDB is an open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. Find the guide, samples, and references you need to use TiDB.
TiDBとMySQLの機能比較 - Believe you can
ZOZO Advent Calendar 2022 カレンダー Vol.3 の 9 日目の記事です。 久しぶりのブログ更新になります。前回からだいぶ時間が空いてしまったので定期的に書けるようにしていかないとと反省しています。。 NewDBと呼ばれる新しいデータベースが登場し利用事例が増えてきました。その中でもMySQL互換のTiDBについて耳にする機会が増えたので、MySQLとの機能比較を行ってみました。DB選定や移行検討の際にお役に立てれば幸いです。 TiDBとは TiDBはPingCAP社が開発した分散型データベースで、RDBMSとNoSQLの機能を組み合わせたデータベースです。 MySQL互換のSQL解析機能を持っているためアプリケーションからはMySQLと同様のアクセスが可能であり、水平方向のスケーラビリティ・協力な一貫性・高可用性を兼ね備えています。 pingcap.co.jp
Cloud Run + DockerでReact Appをデプロイする
JPYC株式会社でエンジニアとして働いています、@hayato_omrです。 会社の業務でも使うことになったGoogle Cloud Runを少し触ってみたのでざっと内容を書いていこうと思います。 初心者エンジニアなのでミスってたりここ違うぞって部分があれば教えていただけると幸いです👀 Google Cloud Runとは Cloud Run は、サーバーレスのコンテナ化されたマイクロサービスをデプロイしてスケールするためのフルマネージド コンピューティング環境です。 Cloud Run は、マシンのプロビジョニング、クラスタの構成、自動スケーリングについて心配することなく、サーバーレス HTTP コンテナをデプロイしてスケールするためのフルマネージド コンピューティング環境です。 ref : https://cloud.google.com/blog/ja/topics/develop
カスタム ドメインのマッピング | Cloud Run Documentation | Google Cloud
デプロイされたサービスに Cloud Run が提供するデフォルトのアドレスではなく、カスタム ドメインを設定できます。 Cloud Run サービスのカスタム ドメインを設定するには、いくつかの方法があります。 グローバル外部アプリケーション ロードバランサを使用する（推奨） Firebase Hosting を使用する Cloud Run のドメイン マッピング（限定的に利用可能、プレビュー）を使用する 複数のカスタム ドメインを同じ Cloud Run サービスにマッピングできます。 始める前に 使用するドメインをまだ所有していない場合、新しいドメインを購入してください。どのドメイン名登録事業者でも使用できます。 グローバル外部アプリケーション ロードバランサを使用してカスタム ドメインをマッピングする このオプションでは、Cloud Run サービスの前にグローバル外部アプリケーシ
Cloud Runにアプリをデプロイする方法まとめ
はじめに 初めましてnomotoです。 今回は業務の中でCloud Runにデプロイする機会があったので備忘録がわりにまとめました。 上手くいかなかった点も合わせて紹介しておりますので参考にしてみてください。 環境 go1.17 Cloud SDKがインストールされている。 Cloud SDK インストール方法 方法 1.コンテナ化 →Container Registry→Cloud Run（全てコマンドで実行） 2.コンテナ化 →Container Registry→Cloud Run（Cloud Runにデプロイをコンソールから行う） 3.ソースコード →Cloud Run（コマンド1つでデプロイ） 1.アプリの準備 まず初めにサンプルアプリケーションを準備します。 コードは公式ドキュメントのものを使います。 mkdir helloworld cd helloworld go mod
Google Cloud Runにアプリをデプロイする方法を分かりやすく解説【GCP】｜Webエンジニア研究室
Cloud Runとは【GCPのサーバーレスなコンテナ実行環境】 Cloud Runとは、サーバーレス（サーバーの管理が不要）なコンテナ実行環境を提供するGCPのサービスです。 Cloud Runを利用することで、アプリのDockerイメージを指定するだけで簡単にアプリをデプロイすることができます。 また、GKEと違い、クラスタやKubernetesの設定はGCP側が自動で行ってくれます。 そのため、簡易版のGKEというイメージでもいいのではないかと思います。 以下のビデオはCloud Runの概要が簡潔にまとめられているので、参考にしてみて下さい。 Cloud Runにアプリをデプロイする方法を分かりやすく解説 Cloud Runにアプリをデプロイする方法を分かりやすく解説します。 今回は、Cloud RunにLaravelアプリをデプロイしてデフォルト画面を表示させるのを目標とします。
キャンペーンURLビルダーで生成したURLからパラメータを取得するSQLクエリ
今回は、キャンペーンURLビルダーで生成したURLからパラメータの値を取得するSQLクエリを紹介する。 SQLクエリ概要 各種マーケティングキャンペーンの効果測定をおこなうために、Googleが提供しているキャンペーンURLビルダー（Campaign URL Builder)を利用して、URLに計測パラメータを仕込むケースがよく見られる。 そこで、上記のパラメータ付きURLから REGEXP_EXTRACT 関数を利用して utm_source , utm_medium , utm_campaign 部分を抽出することで、流入ソース別、媒体別、キャンペーン別のセッション数やユーザー数、コンバージョン数などを計測することが可能となる。 REGEXP_EXTRACT関数 正規表現 regexp と一致する value 内の部分文字列を返します。一致がない場合、NULL を返します。 (出典)
Server-side GTMのGAビーコンログをBigQueryにエクスポートして分解する
collect?v=1というお馴染みの文字列を含むあのビーコンURL、ペイロードとか呼んだりもしますけどアレが[protoPayload.resource]カラムに記録されてます。 ペイロード以外にも: protoPayload.ip (IPアドレス) protoPayload.userAgent (ユーザーエージェント) timestamp (タイムスタンプ) などがログに残ってます。 2.ビーコンログを分解 ビーコンのペイロードそのままだと全く何も分からないので、SQLで分解して別テーブルを作ります。 分解用SQLが長ったらしいけどキニシナイ！ CREATE TEMP FUNCTION decode(s string) returns string language js as """ var ret = ''; try { ret = decodeURIComponent(s); }
BigQuery: テーブルに格納されたURL文字列をKey-ValueのSTRUCT型で抽出する
こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回は、BigQueryのテーブルに格納されているURL文字列をキー・バリュー形式のSTRUCT型にして抽出する方法について紹介します。 Web解析を行っていると、生のURLがデータウェアハウスに記録される事もあります。 URLそのままだと見づらい＆扱いづらいので、これをキーと値に分けてみましょう。 REGEXP_EXTRACT_ALL関数と、STRUCT型を使います。 実際にクエリを試す クエリはこうなります。 CREATE TEMPORARY FUNCTION decode(s string) RETURNS string LANGUAGE js AS """ var ret = ''; try { ret = decodeURIComponent(s); }catch(e){} return ret; """; SEL
Google Cloud Logging + Big Queryでアクセスログ解析 (リアルタイム風味) 後編 - 続 カッコの付け方
早速後編です。実は筆者もBigQueryをガチで使うのは初めてです。使ってみてわかったのは、結構普通のSQL(私の普通はOracle基準、つまりMySQLから見たらコテコテの機能モリモリのSQL)が通るということです。UDFもPreview？で通るらしいですが、今回はUDFまでは行きませんでした。 BQ予備知識 BQの予備知識としては - SQLで問い合わせる - Updateが出来ない - Deleteが出来ない まずは、これだけ知ってれば十分だと思います。BQの紹介で gcpja-night でも言われてたことですが。 SQLがエンジニアだけのものだと言うのは間違いで、非エンジニアでもSQLぐらい叩けるひとはザラに居るので、1から10までエンジニアが面倒見なくていい。 とのことです。エンジニアのくせにSQLが出来ないという人は、、、反省して勉強して下さい。 それてしまいましたが、SQL
HammerDBをCLIで使うなど（８）：PostgreSQLにTPC-Hを実行してみる - なからなLife
基本的な流れ 前回の「MySQLにTPC-H」とほぼ一緒です。 淡々と進めていきましょう。 対象DBMSとベンチマークの選択 hammerdb>dbset db pg Database set to PostgreSQL hammerdb>dbset bm TPC-H Benchmark set to TPC-H for PostgreSQL 詳細パラメータの表示と設定 hammerdb>print dict Dictionary Settings for PostgreSQL connection { pg_host = localhost pg_port = 5432 } tpch { pg_scale_fact = 1 pg_tpch_superuser = postgres pg_tpch_superuserpass = postgres pg_tpch_defaultdbase
Cloud Runを徹底解説！ - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）のサーバーレスなコンテナプラットフォームサービスである Cloud Run を解説します。 Cloud Run とは 4種類の Cloud Run 4つの実行モデル Cloud Run サービス（services） Cloud Run ジョブ（jobs） Cloud Run 関数（functions） Cloud Run ワーカープール（worker pools） Cloud Run サービスの基本 動的スケーリング サービスの冗長性 デプロイ デプロイ元のコンテナイメージ コンテナの要件 トラフィック移行とロールバック コンテナ実行環境（世代） サービスの構成 エンドポイント URL コンテナインスタンスの最大・最小数 コールドスタートとその対処 Startup CPU boost CPU・メモリ リクエストの
BigQueryによるデータ分析のための前処理Tips - ZOZO TECH BLOG
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPythonに渡して処理させることもできます。しかし、分析環境のメモリに載り切らないほど大きなデータを扱う場合、BigQuery内で前処理を済ませてしまうと時間と計算資源の節約になることが多いです。 今回はBigQueryからアクセスできるパブリックデータの1つ、hacker newsのデータを集計しながらTipsを紹介したいと思います。 欠落した日付を埋める 通常のGROUP BY句の場合 SQL Re
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudrunをデプロイするまでやる事
【BigQuery】正規表現を使ってURLを分解する - ドメイン名｜パス(path)｜utmパラメータ - Qiita
pg_bigmで全文検索するときに気を付けたい5つのポイント（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）
PostgreSQL10を導入！大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
PostgreSQLによるデータ分析ことはじめ
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
iTerm2のプロファイル機能を使って、zshのアーキテクチャー（arm64とx86_64）を簡単に選択できるようにする方法