複数のExcelの売上ファイル、1つのテーブルに集約 元ファイルの場所までわかる
CData Excel Drivers やCData CSV Drivers はExcel ファイルやCSV ファイルの内容をテーブルとしてアクセスしSQL での操作を可能にします。また、これらのドライバは複数のファイルのデータを一つのテーブルに集約する機能があります。例えば月ごとに分かれた時系列データを集約し、1年分のデータが格納された1つのテーブルとして扱いたいときなどに便利です。 本記事ではCData Excel Drivers やCData CSV Drivers で複数ファイルのデータを集約する方法と、集約時にソースとなるファイルの場所を取得する方法を紹介します。ここではCData Excel Drivers での設定方法を説明しますがCData CSV Drivers でも同様の方法を利用できます。 はじめに、以下のように3つのファイルに分かれた売上データ(Sales.xlsx
SQLはすごい ノーコードの裏にSQLあり
こちらのCoral さんの記事コーディングを不要にする「ノーコード・スタートアップ」が注目される理由 にある通り、ノーコードってここ数年のトレンドワードです。 coralcap.co ノーコードツールでよく聞くのはkintone のようなWeb DB + フォームのようなツール、仕様書からコードが自動生成されるアプリ開発ツール、アプリケーション連携・iPaaS などですが、筆者が例に出したのは意外にも「SQL」でした。 個人的には、ノーコーディングの最大の成功事例は、データベースにアクセスするための「SQL」ではないかと思います。今でこそSQLはエンジニアにとっても熟達に時間のかかる専門スキルと見なされていると思いますが、マーケターやセールス担当者がインサイトを得るために、エンジニアに依頼せずとも「コーディング不要」で使えるツールでもあります。SQLがなければ、データ構造やディスク、メモリ
Fastest Way to Load Data Into PostgreSQL Using Python
As glorified data plumbers, we are often tasked with loading data fetched from a remote source into our systems. If we are lucky, the data is serialized as JSON or YAML. When we are less fortunate, we get an Excel spreadsheet or a CSV file which is always broken in some way, can't explain it. Data from large companies or old systems is somehow always encoded in a weird way, and the Sysadmins alway
SQLite Web - さくっと使えるWebベースのSQLite管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました SQLiteはプロトタイプ開発であったり、小さなWebサービスなどを開発するのに非常に役立ちます。単一ファイルで動きますがちゃんとSQLも使えますし、本格的な作りです。 そんなSQLiteを使った開発時に用意しておきたいのがSQLite Webです。Python製で簡単に使えるSQLite管理です。 SQLite Webの使い方 SQLite Webをインストールしたら、後は sqlite-web コマンドの引数としてSQLiteファイルのパスを渡すだけです。 こちらはトップページです。 構造やインデックスが確認できます。 内容も見られます。 さらに任意のクエリも実行できます。 新しいテーブルを作ることもできます。 SQLite Webは任意のパスにあるSQLiteを指定できるので
SQLite Web - SQLiteをWebベースで管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 開発時においてSQLiteを使うケースが増えています。MySQLなどと比べても大差ない使い勝手ですし、わざわざサーバを立ち上げることなく使えるのが手軽です。O/Rマッパーを使っているならばデータベースの違いを意識することもないでしょう。 そんなSQLiteにWebベースの管理画面を提供するのがSQLite Webです。コマンドラインから任意のデータベースを指定できるのが便利です。 SQLite Webの使い方 SQLite Webの実行はコマンドラインでできます。 sqlite-web /path/to/sqlite.database そうするとWebページが開いてデータベースの内容が確認できます。 データベース構造の確認。 内容の確認。 任意のSQLを実行できます。結果をJSON
数十万件のSQLiteレコードも高速表示できるDB管理ソフト「DB Browser for SQLite」 フリーソフトの樹
「DB Browser for SQLite」はSQLiteデータベースを作成、編集、閲覧できるデータベースアプリケーションの開発支援ソフトです。 テーブルのレコード数が数十万件あっても高速に一覧表示できるのが大きな特徴で、SQLiteのテーブルやインデックスの作成、編集など、統合的にデータベースを操作することができます。 データベースを直接参照したい場合に、エクセル風の一覧でレコード内容を容易に参照できるので重宝します。 CSVデータとしてインポート、エクスポートする機能も備わっている点もオススメのポイントです。 DB Browser for SQLite ： http://sqlitebrowser.org/ ●関連記事 GUIでテーブルを作成してSQLの定義文を作成できるフリーソフト「PupSQLite」 ER図の作成もできるSQLデータベースの設計・開発支援フリーソフト「A5:SQ
DBeaver - 多彩なデータベースに対応した管理UI
データベースを使った開発や運用時においてGUIの管理インタフェースが欲しいと思うことは多々あります。特にプロジェクトによってデータベースの種類が違ったり、接続先があちこちに存在するとそう感じるはずです。 そこで使ってみたいのがDBeaverです。多彩なデータベースに対応した管理UIです。 DBeaverの使い方 接続先の選択画面です。PostgreSQL/MySQL/MariaDB/DB2/Oracle/SQL Serverなどの基本に加えてMS Access、infomix、MongoDB、Firebirdなども選択できます。 SSHトンネルに対応しているので本番環境のデータベースも確認できるでしょう。 接続しました。 テーブルの一覧です。 データも確認できます。 ダイアグラムはリレーションなどの関係が分かるようになっています。 DBeaverを入れておけば、大抵のデータベースには接続で
Big Sky :: UNIX コマンドを SQL で抽出できるツール qq を作った。
昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ
なにこれ楽しい！SQLをブラウザ上で学習できるSQLZOO！ - 嗚呼、学習の日々
みなさまごきげんよう！ 嗚呼蛙でございます！ 一昨日amazonアソシエイトの審査を無事通過したことを祝って、露骨なアフィ目的記事を書いてみました。 今日はデータベースの操作を行う言語『SQL』を実践的に学習できるサイトを発見したので、それについて書いていこうと思います。 SQLってなに？ ブラウザ上でSQLの学習ができるサイト 日本語でのSQL学習 SQLってなに？ SQLを知らない方のためにSQLについて簡単に説明しておくと、例えばネットショップで買い物をする時にこんな感じで「会員情報」「送付先」」「購入品」を登録しますよね。 【会員情報】 【送付先】 【購入品】 すると、ブラウザから入力された情報は、SQLを使ってこんな感じでデータベースに書き込まれます。 【会員テーブル】 【送付先テーブ】 【売上テーブル】 こんな風にブラウザから送られた情報をデータベースに書き込んだり、蓄積された
Google docsのスプレッドシートで集計する際にSQLっぽいクエリを使う - テノニッキ (@hideack 's diary)
最近業務でgoogle docsやExcelで管理されたシートの内容を集計したいことがあって、基本google docsのスプレッドシートでゴニョゴニョすることがあるのですが、例えば の様なものがあって、上の例だと各ユーザのポイントの合計を集計したいなと考えた時にExcelに慣れている方だとExcelの関数が浮かんで集計できるのかと思うのですが自分だとSQL文のイメージが先に出るのでよしなにできないかなと思っていたら、Google docsだと QUERY という関数を使うことで実現できることを知ったのでメモエントリです。 上の例だと D1 のセルに以下の様な内容を記述します。 =query(A2:B9, "select A, sum(B) group by A") 1番目の引数にデータの範囲を指定し、2番目にそのデータ範囲でのクエリを記述します。 SQLを触ったことがある方ならなんとなく
今風にPostgreSQLの開発環境をつくってみた - tehepero note(・ω<)
2015-03-24 今風にPostgreSQLの開発環境をつくってみた 最近ホットすぎるPostgreSQL界隈ですが、せっかくなので今風に開発環境を作ってみました。 PostgreSQLおさらい 近年のPostgreSQLの進歩は目覚しいものがあって、高いスケーラビリティはもちろん、アプリとの親和性の高さもあって注目度を増しています。 9.4系からはJSONBサポートに加えGINインデックスの性能強化等があって、RDBの特性を持ちながらドキュメントDBのような使い勝手を実現しています。MongoDBもびっくりですね。 ちなみにAmazon RDSにもつい最近9.4.1がサポートされましたね。 Amazon RDS for PostgreSQL support for major version 9.4.1 というわけでこんな今風なPostgreSQLを今風に環境構築してみようと思います
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
DBコマンド横断比較リファレンスを作りました - clock-up-blog
横断的にDB操作の類似コマンドを探すためのサイト 例えば MySQL を知っている人が 新しく他のデータベース、例えば Oracle を学習する際に MySQL でいうところのアレは Oracle ではどういうコマンドなんだろう という感じに情報を探す場面が多くあります。 そういう類の情報を探すときに役に立ちそうなリファレンスサイトを作りました。 xref.jp xref.jp - Database 追記: コンテンツ増やしました yum, apt-get, rpm 等々の横断比較リファレンス - clock-up-blog ソースコード GitHub に上げてあるので興味ある人は見てみると良いです。 kobake/xref.jp · GitHub PHP で書いてます。すんごい汚いです。謙遜じゃなくて本当に。 プルリク歓迎。 機能 マトリクス方向の切替 比較表の見出しの向きって、その組み
もうひとつの「PostgreSQL Internals」技術文書が公開されました
最近、精力的にPostgreSQL関連の検証や技術情報の公開をしている日本HPさんから、「PostgreSQL Internals」という技術文書がPDFで公開されました。 日本HP ITサービス「HP OPEN SERVICES」 http://h50146.www5.hp.com/services/ci/opensource/ 上記ページの下の方に「PostgreSQLエンジニア向け！ストレージ内部構造および内部動作検証報告」というタイトルのPDFファイルをダウンロードすることができます。 PostgreSQLエンジニア向け！ストレージ内部構造および内部動作検証報告 http://h50146.www5.hp.com/services/ci/opensource/pdfs/PostgreSQL_Internals.pdf 章レベルで目次を抜き出すと以下のような内容になっています。 本文
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PostgreSQLで学ぶデータベース技術 JavaエンジニアのためのPostgreSQLステップアップ - JJUG CCC 2017 Spring
複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIO
まずやっとくPostgreSQLチューニング
http://kwatch.houkagoteatime.net/blog/2014/12/20/postgresql-features/
SQLの観点から「Oracle Database」「PostgreSQL」 「MySQL」の特徴を整理しよう！
MySQLite: SQLiteデータベースを読み書きするMySQLストレージエンジン