並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 249件

新着順 人気順

*Softwareの検索結果1 - 40 件 / 249件

*Softwareに関するエントリは249件あります。 開発プログラミングaws などが関連タグです。 人気エントリには 『2022年、特に感動した・気に入った フリーソフト』などがあります。
  • 2022年、特に感動した・気に入った フリーソフト

    指定した音声ファイルを、楽器ごとのパートに分解してくれるソフトです。 音声ファイルをドラッグ&ドロップで放り込むと、該当のファイルを ボーカル ベース ドラム その他(キーボード、ギター 等) ボーカル以外のインストゥルメンタル といった 5 つのファイルに分解してくれます。 処理を GPU(CUDA)で実行することもできます。

      2022年、特に感動した・気に入った フリーソフト
    • VOICEVOX | 無料のテキスト読み上げ・歌声合成ソフトウェア

      オープンソース VOICEVOX は OSS(オープンソース・ソフトウェア)版 VOICEVOX をもとに構築されています。 製品版と OSS 版の違いやモジュール構成は VOICEVOX の全体構成 をご参照ください。 ソフトウェア部分は Electron + Vue 、音声合成エンジン部分は Python + FastAPI です。 追加したい・改善したい機能があれば、ぜひ開発にご参加ください。

      • 【朗報】3D制作ソフト「blender」の1400ページにも及ぶ解説書が無償公開 勉強中の人には朗報すぎる : まとめダネ!

        【朗報】3D制作ソフト「blender」の1400ページにも及ぶ解説書が無償公開 勉強中の人には朗報すぎる 無料3D制作ソフト「blender」の解説書が無償公開されています。これを期に3Dを始めてみませんか。こちらのページではダウンロード先など紹介しています。 更新日:2021年09月26日

          【朗報】3D制作ソフト「blender」の1400ページにも及ぶ解説書が無償公開 勉強中の人には朗報すぎる : まとめダネ!
        • NTT 東日本 - IPA 「シン・テレワークシステム」 - HTML5 版 Web クライアントの公開について

          NTT 東日本 - IPA 「シン・テレワークシステム」 Beta 7 および HTML5 版 Web クライアントの公開について トップ | 中間報告 | 自治体テレワーク for LGWAN | HTML5 Web 版クライアント (Mac, Chromebook 対応) | バージョン履歴 | ダウンロード | ユーザー数グラフ 入門 - 今すぐ使ってみよう | クライアント検疫機能・MAC アドレス認証機能 | 二要素認証・ワンタイムパスワード (OTP) 機能 | マイナンバーカードを用いたユーザー認証機能 | 仮想マルチディスプレイ機能 行政情報システムでの利用 | 組織 LAN におけるポリシー規制サーバー設置 | 企業システムにおける VM・HDD クローン対応 | Wake on LAN リモート電源 ON 機能 | 画面撮影・キャプチャ防止のための電子透かし機能 FAQ

            NTT 東日本 - IPA 「シン・テレワークシステム」 - HTML5 版 Web クライアントの公開について
          • 軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor's blog

            はじめに やめろ、ではなく、やめたほうがいい。です。自分のユースケースに合ってるか今一度確認することを推奨します。基本的にはAlpineは避けたほうが良い、というのが2021年時点での私の認識です。 なんで? libcに一般的な互換性が不足しているからです。Ruby、Python、Node.jsなどでNativeモジュールをバンドルしているアプリケーションの場合、パフォーマンスの劣化や互換性の問題にぶち当たる場合があります。 superuser.com あとは他のベースイメージの軽量化もそれなりに進んできていて、Alpineが定番軽量イメージと言う認識は2018年頃には消えつつあったかなという認識でいます。 どうすりゃええねん ※Debian Slimがあるやんってツッコミ結構もらったんですが、Slimは当たり前過ぎてもう紹介しなくていいかなっていう甘えで省略していました。よろしくおねがい

              軽量Dockerイメージに安易にAlpineを使うのはやめたほうがいいという話 - inductor's blog
            • フォントと画像の管理にはこれ!シンプルで使いやすい、WinMac両対応アプリ「Eagle」が神アップデート

              以前当ブログで紹介した時からずっと愛用しているEagleがver.2に神アップデートしたので、改めて紹介したいと思います。 簡単に言うと、フォント(ttf,otf,ttc,woffも)、画像(jpg,png,gif,svg,webpはもちろん、raw,psd,ai,xd,sketch,clipも)、動画、音声、PDFやテキストも管理でき、タグ付けやフォルダ分けやカラーフィルターなどで整理も簡単できるアプリです。 Windows, macOS(M1対応)に対応したアプリで、1ライセンスで2つ使用でき、サブスクではなく買い切り、しかもバージョンアップの追加料金なしです。 ver.2が先日リリースされ、ver.1の人は無料でアップデートできます! Eagle Eagleとは Eagle ver.2の神アップデート Eagleのダウンロード・インストール Eagleの使い方 Eagleとは Eag

                フォントと画像の管理にはこれ!シンプルで使いやすい、WinMac両対応アプリ「Eagle」が神アップデート
              • LIXIL、現場社員3963人がノーコード開発で1万7007個のアプリケーションを開発 | IT Leaders

                IT Leaders トップ > テクノロジー一覧 > 開発ツール/プラットフォーム > 事例ニュース > LIXIL、現場社員3963人がノーコード開発で1万7007個のアプリケーションを開発 開発ツール/プラットフォーム 開発ツール/プラットフォーム記事一覧へ [事例ニュース] LIXIL、現場社員3963人がノーコード開発で1万7007個のアプリケーションを開発 経営陣全員がGoogle AppSheetでアプリケーション開発を経験 2022年6月24日(金)日川 佳三(IT Leaders編集部) リスト 住まいの水まわり製品と建材製品を開発・提供するLIXILは2022年6月24日、Google Cloud Japanが開催した説明会に登壇し、ローコード開発によるアプリケーション開発の民主化の取り組みを説明した同社は、社員みずからGoogle AppSheetを使ってアプリケーシ

                  LIXIL、現場社員3963人がノーコード開発で1万7007個のアプリケーションを開発 | IT Leaders
                • OpenSSHの脆弱性 CVE-2024-6387についてまとめてみた - piyolog

                  2024年7月1日、OpenSSHの開発チームは深刻な脆弱性 CVE-2024-6387 が確認されたとしてセキュリティ情報を発出し、脆弱性を修正したバージョンを公開しました。この脆弱性を発見したQualysによれば、既定設定で構成されたsshdが影響を受けるとされ、影響を受けるとみられるインターネット接続可能なホストが多数稼動している状況にあると報告しています。ここでは関連する情報をまとめます。 概要 深刻な脆弱性が確認されたのはOpenSSHサーバー(sshd)コンポーネント。脆弱性を悪用された場合、特権でリモートから認証なしの任意コード実行をされる恐れがある。 悪用にかかる報告などは公表時点でされていないが、glibcベースのLinuxにおいて攻撃が成功することが既に実証がされている。発見者のQualysはこの脆弱性の実証コードを公開しない方針としているが、インターネット上ではPoC

                    OpenSSHの脆弱性 CVE-2024-6387についてまとめてみた - piyolog
                  • 改めて整理するアプリケーション設計の基本

                    ●発表のアーカイブ動画はこちら:https://youtu.be/4rgGkoyUaZw ●発表の中で紹介しているUdemy講座:https://www.nextskill.co.jp/courses === プログラミングの基礎を学び、アプリケーション開発に実践的に関わり始めると、「…

                      改めて整理するアプリケーション設計の基本
                    • インデックスを理解したい - Qiita

                      はじめに みなさんはDBのインデックスを正しく使えていますか? 私はなんとなく「DBのパフォーマンスを向上するためのもの」という認識はあったのですが、 どのような場面で使うものなのか、逆にどのような場面では使うべきでないのかなど 明確に理解できていませんでした。 今回はそんなインデックスについての理解を深めたいと思います。 インデックスとは インデックスとは、その名の通り「索引」です。 表現の仕方と変えると、(x, a)という形式の配列であるとも言えます。 xというキー値とそれに結びつくaというデータ情報があり、 これを利用することですべてのデータを網羅して見ることなく、 まさに本の索引のように目的のデータにたどり着くことができます。 インデックスはSQLのパフォーマンスを改善するための非常にポピュラーな手段であり、 理由としては下記の3点が挙げられます。 アプリケーションのコードに影響を

                        インデックスを理解したい - Qiita
                      • AIによるコーディングアシスタント、コーディングエージェント、アプリケーション自動生成サービスまとめ(2025年3月版)

                        AIによるコーディングアシスタント、コーディングエージェント、アプリケーション自動生成サービスまとめ(2025年3月版) アプリケーション開発の生産性向上において、AIによるプログラミング支援サービスは欠かせないものになろうとしています。 そして市場にはプログラマが入力するコードの補完からコードやテストの自動生成、アプリケーションそのものの自動生成までさまざまなツールやサービスが登場しています。 ここでは多数のツールについてそれぞれの主な機能や目的が分かりやすいように、「コーディングアシスタント」「コーディングエージェント」「アプリケーション自動生成/Text to App」の3つに分類して紹介しましょう。 もしもここで紹介されていないプログラマ向けのAIツールなどがありましたら、X/Twitterやブックマークのコメントなどで教えてください。 AIが、人間のプログラマが書くコードの補完や

                          AIによるコーディングアシスタント、コーディングエージェント、アプリケーション自動生成サービスまとめ(2025年3月版)
                        • 「Dockerはわかるけど…」から卒業!AWSでコンテナを動かすための30日集中講座 - Qiita

                          Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

                            「Dockerはわかるけど…」から卒業!AWSでコンテナを動かすための30日集中講座 - Qiita
                          • [速報]GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開

                            [速報]GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開 GitHubは、日本時間10月30日未明に開幕したイベント「GitHub Universe'24」で、自然言語による指示だけで、パーソナライズされた小規模なアプリケーション(Micro-App)をすぐに生成できる「GitHub Spark」の テクニカルプレビューを発表しました 。 下記はGitHub Sparkのデモとして公開された動画の一部をキャプチャしたものです。 例えばユーザーは、ダッシュボードから「An app for me to log all the cities I've travelled with a review and star rating」(これまで旅行したことのあるすべての都市のレビューと星の数での評価を記録するアプリ)のように、作りた

                              [速報]GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開
                            • アプリケーションエンジニアこそ「監視」だよね!と私が考える訳 #phpkansai

                              PHPカンファレンス関西2024での発表資料です https://fortee.jp/phpcon-kansai2024/proposal/42712995-5f3e-4c68-a951-39584eac95a1

                                アプリケーションエンジニアこそ「監視」だよね!と私が考える訳 #phpkansai
                              • AI時代に成長するサービスを止めないためのDBリファクタリング完全ガイド - そーだいなるらくがき帳

                                サービスが成長するにつれてデータベースは肥大化する。 肥大化したデータベースは最初は良かった設計も、パフォーマンスの低下やメンテナンスが難しくなる。 もちろん、そうならないように最初から設計を工夫することもできるが、サービスの成長に伴い要件が変化することも多い。 そうなると全ての変更を予見することは難しいため、データベースのリファクタリングは必要不可欠だ。 実際にAIを利用したソフトウェア開発が主流になっていきつつある昨今はよりデータベースの成長速度は加速している。 だからこそ、データベースリファクタリングは重要であり、AIが台頭して来た時代でも変わらず必要なスキルである。 そこで今回は実際にサービスの成長と共にデータベースをリファクタリングする際の戦略と実践的な手法について解説する。 なお、AI時代でもデータベースの技術が重要であることは変わらない話はこちらを参照されたい。 データベース

                                  AI時代に成長するサービスを止めないためのDBリファクタリング完全ガイド - そーだいなるらくがき帳
                                • "クラウドアプリケーション 10の設計原則" をもっと楽しむ

                                  ※リンクを効かせたい場合はダウンロードしてください

                                    "クラウドアプリケーション 10の設計原則" をもっと楽しむ
                                  • WebAPI の自動テスト戦略 - Shin x Blog

                                    テストコードを実装する際に単体テストで書くか、統合テストで書くか迷う場面はないでしょうか。本エントリでは、私なりのテスト戦略についての考えをまとめました。 概要 対象アプリケーション 本エントリにおける単体テストと統合テスト 単体テスト(ユニットテスト) 統合テスト(結合テスト、API テスト、フィーチャテスト) 単体テストと統合テストの特徴 テスト方針 テスト戦略 単体テストのみ 統合テストのみ 単体テストと統合テストを組み合わせる コンポーネント別のテストガイドライン 統合テストによるテスト テストピラミッドとテストダイヤモンド 統合テストの懸念 統合テストが無い 共有データセットが辛い 実行時間が遅くなりそう まとめ 参照 概要 単体テストと統合テストの特徴 テスト戦略 統合テストの懸念への対応 NotebookLM による音声概要を作成しました。よくまとまっているのでこちらもどうぞ

                                      WebAPI の自動テスト戦略 - Shin x Blog
                                    • フロントエンド開発環境スタートセット2024秋 - トレタ開発者ブログ

                                      こんにちは、トレタ VPoEの北川です。 今回は弊社でフロントエンドアプリケーションを新しく構築する際の開発環境として、何のライブラリを入れるかという開発環境初期セットを紹介しようと思います。 Web Framework / CSS Framework / Tesing Framework / Linter / Formatter、それぞれ定番で使うデファクトが大体ありましたが、近年では新しいライブラリも登場したので、2024年現在・最新版を、今回は直近で作られた実際のリポジトリを例にご紹介します。 今回紹介するリポジトリのアプリケーションはtoB向けの管理画面のアプリケーションで、特質した部分も特にない一般的なWebアプリケーションです。 それでは早速、package.jsonの内容はを見ていきましょう。 "dependencies": { "next": "14.2.13", "rea

                                        フロントエンド開発環境スタートセット2024秋 - トレタ開発者ブログ
                                      • 【ソフトウェア設計】例外処理を考える

                                        はじめに 最近書いてるソフトウェア設計シリーズです。今回は例外に関して。以前、以下のような記事を書いたのですが、もう少し深堀して書いてみました。 ちなみにソフトウェア設計シリーズは他には以下を書いています。 モジュールになぜ分けるのか? モジュール、依存、そしてカプセル化 モジュールをどう分割するのか? 簡潔さは力なり? 予測可能な振る舞いと簡潔さについて ドキュメントとしてのコメント TL;DR 例外は「原則」キャッチしない 業務例外や必ずハンドリングさせたい例外はOptionalなど戻り値の方が便利 だいたい以下の図が言いたい事のすべて 例外処理とは? 「例外処理(Exception Handling)」は言語に依らず普遍的な関心事です。端的に言えば例外処理は異常やシステムの動作に不備が発生した際の特別な分岐処理です。リカバリやリソースの解放、あるいはユーザへの通知などがありますね。

                                          【ソフトウェア設計】例外処理を考える
                                        • CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                          CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                            CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
                                          • サーバーレスベストプラクティスで初めて知ったこと - Qiita

                                            はじめに サーバーレス大好きなエンジニアです! AWS SUMMIT 2024に行ってきて、たくさんのことを学んできました! 特に「サーバーレス開発のベストプラクティス」の内容が面白かったのでシェアしたいと思います。 サーバーレスとは サーバーやインフラの管理を気にすることなくアプリケーションを実行することができる最高の技術です。細かい設定を気にすることなく、すぐに価値を提供できることが魅力です。 Lambdaのベストプラクティス ここからAWS SUMMIT 2024の内容に触れていきます。 TransportではなくTransform まず、ハッとさせられたのは以下のことです。 Transport (転送)ではなくTransform(変換)に使⽤する。 今までLambdaをどれだけ転送機能として使ってきたかを考えさせられました。 何でもかんでもLambdaに任せるのではなく、特定の変換

                                              サーバーレスベストプラクティスで初めて知ったこと - Qiita
                                            • 設計の知識と技能で駆動するソフトウェア開発

                                              Object Oriented Conference 2024 登壇の機会をいただいたので、ここ数年、設計について考えていることを、言語化してみました。 はじめに 設計と開発プロセスの関係性 ソフトウェア設計の知識と技能 ① ソフトウェア設計の基礎知識 a. 基本課題 b…

                                                設計の知識と技能で駆動するソフトウェア開発
                                              • AWS Observability Best Practices

                                                AWS Observability Best Practices🖥️ Improve AWS Cloud Observability 🚀

                                                • Emacsの次世代ミニバッファ補完UI | 日々、とんは語る。

                                                  先日、ネイティブコンパイルEmacsが登場でElispをネイティブコードにコンパイルすることによりEmacsの高速化が実現されたという記事を書きましたが、Emacsに到来している新しい波はこれだけではありません。Emacsを華麗に操作するユーザーインターフェイス(以下、UI)にも新潮流がきています。 百聞は一見にしかずというわけで、まずはこちらの動画をご覧ください。 この動画ではEmacsの起動時点から次の操作を行なってファイルを開いています。 ghqでリポジトリ検索 → fdでファイル検索 ghqでリポジトリ検索 → ripgrepでテキスト検索 利用している外部コマンドはさておき、標準のEmacsと大きく違うところは、コマンドを実行するとミニバッファが縦に伸びて補完候補が表示され、キー入力による候補の絞り込みをしてファイルを開いているところになります。 Anything/Helmと違っ

                                                    Emacsの次世代ミニバッファ補完UI | 日々、とんは語る。
                                                  • docker buildx bake で高速並列ビルド - 誰かの役に立てばいいブログ

                                                    Docker ビルド職人の朝は早いーー 毎日コンテナイメージを山ほどビルドしては捨てている皆様、おはようございます。 ビルドの速度はそのまま CI にかかる時間だったりするので、短縮には余念のないことと思います。 レイヤのキャッシュやマルチステージビルドといった基本テクニックについて、ご存じない方は以下の記事がお勧めです。 future-architect.github.io この記事では、良い Dockerfile をさらに活用できる、かもしれない docker buildx bake について紹介します。 bake の紹介の前に、私が抱えていた問題を説明します。 目下のプロジェクトでは Kubernetes 上で多数のマイクロサービスを動作させています。 マイクロサービス群はモノリポ(monorepo)上の共通のフレームワークやライブラリを用いて効率的に開発されています。 そのため、全

                                                      docker buildx bake で高速並列ビルド - 誰かの役に立てばいいブログ
                                                    • Terraformのリファクタリング始めました - VISASQ Dev Blog

                                                      こんにちは、プラットフォーム開発グループ SREチームの西川 (@taxin_tt) です。 皆さんTerraform使ってますか? 弊社では既存サービスのマイクロサービス化を進めており、GCPベースのインフラはTerraformを利用して整備するようにしています。 一方で、サービス数の増加などに比例してtfファイルのコード量も増えていき、ディレクトリ構成や個別のリソースの定義などマイクロサービスのインフラ整備において負担になる部分があり、昨年末からSREチーム主導でリファクタリングを行っています。 今回は、そのリファクタリングの背景や進め方についてお話しできればと思います。 (本記事は、Terraform v1.3系を前提にしています。) リファクタリング後のTerraformのディレクトリ構成は下記をベースにしているので、下記の記事も合わせてどうぞ。 tech.visasq.com リ

                                                        Terraformのリファクタリング始めました - VISASQ Dev Blog
                                                      • WasmLinux: WebブラウザでLinuxカーネルとBusyBoxを動かす(エミュレーションなしで)

                                                        WebブラウザでOS動かしてどうすんだよ という根源的な疑問に回答が無いままとりあえずできちゃった。。 ※ コマンドが終了してもプロンプトが出ません。Enterを空打ちする必要があります (バグ) WasmLinuxは、WebAssembly "ネイティブ" なLinux環境です。カーネルもユーザーランドも、WebAssemblyのツールチェインでコンパイルされたWebAssemblyモジュール(をwasm2cでCにしたもの)です。 前回はカーネルしか動いていなかったんですが、今回はブラウザ上で ifconfig lo up して ping 127.0.0.1 したり top したり vi したりできます。BusyBox入ってるので。 ただしまだ実用性は皆無 です。Proof of Conceptって奴ですね。 前回の記事: 今回はMUSL libcを移植してBusyBoxが動くようになっ

                                                          WasmLinux: WebブラウザでLinuxカーネルとBusyBoxを動かす(エミュレーションなしで)
                                                        • 最近のlitestreamと安DB界隈

                                                          趣味開発でマネージドデータベースに課金したくない勢に安DBソリューションとして好評だったlitestreamについての近況をまとめてみました。安DBという謎の用語は「運用コストが安いデータベース」の意味で今作りました。 軽くおさらいするとlitestreamはSQLiteのレプリケーションを実現するミドルウェアで[1]、LiteFSはそれを分散環境に拡張してスケールをしようとしたもの[2]。 LiteFS Cloudはサ終した litestreamの技術をマネージドサービスにしようとたくらんだLiteFS Cloudは[3]、有料版が始まったかと思ったらいきなり提供終了した。 全然利用されなかったことが理由のようだ。確かにLiteFS自体が実験的な段階のソフトウェアな上にConsulサーバーと連携したり使いこなすのは難しい印象があった。 LiteFS は開発停止してる LiteFS自体は放

                                                            最近のlitestreamと安DB界隈
                                                          • Chrome の 組み込み AI Gemini Nano を試してみる

                                                            Chrome 126 から Gemini Nano という AI がデスクトップクライアントに組み込まれる予定です。Gemini Nano は Google の AI モデルの中で最も小さいモデルです。デスクトップクライアントに直接組み込まれることで、ユーザーの手元の環境で AI を利用できることが特徴です。開発者は JavaScript から Chrome に組み込まれた Gemini Nano にアクセスして生成 AI の機能を実装することができます。 Chrome 126 から Gemini Nano という AI がデスクトップクライアントに組み込まれる予定です。Gemini Nano は Google の AI モデルの中で最も小さいモデルです。デスクトップクライアントに直接組み込まれることで、ユーザーの手元の環境で AI を利用できることが特徴です。 開発者は JavaScri

                                                              Chrome の 組み込み AI Gemini Nano を試してみる
                                                            • TerraformのStateやModuleに関する設計 - tom-256.log

                                                              概要 名前付け 抽象度 インフラアーキテクチャ図 チーム 認証情報 変更(デプロイ)のライフサイクル DRYの誤用 コードの検索性 モジュール間の依存 アプリケーションレイヤーとの違い まとめ 概要 TerraformのStateやModuleに関する設計に関する考慮点をざっくり書く 名前付け ユビキタス言語とディレクトリ名や変数名を合わせて認知負荷を下げる リソース名でなく役割・機能ベースのディレクトリ名にして認知負荷を下げる プロダクトのコードネームはユビキタス言語なのでディレクトリ名にしても問題ない ModuleやStateのREADME.mdを書く https://github.com/terraform-docs/terraform-docs を使う うまく説明が書けない場合は設計に問題がある可能性がある チームメンバーが利用できるように考慮する いつどのようなときに使えばいいか

                                                                TerraformのStateやModuleに関する設計 - tom-256.log
                                                              • SQLite on EFSは書き込みロックできる

                                                                はじめに こんにちは。がれっとです。 先日ECSとRDSをやめて、AWSコストを9割削減しましたという記事を投稿したところ、興味深いコメントを見つけたので検証してみました。 結論 EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない。 検証内容 SQLiteは書き込みロックをOSによるファイルロックを使用して実現しているため、Network File System上のファイルに対してうまくいかないというコメントを発見しました。 たしかに、SQLite公式ドキュメントにもその旨が記載されています。 そのため、本当にEFS上のSQLiteは書き込みが競合して壊れるのか、検証していきます。 AWS 構成図 マウントポイントによってロックのかかり方が異なる可能性を否定できなかったため、念の為アベイラ

                                                                  SQLite on EFSは書き込みロックできる
                                                                • dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話 - High Link テックブログ

                                                                  はじめに こんにちは。株式会社High Linkのデータユニットマネージャーの芦川 (@assy) です。 私たちのチームでは、データを強みとした事業価値創出を促進するために、データ基盤の整備やデータマネジメント、全社的なデータ利活用レベルの引き上げに取り組んでいます。 データマネジメントをしていると、「誰が作ったかわからない野良のテーブルが乱立している」ことや「BigQueryコンソール上でviewを定義してしまってコードレビューができない」さらには、「テーブル間の依存関係がわからず削除できない」といった課題にぶつかる方は多いんじゃないでしょうか。 私たちもまさにこのような問題に直面し、導入したのがdbtです。 今回は、dbtの導入に至る経緯や選定の理由、dbtをどう活用しているのかといった話を共有させて頂こうと思います。 私たちのようにデータマネジメントにがっつり人的リソースを割けない

                                                                    dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話 - High Link テックブログ
                                                                  • Terraform 1.5 で既存リソースからの HCL 生成ができるようになるので試してみる

                                                                    Terraform 1.5 のベータ版がリリースされています。 Terraform 1.5 で追加される機能の中には以下のようなものが含まれています。 import ブロック terraform plan の -generate-config-out オプション Terraform では手作業などで作成済みの既存リソースも terraform import コマンドを使用して Terraform の管理に追加することができます。 しかし、 import したリソースの HCL 自体は自分で書かなければいけません。 もしも既存リソースの HCL を自動で生成したい場合は GoogleCloudPlatform/terraformer などのサードパーティ製のツールを使用する必要があります。 ところが、 Terraform 1.5 で追加される import ブロックと terraform p

                                                                      Terraform 1.5 で既存リソースからの HCL 生成ができるようになるので試してみる
                                                                    • NixOSで最強のLinuxデスクトップを作ろう

                                                                      Web・クロスプラットフォームアプリケーションの発達、ProtonによるWindows向けゲームのLinux対応など、現在のLinuxデスクトップは機能面においてWindowsやMacと遜色ない水準に達しています。 しかし、その発展とは裏腹に未だシェアは非常に少なく、Linuxデスクトップに憧れはあるけど実際に使うのはあまり……という人が多数派でしょう。その理由はおおよそ以下の3つに集約されると思います。 環境構築のために煩雑な手順を踏まなければならず辛い どこにどんな設定がされているのか分からない うっかり環境を破壊してしまいそうで怖い 実は、上記の課題を上手くクリアできる夢のようなLinuxディストリビューションが存在します。 その名は…… ロゴかっこいい 今回はNixOSを使ってぼくがかんがえたさいきょうのLinuxデスクトップ環境を作っていきましょう。 NixOSとは? NixOS

                                                                        NixOSで最強のLinuxデスクトップを作ろう
                                                                      • Nushell - 型付きシェルの基本とコマンド定義

                                                                        はじめに これまで Zenn では fish shell の記事をいくつか書いてきましたが、現在は Nushell という新しいシェルを使っています。 実は Nushell のことは以前から知っていましたが、利用されているプログラミング言語の概念やその恩恵についての知識が無かったため、より初心者にわかりやすい fish shell を利用していました。最近になって型システムや関数型言語などについての概念を取得したため、ようやく Nushell を使い始められました。 Nushellでの分かりやすいエラーメッセージ 使い始めてからまだ1ヶ月ぐらいですが、かなり奥が深く一つの記事で解説しきるのは難しいので、この記事では基本体な設定と型とコマンドについて重点をおいて最後は具体的なカスタムコマンドの定義をいくつか取り上げて解説したいとおもいます。 Nushellとは Nushell とは "A n

                                                                          Nushell - 型付きシェルの基本とコマンド定義
                                                                        • 既存リソースをTerraformでimportする作業を楽にする - KAYAC Engineers' Blog

                                                                          SREチームの今です。 カヤックでは、クラウドリソースの管理にはTerraformを利用することが多いです。 クラウドリソースの構成や設定をコードで管理することで、リソースの変更内容の差分をレビューできる、意図しない設定変更を発見できるなどの利点があり、SREの目的であるサービスを安定して提供する上で重要な要素の一つです。 実際の作業として、既に運用中のサービスを新たにTerraform管理下に置く場合や、多くのリソースが既にweb consoleから作成されているものをTerraform管理下に追加する場合も多いと思います。 その際にはTerraform importをする必要があります。しかし、Terraform importは単純作業とはいえ時間と手間がかかり、優先順位を下げてついつい後回しにしてしまうことも多いのではないでしょうか。 今回は、手作業でTerraform import

                                                                            既存リソースをTerraformでimportする作業を楽にする - KAYAC Engineers' Blog
                                                                          • 時間がかかっていた git status を Trace2 で計測しながら10倍速くした話 - Mirrativ Tech Blog

                                                                            環境 改善前 改善前計測 untrackedcacheを使った高速化 file system monitorを使った高速化 サブモジュールをオフにして高速化 Appendix: Gitバージョンアップ実験結果 まとめ We are hiring! こんにちは。バックエンドエンジニアのshirakawaxです。 Mirrativのバックエンドリポジトリのgit statusが遅かったので1.941秒 → 0.173秒に改善した話を書きます。 環境 Apple M1 Max メモリ 64 GB macOS Sonoma 14.4 $ git -v git version 2.39.3 (Apple Git-146) 改善前 私の環境では改善前のgit statusは1.941秒かかっていました。 頻繁に実行するコマンドではないですが、若干ストレスになっていました。 $ time git sta

                                                                              時間がかかっていた git status を Trace2 で計測しながら10倍速くした話 - Mirrativ Tech Blog
                                                                            • SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる - Qiita

                                                                              BIをコード管理したくないですか?私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExtensionを入れて開発することを推奨しているようです。 2.Open the Command Palette (Ctrl/Cmd + Shift + P) and enter Evidence: New Evidence Project 3.Click Start Evidence in the bottom status bar 拡張機能のインストール後、2クリックでローカルサーバーが起動しサンプルページが立ち上がりました。 外部データを投入する せっかくなのでサンプルデータ以外のデータを投入してみます。 初期のサンプルデータは、DuckDBのテーブルとして配布されているようです。 ローカル環境

                                                                                SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる - Qiita
                                                                              • SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog

                                                                                こんにちは。河内です。 最近はデータ基盤の構築も取り組んでいたりします。 社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。 社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに

                                                                                  SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog
                                                                                • Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い

                                                                                  LinuxにおけるSegmentation OffloadとはTCPなどのトランスポートレイヤのプロトコルが送信するデータをMTUに収まるように分割する処理(Segmentation)をNICのレイヤにオフロードすることによってスループットを向上させる技術です. Segmentation Offloadを使った場合, トランスポートレイヤのプロトコルはIPレイヤで許容される最大のサイズ(64KB程度)までのデータを1つのIPパケットで送信することができます. 受信側は逆にネットワークから入ってきたSegmentation済みのパケットをNICのレイヤで1つの大きなIPパケットに集約した上でプロトコルスタックの処理にかけます. これによってプロトコルスタックで処理されるパケットの個数を減らすことができるため, スループットが上がるという仕組みです. Linuxには仮想ネットワークデバイスとい

                                                                                    Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い

                                                                                  新着記事