こんにちは！ SREの栗山です。 最近観て良かった映画は「コーダ あいのうた」です。 今回は弊社で使っているコンテナビルドを速くするためのテクニックを紹介します。 以下のような一般的なテクニックに関しては他でよく紹介されているので今回は割愛します。 Dockerfileでは変更が少ないものを上に、変更が多いものを下に定義し、キャッシュが効くようにする .dockerignoreをちゃんと定義する マルチステージビルドを活用する bundle installの結果をキャッシュする 弊社のサーバーサイドではRuby on Railsをメインで使っています。 そのためコンテナビルド時にbundle installをする必要がありますが、bundle installはとても時間がかかりますよね。 以下のようにしてしまうとCOPYしたファイルに変更があるたびにキャッシュが使われずbundle ins
速く、もっと速く！Docker Build Cloudでイメージビルド時間を短縮する - 世界中の羊をかき集めて
2024/1/23に Docker Build Cloudが発表されました www.docker.com 早速Docker Build Cloudを試してみました Docker Build Cloudとは サイト: https://www.docker.com/ja-jp/products/build-cloud/ ドキュメント: https://docs.docker.com/build/cloud/ イメージビルドをDocker社のCloud環境で行える機能です。 これによりどのようなメリットがあるかというと イメージビルドキャッシュの共有 ローカルでイメージビルドするとき、もし他のユーザがビルド済みであればそのキャッシュを使うことができビルド時間が短縮できる CI環境では毎回サーバーが違うため--mount=type=cacheが効かないがDocker Build Cloudであれば
背景弊社では効率的で迅速な開発プロセスを維持するためにコンテナ技術を使用しています。 これまでもコンテナイメージのビルド時間を短縮するための改善を行ってきましたが、今回のDocker Build Cloudの導入により、ビルド時間を大幅に短縮することができました。この改善によって、プルリクエストごとの検証環境を迅速に作成し、デプロイフローをより速くすることが可能となりました。 成果まず最初に成果を共有します。 今回、Docker Build Cloudを活用することで、コンテナイメージビルド時間を劇的に短縮することに成功しました。具体的には、従来約6分30秒かかっていたイメージのフルビルド時間が、約1分10秒まで短縮されました。この結果、ビルド時間を80%削減することができました。 コンテナイメージビルドにおける課題今まではコンテナイメージビルドの高速化のため Registry cache
Textual - Home
Tip See the navigation links in the header or side-bar. Click (top left) on mobile. Welcome¶ Welcome to the Textual framework documentation. Get started or go straight to the Tutorial What is Textual?¶ Textual is a Rapid Application Development framework for Python, built by Textualize.io. Build sophisticated user interfaces with a simple Python API. Run your apps in the terminal or a web browser!
背景 Bazelは優れたビルドツールである一方で、導入したチームには１人はBazel職人が必要と言われるほどキャッチアップコストが高くハマったときに開発が止まると言われます。 そのためKubernetesからも削除されるほどです。 しかしながら導入の善し悪しを判断する上で最低限の知識は必要なので、一通りのことはできるようにとキャッチアップしてみます。 ちなみに発音は公式サイトでは「ベイゼル」とのこと。 How do you pronounce “Bazel”? The same way as “basil” (the herb) in US English: “BAY-zel”. It rhymes with “hazel”. IPA: /ˈbeɪzˌəl/ ref: FAQ | Bazel Bazelの特徴 Bazelの特徴として以下があります。 ビルドの再現性が保たれる サンドボッ
こんにちは。ジョン・ヒョンジェです！ GitHub Actionsを利用して、ReactプロジェクトをAmazon S3に自動でデプロイしてみましたので共有します。 はじめに GitHub ActionsはGitHubリポジトリを基盤にWorkflowを自動化させることができるCI/CDのツールです。 GitHub ActionsでのWorkflowとは実行する作業とその作業を実行する条件や順序を定義したもので、YAMLに作成されます。GitHubのMarketPlaceで他の人が作成したWorkflowを使うことができ、独自のWorkflowを作成することもできます。 GitHub Actionsを使うとコードのビルド、テスト、デプロイという面倒な過程を自動化させることができるので、開発者の負担を減らすことができます。 では、実際にGitHub Actionsを使ってReactプロジェク
GitHub - rsms/estrella: Lightweight and versatile build tool based on the esbuild compiler
Estrella is a lightweight and versatile build tool based on the fantastic esbuild TypeScript and JavaScript compiler. Rebuild automatically when source files change Build multiple projects at once, in parallel TypeScript diagnostics run in parallel TypeScript diagnostics are optional even for TypeScript projects Ability to remap TSXXXX TypeScript diagnostic severity levels, for example to treat so
Dockerビルド時にパラメータを与えたいときにDockerfileで定義し、–build-argオプションと合わせて使うARG。 それをどこに書くか考えたときに 最初に宣言されていたほうが読みやすい気もする それで不要なキャッシュミスが起こるとしたら嫌 と悩んだのでどういう仕様でどうすべきなのか調べてみました。 そもそも基本 ARGは書いた行以降で有効になります ↓なのでこういうのはエラーになります。 FROM alpine RUN touch $foo ARG foo ARGとキャッシュ 公式ドキュメントには、 ARGが変わった場合、（定義ではなく）最初の使用の時にキャッシュミスが起こる。ただし全てのRUNはARGの値を環境変数として暗黙的に使っているのでキャッシュミスを起こす。 というようなことが書かれています。 実験 ARGを最初に宣言 まずARGを上のほうで定義して、–build
Gradleでマルチプロジェクトをやるならsubprojects{}じゃなくてプラグインシステムを使おう - Mitsuyuki.Shiiba
Gradleでマルチプロジェクトってどうやるんだろう？って公式ドキュメントを眺めて遊んだのでメモ。タイトルの通りの話。 Gradleって変化が速い印象ある。ので、しばらくするとこのやり方も非推奨になるのかもしれない。2021年2月時点のGradle 6.8.2のお話。 ❯ gradle -v ------------------------------------------------------------ Gradle 6.8.2 ------------------------------------------------------------ Build time: 2021-02-05 12:53:00 UTC Revision: b9bd4a5c6026ac52f690eaf2829ee26563cad426 Kotlin: 1.4.20 Groovy: 2.5.12 A
antirez 7 days ago. 210223 views. We are destroying software by no longer taking complexity into account when adding features or optimizing some dimension. We are destroying software with complex build systems. We are destroying software with an absurd chain of dependencies, making everything bloated and fragile. We are destroying software telling new programmers: “Don’t reinvent the wheel!”. But,
恥ずかしながら、わたしは雰囲気で kaniko にコンテナイメージのビルドをしてもらっていることに気づきました。1年以上 GitLab CI で kaniko を使っておきながら、ただ「特権コンテナを使わずにイメージつくれるやつ」くらいの認識しかしていなかったです。 続きの記事: Kanikoでcache=trueにするなら1コンテナ1ビルドで kaniko の cache=true オプション kaniko には --cache というフラグがあり、これを true にすることでコンテナのビルド時にキャッシュ保存するようになり、次回以降のビルドではそのキャッシュを使用するようになるため、コンテナイメージのビルド時間を短縮できます。 キャッシュは、コンテナレジストリ上に destinationのイメージリポジトリ名/cache というイメージリポジトリ名で格納されます。例えば gcr.io
TypeScript became a standard for backend (Node.js) and frontend (Angular/React) development. The types it brings allow us to develop apps with the confidence that we won’t make any silly mistakes. It doesn’t relieve us from the responsibility of using best coding practices, but it does make developers’ lives a bit easier. Yet there is one downside of TS. It’s compile time. So, let’s talk about how
ccacheを導入してUnityのiOSビルドを高速化出来ないか検証してみた を参考にさらに調査を進めたところ、Unityプロジェクトを再生成した場合でもうまくキャッシュヒットさせることができたため知見を共有します。 TL;DR 🎊 ccache を利用することで Unity の生成する Xcode プロジェクトのビルドを大幅に高速化することができます。 サンプルプロジェクトではビルド時間が 50% になりました。 🎊 Xcode プロジェクトを再生成してもキャッシュヒットするため、CI上でのビルドも高速化することができます。 🌀 いくつかの未検証項目があります。 特にUnity側のソースコードに変化を加えた場合のキャッシュヒット率については未調査です。 導入の手順 生成された Xcode プロジェクトの Build Settings の内容によって必要な手順が異なります。 具体的に
codeamigo
New Project 🐷 Porkybank: Track your daily budgetLearn to Code Like a DeveloperCodeamigo is an AI powered coding assistant that helps you learn to code like a developer. Today's developers didn't learn binary before learning Python, why should you learn how to code without the most modern tools?PSA: I will no longer be maintaining Codeamigo. I am working on a new project called Porkybank. It's a t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテナビルドを速くするためのテクニック - Studyplus Engineering Blog
Docker Build Cloudを導入してコンテナイメージビルド時間を80%削減しました
Bazelを使ってみる その１（Goのビルド） - Carpe Diem
GitHub ActionsでウェブサイトをAmazon S3にデプロイする | DevelopersIO
DockerfileのARGはビルドキャッシュにどう影響するのか、どこに書くべきなのか
We are destroying software - <antirez>
Kanikoでコンテナイメージつくるならcache=trueは有効にしておこう - Sogo.dev
How to speed up a TypeScript project | TSH.io
ccache で Unity の生成する Xcode プロジェクトのビルドを高速化する
https://sharnoff.io/blog/why-rust-compiler-slow
news.yahoo.co.jp
www.city.yamatotakada.nara.jp
www.youtube.com
etsuro1.hatenablog.com
cmad.nikkeibp.co.jp
www.ap-com.co.jp