CIを高速化する技術⚡️ - 10X Product Blog
この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上げる 紹介したテクニックを活用した10XでのCI高速化事例 アプリのビルド時間の大幅短縮に成功！！ APIのテスト実行時間の大幅短縮に成功！！ CIを高速化するために日々取り組んでいること CI/C
squash and mergeしか使ってないけど全く困ってない
こういうことはレポジトリ構成・ワークフローと密接に紐づいているので、そういう前提を抜きにはどれがいいとかはいうことはできない。が、自分はいわゆるsquash and mergeのみの環境しかほとんど経験がないし、それで困ったことが一度もない、という話をしておきたいので書いておきたい、ので書いておく。 squash and mergeのメリットは書いてある通りで、基本的にPR内の細かい修正というのはゴミみたいなコミットが多く、メッセージも雑なことが多いので、それをコミットログに残しておくのは嫌だということがある。それよりは意味のある単位のコミットを残しておきたいし、それの単位はPRで行うのが良い、ということだ。 “Google-style” workflow デメリットの方は、いわゆるfeature branchというワークフローで顕在化する問題であると思う。で解決策はあり、それはワークフロ
スクレイピングで高校偏差値テーブルを作成する｜Akihiro Roppongi
高校の偏差値をリスト化し、高校名から特徴量を作りたかったときのメモです。 今回は、「みんなの高校情報」さんのサイトをスクレイピングして、高校名と偏差値の情報をCSVファイルで取り出す例を取り挙げます。 Pythonの実行環境はどこでも良いのですが、最もお手軽なのはGoogle Colabですね。社内のネットワーク制限がある場合は、anacondaがお手軽です。 ただし、プロジェクトとして分析を行うときは、dockerで分析環境をポータブルかつ再現可能な状態にしておくのがいいでしょう。 ※環境周りの記事もどこかで書けたらと思っています。 スクレイピングを行う上での注意点例えばTOP COURT INTERNATIONAL LAW FIRMさんによれば、スクレイピングをする際には、以下の３つの法律的問題をクリアする必要があります。 著作権法上の問題 利用規約との抵触 サーバーへの過度なアクセス
スクレイピングは違法？3つの法律問題と対応策を弁護士が5分で解説 | TOPCOURT LAW FIRM
はじめに スクレイピングで色々なデータを集めたいけど、「スクレイピングは違法だ」ということも耳にしたことがあり、実際のところはどうなんだろ？と考えている事業者もいらっしゃるのではないでしょうか？確証を得ないまま、スクレイピングを使った事業を行うのは、正直不安ですよね。 もっとも、ビジネスの世界ではリスト作成やら何やらで、スクレイピングを多用している企業も多いはずです。 そこで今回は、そもそもスクレイピングが何なのかという点を確認したうえで、スクレイピングに関する法律上の問題点について、ITに詳しい弁護士が解説します。 １ スクレイピングとは （１）スクレイピングとはなにか 「WEBスクレイピング（英: Web scraping）」とは、ウェブサイトからHTMLの情報を抽出するコンピュータソフトウェア技術のことをいいます。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれます。 スクレイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/bscradio_jp/status/1730375358451708394
