Go 言語のプロファイル機能とネットワークコネクションにまつわるトラブルシューティング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog インフラエンジニア見習いの森本です。これまで数年ほどサーバーサイドエンジニアとして開発ばかりをしてきた人が最近インフラエンジニアになりました。 3月末に開催された Go Conference 2017 Spring で開発チームの後藤から弊社で開発・運用している AWS S3 互換の分散オブジェクトストレージ Dragon についての発表がありました。 Goでヤフーの分散オブジェクトストレージを作った話 私は Dragon の運用を担うチームに所属しており、本稿ではその業務の中で発生したトラブルシューティングについて紹介したいと思います。 分散オブジェクトストレージ Dragon で発生していた課題 Dragon で gorout
Daily code optimization using benchmarks and profiling in Golang - Gophercon India 2016 talk
Need some help with analyzing whether algorithm A performs faster than B? Or can I know whether method A performs better than method B? Or is approach A to send JSON response to the client performs better than approach B? How to find answers for everyday performance related questions? These questions can be answered easily if you are happened to program in Golang. Golang comes bundled with facilit
Profiling Python in Production - Nylas
We recently reduced CPU usage across our fleet by 80%. One key technique that made this possible was a lightweight profiling strategy that we could run in production. This post is about the ways we approached instrumentation, the tradeoffs involved, and some tools you can use to optimize your own apps (including code!). Background Nylas is a developer platform that provides APIs to integrate with
GoでFlame Graphを描く
アプリケーションのパフォーマンス問題の解決やチューニングで大切なのは問題のコアやボトルネックに最短パスで到達することである． 基本的なパフォーマンス分析の入り口はアプリケーションのスレッドがon-CPUで時間を消費しているかoff-CPUで時間を消費しているかを理解するところから始まる．on-CPUの場合はそれがuserモードかkernelモードかを特定し，さらにCPUプロファイリングによってどのcode pathがCPUを消費しているのかの分析に向かう．off-CPUの場合はI/OやLock，pagingといった問題の分析に向かう． Flame Graphはon-CPUでのパフォーマンスの問題が発覚した時に行うCPUプロファイリングを助ける．どのcode pathがボトルネックになっているのかを1つのグラフ上で理解できる．本記事ではFlame Graphとは何か? なぜ必要なのか? を解
YAPC: Go Debugging, Profiling, and Optimization
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
Profiling Ansible Tasks
Introduction The source on GitHub. After spending far too much time wondering which of the tasks in my long list of Ansible tasks were slow, I decided to do something about it. In the pursuit of automating everything, I've constructed a large collection of playbooks, complete with their own dependencies, to do just about anything that needs to be done for my web service stacks. Where I used to gro
デコレータで楽にcProfileする - Qiita
そこそこの規模のライブラリ書いてると、プロファイルするとき毎回コマンドラインからスクリプトを実行したりunittestのsetUpとtearDown書くのが面倒だったりするので、デコレータを作っておきます。 import cProfile import pstats def profile(func): def _f(*args, **kwargs): pr = cProfile.Profile() pr.enable() print("\n<<<---") res = func(*args, **kwargs) p = pstats.Stats(pr) p.strip_dirs().sort_stats('cumtime').print_stats(20) print("\n--->>>") return res return _f
Enhanced Intel SpeedStep® Technology and Demand-Based Switching on Linux* - Intel® Software Network
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Profiling Go Programs - The Go Programming Language
At Scala Days 2011, Robert Hundt presented a paper titled Loop Recognition in C++/Java/Go/Scala. The paper implemented a specific loop finding algorithm, such as you might use in a flow analysis pass of a compiler, in C++, Go, Java, Scala, and then used those programs to draw conclusions about typical performance concerns in these languages. The Go program presented in that paper runs quite slowly
Go Conference 2014 Autumn、その他のセッションのまとめ | gihyo.jp
前回の記事では、3つのセッションについてレポートを記しました。この記事では、残りのセッションについてまとめたいと思います。 Why my Go program is slow?（@methane氏） このセッションでは、@methane氏からpprofというCPUプロファイラとGo言語におけるパフォーマンスチューニングについての話がされました。なお、このセッションの発表資料は、以下のURLから閲覧することができます。 http://www.slideshare.net/InadaNaoki/gocon2014-pprof 写真1 @methane氏の発表の様子 サンプリングプロファイラ pprofはサンプリングプロファイラで、一定時間ごとにCPUがどこを処理しているかというサンプルを取ることでプロファイリングを行うそうです。そのため、多くのサンプルが取れた関数は時間がかかっているということ
Go で利用できるプロファイリングツール pprof の読み方 - Qiita
概要 Go にはプロファイリングツールがついているのだけど，何を出力してくれているのかよく分からなかったのでメモ．間違いに気づかれた方いらっしゃったらコメントいただければ幸いです ． 出典 Russ Cox さんが下記に書いてくれてました．これを読むのが間違いないです． Russ Cox, Profiling Go Programs CPU Profiling プロファイリング用のコードの埋め込み まず， runtime/pprof を import しておきます．(net/http/pprofというのもあります)． CPU Profiling は計測したい実行コードの前でStartCPUProfile()を呼んで，計測終了のタイミングでpprof.StopCPUProfile()を呼びます．終了の方は defer に登録しておけば関数抜けるときに自動で呼ばれるので便利ですが，Ctr-Cと
JavaのCPUプロファイリング - nekop's blog
JBoss / WildFly (全部俺) Advent Calendar 2013の19日目です。Java一般なトピック寄りで。 自分で主に利用するJavaのプロファイラはYourKitなのですが、YourKitを購入していない場合で性能問題を解析するときとかに何が使えるかなぁと思って調べてみました。 $ uname -a Linux localhost.localdomain 3.11.10-301.fc20.x86_64 #1 SMP Thu Dec 5 14:01:17 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux $ java -version java version "1.7.0_45" OpenJDK Runtime Environment (fedora-2.4.3.0.fc20-x86_64 u45-b15) OpenJDK 64-Bi
WSGI Application Profiler — Werkzeug Documentation (0.16.x)
Warning werkzeug.contrib.profiler has moved to werkzeug.middleware.profiler. The old import is deprecated as of version 0.15 and will be removed in version 1.0. class werkzeug.contrib.profiler.MergeStream(*streams)¶ An object that redirects write calls to multiple streams. Use this to log to both sys.stdout and a file: f = open('profiler.log', 'w') stream = MergeStream(sys.stdout, f) profiler = Pr
Devel::NYTProf で Starlet/Starman (Plack) でうごくウェブアプリケーションのプロファイリングをおこなう方法まとめ - tokuhirom's blog
Devel::NYTProf で Starlet/Starman (Plack) でうごくウェブアプリケーションのプロファイリングをおこなう方法まとめ Devel::NYTProf は Perl5 の世界でもっとも人気があるプロファイラである。表示が美麗であるし、ステップごとの処理速度が簡単にわかるのでとても便利だ。 そんな Devel::NYTProf であるが、Starlet/Starman のようなプリフォーク式のサーバーでうごくウェブアプリケーションとくみあわせる場合の方法論として、わかりやすい資料がみあたらなかったのでここに記すものである。 環境変数 NYTPROF を設定する Devel::NYTProf は環境変数で挙動を変えられる。 plack とくみあわせる場合には、以下のようにするとよい。 NYTPROF=sigexit=int:savesrc=0:start=no s
26.4. The Python Profilers — Python 2.7.18 documentation
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. 26.4.1. Introduction to the profilers¶ cProfile and profile provide deterministic profiling of Python programs. A profile is a set of statistics that describes how often and for how long various parts of the program executed. These statisti
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Profiling and Optimizing Go
GitHub - bradfitz/talk-yapc-asia-2015: talk-yapc-asia-2015
GitHub - rakyll/gom: A visual interface to work with runtime profiling data for Go
MySQLをプロファイる(仮)
Client Challenge