Go言語におけるgoroutineのスケジュールについて - ひらめの日常
はじめに goroutine とは goroutine のスケジューリングの特徴 タスクとスケジューラ M:N スケジューリング スケジューリングの透過性 二種類の Queue とその活用 Work Stealing Handoff Preemption 最後に はじめに 実は9月に転職しまして、新しくGo言語を使用しています。個人的に goroutine が少し理解しづらく、自分の中で腑に落ちなかったため、スケジューリングについて調べてみました。 内容の多くは GopherCon2018 の素敵な動画と、書籍『Go言語100Tips』をもとに自分の言葉でまとめ直したものになっています。ぜひこちらもご覧ください。 www.youtube.com Go言語 100Tips ありがちなミスを把握し、実装を最適化する impress top gearシリーズ 作者:Teiva Harsanyi,
goroutineはなぜ軽量なのか - Carpe Diem
概要 以前の記事で christina04.hatenablog.com Goはスレッドよりはるかに軽量なgoroutineでC10K問題を解決する、という話をしましたが、goroutineが軽量なのはなぜか？という理由を深掘りしたことがなかったのでしてみました。 環境 golang 1.11.1 Darwin 17.7.0 軽量と呼ばれる理由は２つ 大きく分けると以下の２つのポイントがあります スレッドに比べてメモリ使用量が低い スイッチングコストが低い それぞれ説明していきます。 goroutineがスレッドに比べてメモリ使用量が低いのはなぜか スタックとヒープのメモリの使い方を理解すると分かります。 ヒープはメモリの下層、プログラムコードのすぐ上にあり、上に向かって成長します。一方スタックは仮想アドレス空間の一番上にあり、徐々に下に成長していきます。 ref: イベントループなしでの
【翻訳】goroutine の仕組み - まるまるこふこふ
訳者による概要 Krishna Sundarram 氏の記事「How Goroutines Work」の翻訳です。 「goroutine とは軽量スレッドである」という説明に対して抱くであろう 「どのようにして並行処理を実現しているのか」「既存のスレッド処理と何が違うのか」「なぜ軽量なのか」という疑問を解消する文章です。 とても良い文章なのですが、現在リンク切れになっており、 とてももったいないことだと思ったので、日本語に翻訳しました。 原文: How Goroutines Work (2017/12/02 現在、リンク切れ) golang の紹介 もしあなたが golang 初心者で、並行処理(Concurrency)と並列処理(Parallelism)の違いがわからなければ、Rob Pike 氏のトーク (リンク先は英語)を参照してください。約 30 分のトークですが、30分視聴するだ
Goのスケジューラー実装とハマりポイント
Goのスケジューラー実装とハマりポイント golang.tokyo #4 1 March 2017 Koki Ide Koki Ide @niconegoto (Twitter, Github) メルカリ/ソウゾウ GoでAPI書いてます 2 去年のアドベントカレンダー 3 今日はなすこと Groutineの実装デザイン スケジューラーの罠 4 Groutineの実装デザイン 5 スレッドにはどのような種類があるのか N：1 複数のユーザー空間スレッドが1つのOSスレッドで実行 1：1 1つの実行スレッドが1つのOSスレッドと一致 M：N 任意の数のOSスレッドに任意の数のゴルーチンをスケジューリング GoはM:Nを採用 6 それぞれの特徴 N：1 :+1: コンテキストスイッチが非常に迅速である :-1: マルチコアシステムを利用することができない 1：1 :+1: マシン上のすべてのコ
sync.WaitGroupの正しい使い方 - Qiita
Goroutineを複数使って並列で処理を行って、それがすべて完了したら次に進みたいとしよう。Goroutineの完了はそれを生成したgoroutineに通知されるわけではないので、メインのgoroutineは何らかのメカニズムを使って全員が完了するまで待って、全員が完了したら実行を再開する必要がある。 sync.WaitGroupは複数のgoroutineの完了を待つための値だ（Javaを知っていれば、java.util.concurrent.CountDownLatchによく似ている）。WaitGroupの値に対してメソッドWaitを呼ぶと、WaitGroupが0になるまでWaitはブロックされる（待たされる）。従って、やりたい処理の数だけWaitGroupの値をインクリメントしておいて、処理完了時にデクリメントすれば、Waitを呼んで処理完了を待っているメインのgoroutineは、
How would you define a pool of goroutines to be executed at once?
I would spawn 4 worker goroutines that read the tasks from a common channel. Goroutines that are faster than others (because they are scheduled differently or happen to get simple tasks) will receive more task from this channel than others. In addition to that, I would use a sync.WaitGroup to wait for all workers to finish. The remaining part is just the creation of the tasks. You can see an examp
How to use a goroutine pool
I want to use Go for downloading stock price spreadsheets from Yahoo finance. I'll be making an http request for every stock in its own goroutine. I have a list of around 2500 symbols, but instead of making 2500 requests in parallel, I'd prefer making 250 at a time. In Java I'd create a thread pool and reuse threads as and when they get free. I was trying to find something similar, a goroutine poo
Google Workspace Updates: New community features for Google Chat and an update on Currents
April 12, 2023 New community features for Google Chat and an update on Currents Currents Google Chat Other Note: This blog post outlines upcoming changes to Google Currents for Workspace users. For information on the previous deprecation of Google+ for users with personal Google accounts, please see this post. Last year, we announced plans to wind down Currents, to focus efforts on community exper
Visualizing Concurrency in Go · divan's blog
If you prefer video over blog posts, here is my talk on this at GopherCon 2016: https://www.youtube.com/watch?v=KyuFeiG3Y60 One of the strongest sides of Go programming language is a built-in concurrency based on Tony Hoare’s CSP paper. Go is designed with concurrency in mind and allows us to build complex concurrent pipelines. But have you ever wondered - how various concurrency patterns look lik
Goでスレッド（goroutine）セーフなプログラムを書くために必ず注意しなければいけない点 - Qiita
Goは言語機能として並列実行をサポートしているけど、Goで書いたからといって自動的にデータ構造がスレッドセーフになるわけではないので、スレッド安全性を気にしなければならないはこれまでの言語と変わらない。どういうケースが良くてどういうケースがダメなのかを理解していないと安全なプログラムは書けない。それについて説明をしよう。 まず第一にEffective Goのこの一文は覚えておこう。 Do not communicate by sharing memory; instead, share memory by communicating. メモリを共有することで通信しようとしないこと。代わりに通信することでメモリを共有すること。 変数の値を変更したあとにチャネルなどを使わずに、おもむろに別のgoroutineからその変数の値を読み書きしてはいけない。そういうやり方だと読み書き操作の前後関係がき
Death of goroutines under control
Certainly one of the reasons why many people are attracted to the Go language is its first-class concurrency aspects. Features like communication channels, lightweight processes (goroutines), and proper scheduling of these are not only native to the language but are integrated in a tasteful manner. If you stay around listening to community conversations for a few days there’s a good chance you’ll
Big Sky :: Golang の channel の使い所
golang の特徴と言えば goroutine と channel ですが、その使いどころに悩む人もおられる様です。 goroutine は非同期に実行される処理、channel はその groutine と通信する為の仕組みと考えると分かりやすいです。 package main import ( "fmt" "time" ) func main() { task := make(chan string) taskquit := make(chan bool) workerquit := make(chan bool) go func() { loop: for { select { case <-taskquit: workerquit <- true break loop case job := <-task: fmt.Println(job) } } }() go func() {
Go の並行処理 - Block Rockin’ Codes
intro 先日の Go のカンファレンス GoCon で、 Go の並行処理周りについて発表させて頂きました。 Go Conference 2013 spring - connpass 具体的には Goroutine や Channel の話ですが、これらの機能は結構面白くて、いじって遊んでるだけでもわくわくします。 Go の並行処理は、設計方針がわりと特殊だと思うのですが、設計がシンプルなので分かるとそこまで難しくはないです。 (使いこなすのは、経験が必要そうですが) 今回話すにあたって色々調べましたが、発表時間の都合上省いたものもあるし、質疑応答で聞かれて応えられなかったこともあるので、 ここでまとめて置こうと思います。 発表資料 今回の発表資料はこちらです。 このブログの内容は、これをベースにします。 http://jxck.node-ninja.com/slides/gocon-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
終了したことを他の複数のゴルーチンに伝えるのにチャネルのcloseを使う #golang - Qiita
ゴルーチンと並行性パターン - Qiita
tomb.v2 - gopkg.in/tomb.v2
golang でループを手っ取り早く並列化する方法 — KaoriYa