<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
本文將介紹 Go 語言中的 WaitGroup 並行原語,包括 WaitGroup 的基本使用方法、實現原理、使用注意事項以及常見的使用方式。能夠更好地理解和應用 WaitGroup 來協調多個 Goroutine 的執行,提高 Go 並行程式設計的效率和穩定性。
WaitGroup
是Go語言標準庫中的一個結構體,它提供了一種簡單的機制,用於同步多個協程的執行。適用於需要並行執行多個任務並等待它們全部完成後才能繼續執行後續操作的場景。
首先主協程建立WaitGroup範例,然後在每個協程的開始處,呼叫Add(1)
方法,表示需要等待一個任務執行完成,然後協程在任務執行完成之後,呼叫Done
方法,表示任務已經執行完成了。
主協程中,需要呼叫Wait()
方法,等待所有協程完成任務,範例如下:
func main(){ //首先主協程建立WaitGroup範例 var wg sync.WaitGroup // 開始時呼叫Add方法表示有個任務開始執行 wg.Add(1) go func() { // 開始執行... //完成之後,呼叫Done方法 wg.Done() }() // 呼叫Wait()方法,等待所有協程完成任務 wg.Wait() // 執行後續邏輯 }
package main import ( "fmt" "sync" ) func main() { var wg sync.WaitGroup for i := 0; i < 5; i++ { wg.Add(1) go func(i int) { defer wg.Done() fmt.Printf("任務%d開始執行n", i) // 模擬協程任務執行一段時間 time.Sleep(time.Duration(rand.Int() % 100)) // 執行緒任務執行完成 fmt.Printf("任務%d執行完畢n", i) }(i) } fmt.Println("主協程開始等待所有任務執行完成...") wg.Wait() fmt.Println("所有協程已經執行完畢...") }
在這個例子中,我們使用了sync.WaitGroup
來等待5個協程執行完畢。在迴圈中,每建立一個任務,我們呼叫一次wg.Add(1)
方法,然後啟動一個協程去執行任務,當協程完成任務後,呼叫wg.Done
方法,告知主協程任務已經執行完畢。然後主協程會在5個協程任務全部執行完畢之後,才會繼續向下執行。
WaitGroup
的設計初衷就是為了等待一組操作完成後再執行下一步操作,通常會在一組協程中使用。
sync.WaitGroup
結構體中的 state1
和 state2
欄位是用於實現 WaitGroup
功能的重要變數。
type WaitGroup struct { noCopy noCopy state1 uint64 state2 uint32 }
由於 WaitGroup
需要等待一組操作完成之後再執行,因此需要等待所有操作完成之後才能繼續執行。為了實現這個功能,WaitGroup 使用了一個計數器 counter
來記錄還有多少個操作沒有完成,如果 counter
的值為 0,則表示所有操作已經完成。
同時,WaitGroup
在所有任務都完成之後,需要喚醒所有處於等待的協程,此時需要知道有多少個協程處於等待狀態。為了實現這個功能,WaitGroup 使用了一個等待計數器 waiter
來記錄當前有多少個協程正在等待操作完成。
這裡WaitGroup
對於計數器和等待計數器的實現,是通過一個64位元無符號整數來實現的,也就是WaitGroup
結構體中的state1,其中高32位元儲存了任務計數器counter
的值,低32位元儲存了等待計數器waiter
的值。當我們建立一個 WaitGroup
範例時,該範例的任務計數器和等待計數器都被初始化為 0。
而且,等待協程需要等待所有任務完成之後才能繼續執行,所以等待協程在任務未完成時會被阻塞,當任務全部完成後,自動被喚醒。WaitGroup
使用 state2
用於實現號誌機制。通過呼叫 runtime_Semacquire()
和 runtime_Semrelease()
函數,可以在不阻塞執行緒的情況下進行等待和通知操作。
呼叫 Add()
方法增加/減小counter
的值,delta的值可以是正數,也可以是負數,下面是Add
方法的原始碼實現:
func (wg *WaitGroup) Add(delta int) { // delta 的值可以為負數,Done方法便是通過Add(-1)來實現的 // statep: 為state1的地址 semap: 為state2的地址 statep, semap := wg.state() // 高32位元的值 加上 delta,增加任務計數器的值 state := atomic.AddUint64(statep, uint64(delta)<<32) // v: 取高32位元資料,獲取到待完成任務數 v := int32(state >> 32) // 取低32位元資料,獲取到等待執行緒的值 w := uint32(state) // v > 0: 說明還有待完成的任務數,此時不應該喚醒等待協程 // w = 0: 說明沒有協程在等待,此時可以直接退出 if v > 0 || w == 0 { return } // 此時v = 0,所有任務都完成了,喚醒等待協程 *statep = 0 for ; w != 0; w-- { runtime_Semrelease(semap, false, 0) } }
呼叫 Done()
方法表示完成了一個任務,通過呼叫Add
方法,delta
值為-1,減少任務計數器counter
的值,當其歸為0時,便自動喚醒所有處於等待的協程。
// Done decrements the WaitGroup counter by one. func (wg *WaitGroup) Done() { wg.Add(-1) }
呼叫Wait
方法,等待任務執行完成,增加等待計數器Waiter
的值:
func (wg *WaitGroup) Wait() { // statep: 為state1的地址 semap: 為state2的地址 statep, semap := wg.state() for { // 載入state1的值 state := atomic.LoadUint64(statep) // v: 取高32位元資料,獲取到待完成任務數 v := int32(state >> 32) // 沒有任務待執行,全部都完成了 if v == 0 { return } // 增加waiter計數器的值 if atomic.CompareAndSwapUint64(statep, state, state+1) { // 等待被喚醒 runtime_Semacquire(semap) return } } }
Add
方法,Done
方法以及Wait
方法實現中,有一些異常場景的驗證邏輯被我刪除掉了。當出現異常場景時,說明使用者使用方式和WaitGroup
的設計初衷相違背了,此時WaitGroup
就會直接panic。
下面通過說明使用的注意事項,來間接介紹WaitGroup
的異常驗證邏輯。
下面是一個Add方法和Done方法沒有成對出現的例子,此時Add方法調多了,此時計數器永遠大於0,Wait 方法會一直阻塞等待。
package main import ( "fmt" "sync" ) func main() { var wg sync.WaitGroup wg.Add(2) go func() { defer wg.Done() fmt.Println("Goroutine 1") }() go func() { fmt.Println("Goroutine 2") }() wg.Wait() fmt.Println("All goroutines finished") }
在上述程式碼中,我們呼叫了wg.Add(2)
,但只呼叫了一次wg.Done()
。這會導致counter
的值大於0,因此呼叫wg.Wait()
會被永久阻塞,不會繼續向下繼續執行。
還有另外一種情況時Done方法呼叫多了,此時任務計數器counter
的值為負數,從WaitGroup
設計的語意來看,就是需要等待完成的任務數為負數,這個不符合預期,此時將會直接panic
package main import ( "fmt" "sync" ) func main() { var wg sync.WaitGroup wg.Add(1) go func() { fmt.Println("Goroutine 1 started") wg.Done() // 第一次呼叫Done方法 wg.Done() // 第二次呼叫Done方法 fmt.Println("Goroutine 1 completed") }() wg.Wait() fmt.Println("All goroutines completed") }
在上面的例子中,我們啟動了一個goroutine,第一次呼叫Add
方法,counter的值變為1,在第14行呼叫Done
,此時計數器的值變為0,此時等待中的goroutine將會被喚醒。在第15行又呼叫了一次Done
方法,當counter減小為0時,再次呼叫Done
方法會導致panic,因為此時waitGroup
的計數器已經為0,再次減少將導致負數計數,這是不被允許的。
所以在呼叫Done方法時,需要保證每次呼叫都與Add方法的呼叫一一對應,否則會導致程式出現錯誤。
WaitGroup
的設計初衷就是為了等待一組操作完成後再執行下一步操作。所以,如果在所有任務新增之前,便呼叫Wait
方法進行等待,此時有可能會導致等待協程提前被喚醒,執行下一步操作,而尚未新增的任務則不會被等待,這違反了WaitGroup的設計初衷,也不符合預期。下面是一個簡單的例子:
package main import ( "fmt" "sync" "time" ) func main() { var wg sync.WaitGroup for i := 1; i <= 3; i++ { go func(id int) { wg.Add(1) defer wg.Done() fmt.Printf("Goroutine %d startedn", id) time.Sleep(time.Duration(id) * time.Second) fmt.Printf("Goroutine %d finishedn", id) }(i) } // 不等待所有任務新增,就開始等待 wg.Wait() fmt.Println("All goroutines finished") time.Sleep(10 * time.Second) }
程式碼執行結果如下,等待協程被提前喚醒,執行之後的操作,而子任務在等待協程喚醒後才開始執行:
All goroutines finished
Goroutine 1 started
Goroutine 3 started
Goroutine 2 started
Goroutine 1 finished
Goroutine 2 finished
Goroutine 3 finished
在這個例子中,我們建立了三個協程並列印出它們開始和結束的訊息。但是,我們沒有在任務開始前呼叫Add
方法新增任務,而是在任務開始之後再呼叫Add
方法新增任務。
這可能會導致某些任務未被加入到WaitGroup
中,等待協程就呼叫了wg.Wait
方法,這樣就會導致一些任務未被加入WaitGrou
,從而導致等待協程不會等待這些任務執行完成。如果這種情況發生了,我們會看到"All goroutines finished"被輸出,但實際上有一些協程還沒有完成。
因此,我們應該在所有任務新增完畢之後再呼叫Wait
方法,以保證等待的正確性。
在函數或方法中使用,如果一個大任務可以拆分為多個獨立的子任務,此時會將其進行拆分,並使用多個協程來並行執行這些任務,提高執行效率,同時使用WaitGroup
等待所有子任務執行完成,完成協程間的同步。
下面來看go-redis中ClusterClient
結構體中ForEachMaster
方法中對於WaitGroup
的使用。ForEachMaster
方法通常用於在 Redis 叢集中執行鍼對所有主節點的某種操作,例如在叢集中新增或刪除鍵,或者執行一些全域性的診斷操作,具體執行的操作由傳入引數fn
指定。
這裡ForEachMaster
方法會對所有主節點執行某種操作,這裡的實現是對所有主節點執行某種操作這個大任務,拆分為多個獨立的子任務,每個子任務完成對一個Master節點執行指定操作,然後每個子任務啟動一個協程去執行,主協程使用WaitGroup
等待所有協程完成指定子任務,ForEachMaster
也就完成了對所有主節點執行某種操作的任務。具體實現如下:
func (c *ClusterClient) ForEachMaster( ctx context.Context, fn func(ctx context.Context, client *Client) error, ) error { // 重新載入叢集狀態,以確保狀態資訊是最新的 state, err := c.state.ReloadOrGet(ctx) if err != nil { return err } var wg sync.WaitGroup // 用於協程間通訊 errCh := make(chan error, 1) // 獲取到redis叢集中所有的master節點 for _, master := range state.Masters { // 啟動一個協程來執行該任務 wg.Add(1) go func(node *clusterNode) { // 任務完成時,呼叫Done告知WaitGroup任務已完成 defer wg.Done() err := fn(ctx, node.Client) if err != nil { select { case errCh <- err: default: } } }(master) } // 主協程等待所有任務完成 wg.Wait() return nil }
本文介紹了 Go 語言中的 WaitGroup 並行原語,它提供了一種簡單且強大的機制來協調多個 Goroutine 的執行。我們首先學習了 WaitGroup 的基本使用方法,包括如何建立 WaitGroup、如何向計數器中新增值、如何等待所有 Goroutine 完成以及如何在 Goroutine 中通知 WaitGroup 完成。
接著,我們瞭解了 WaitGroup 的實現原理,包括計數器和等待計數器的實現。瞭解了實現原理之後,我們可以更好地理解 WaitGroup 的內部機制以及如何更好地使用它來實現我們的需求。
在接下來的部分中,我們介紹了一些使用 WaitGroup 的注意事項,以及常見的使用方式。基於此,我們完成了對WaitGroup的介紹,更多關於go同步協程WaitGroup的資料請關注it145.com其它相關文章!
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45