Worker pool — ishlar sonini cheklash

~20 daq · Go · Concurrency va tekshiruv vositalari

Muammodan boshlaylik

Minglab vazifaga bittadan goroutine ochish tarmoq yoki bazani bosib yuborishi mumkin. Bir vaqtning o‘zida cheklangan worker ishlasin.

Tushunib olamiz

Jobs kanali ishlarni tarqatadi, bir nechta worker ularni oladi, result kanali natijalarni yig‘adi. Yuboruvchi jobs’ni yopadi; barcha worker tugagach result yopiladi. Natija tartibi bajarilish tezligiga bog‘liq. Context bilan bekor qilish ham haqiqiy xizmatga qo‘shilishi kerak.

Misolni bajaramiz

Go 1.22+ ishlating. Mustaqil misol: main.go va go run main.go. Modul uchun go mod init example.com/mashq. Test, embed va SQL darslarida ko‘rsatilgan qo‘shimcha fayl yoki xizmatlar kerak bo‘ladi.

package main

import ("fmt"; "sync")


func main() {
    jobs:=make(chan int)
    results:=make(chan int)
    var wg sync.WaitGroup
    for i:=0;i<2;i++{wg.Add(1);go func(){defer wg.Done();for x:=range jobs{results<-x*x}}()}
    go func(){for _,x:=range []int{1,2,3}{jobs<-x};close(jobs)}()
    go func(){wg.Wait();close(results)}()
    sum:=0;for x:=range results{sum+=x};fmt.Println(sum)
}

Natija va izoh

14 chiqadi, natijalar kelish tartibi turlicha bo‘lishi mumkin. Bir vaqtning o‘zida ikkita worker ishlaydi.

[!WARNING] Main jobs yuborishga bloklanib, resultni hech kim o‘qimasa deadlock bo‘ladi. Kanal egasi va yopish tartibini chizing.

Mustaqil mashq

Natijaga kirish indeksini qo‘shib, asl tartibda yig‘ing.

Avval kodni mustaqil o‘zgartiring. Oddiy holatdan tashqari bo‘sh qiymat, noto‘g‘ri kirish yoki resurs mavjud bo‘lmagan vaziyatni ham sinang. Natijani taxmin qilib, haqiqiy natija bilan solishtiring.

Yechim va tekshirish yo‘li

Job va Result structlarida Index maydoni bo‘lsin. Main natijani shu indeksli slice elementiga joylashtirsin; bitta yig‘uvchi yozuvchi bo‘lsa alohida mutex kerak emas.

Xulosa

Jobs kanali ishlarni tarqatadi, bir nechta worker ularni oladi, result kanali natijalarni yig‘adi.

Bu usulni avvalgi katalog loyihasiga alohida bosqich sifatida qo‘shing: ishlayotgan qismini saqlab, yangi talab uchun kichik tekshiruv yozing. Xato holatidagi xulqni ham hujjatlashtiring; muvaffaqiyatli namunaning o‘zi yetarli emas.

Keyingi dars: Benchmark va race detector — o‘lchash.

Rasmiy manba: Go qo‘llanmalari, net/http, testing