Ограничение количества горутин
Условие задачи
Программа скачивает список URL с помощью горутин. Какие проблемы возникнут при масштабировании (100 000 URL) и как их избежать.
gopackage main
import (
"fmt"
"net/http"
"time"
"sync"
)
func main() {
urls := []string{
"https://www.lamoda.ru",
"https://www.yandex.ru",
"https://www.mail.ru",
"https://www.google.com",
}
wg := &sync.WaitGroup{}
for _, url := range urls {
wg.Add(1)
go func(url string) {
defer wg.Done()
fmt.Printf("Fetching %s...\n", url)
err := fetchUrl(url)
if err != nil {
fmt.Printf("Error fetching %s: %v\n", url, err)
return
}
fmt.Printf("Fetched %s\n", url)
}(url)
}
fmt.Println("All requests launched!")
wg.Wait()
fmt.Println("Program finished.")
}
func fetchUrl(url string) error {
// Подробная реализация опущена и не относится к теме задачи
// _, err := http.Get(url)
return nil
}