go-crawler

Библиотека для веб-краулинга; поддерживает `robots.txt`,
`sitemap.xml`, повторные запросы при ошибках, паузы между запросами;
работает параллельно.

• https://github.com/thewizardplusplus/go-crawler