Краулер (или веб-краулер, робот, паук) — это программа, которая автоматически сканирует веб-сайты, извлекая данные и переходя по ссылкам.