Crawler
Um web crawler, também conhecido como web spider, é um bot da Internet que navega sistematicamente na World Wide Web, normalmente com o propósito de indexação da web (web spidering). Os web crawlers são usados principalmente para criar uma cópia de todas as páginas visitadas para processamento posterior por um mecanismo de busca que indexará … Ler mais