Crawler

En crawler är ett stycke automatiserad software, som besöker sidor på nätet för att indexera dem.