Crawlen is het verkennen of doorzoeken van een website door zoekmachines. Aan de hand hiervan bepaalt de zoekmachine waar jouw website over gaat en of deze aansluit bij een zoekopdracht. Wanneer jouw website niet goed gecrawld kan worden heeft dit dus grote gevolgen voor de vindbaarheid van jouw website.