Um crawler, também chamado web crawler, spider ou robô de rastreio, é um tipo de software que os motores de pesquisa usam para percorrer e indexar páginas web na internet. A sua principal função é visitar websites, ler o conteúdo e recolher informação para criar um índice que os motores de pesquisa usam para mostrar resultados relevantes.
O crawler segue links de uma página para outra e recolhe dados sobre o conteúdo, a estrutura e outros fatores importantes de cada página. Estes dados ajudam os motores de pesquisa a perceber do que trata uma página, para a posicionarem corretamente nos resultados. Os crawlers garantem que os motores de pesquisa têm informação atualizada e mostram resultados corretos e relevantes aos utilizadores.