O Screaming Frog SEO Spider é uma ferramenta que nos ajuda na tarefa de analisar certos fatores SEO de um site da Web.

A criação de um site da Web costuma ser uma tarefa que implica o trabalho de várias pessoas com funções diferentes. Ainda que elas cuidem ao máximo de todos os detalhes, é possível que exista algum tipo de falha no design ou estrutura do site da Web. Para descobrir essas falhas, é conveniente contar com uma ferramenta que monitore todas as páginas da Web de nosso site em busca de falhas ou problemas.

O Screaming Frog SEO Spider se apresenta como uma ferramenta ideal para analisar e relatar problemas em sites da Web. O funcionamento do programa é simples, somente devemos marcar umas opções básicas e indicar a URL do site que queremos analisar. Depois de alguns minutos ou horas, dependendo do tamanho e profundidade do site, obteremos um relatório com informações úteis que podemos filtrar e reorganizar para analisar possíveis falhas ou erros na Web.

O primeiro passo que devemos dar é configurar a "aranha" (assim é como se denomina o programa que visita e coleta informações das páginas da Web que compõem o site). Algumas das opções que podemos marcar são as seguintes:

• Verificar imagens, CSS, Javascript, SWF: esta opção permite que o programa verifique os arquivos CSS, JS, etc. nas páginas da Web que encontra, relatando um erro no caso de o link desses arquivos estar desfeito.
• Verificar links externos: se nossa Web possuir links para outras páginas, esta opção verificará se esses links não estão desfeitos.
• Acompanhar links nofollow internos o externos: com esta opção podemos informar à aranha se queremos que obedeça aos links "nofollow" ou queremos que os ignore. Esta opção é muito útil se queremos saber o número total de páginas "dofollow" que contém nosso site.
• Inspecionar todos os subdomínios: se nosso site dispõe de vários subdomínios e queremos que a "aranha" os considere, devemos marcar esta opção.
• Ignorar o arquivo robots.txt: é provável que tenhamos bloqueado certas zonas do nosso site por meio do arquivo robots.txt. Se quisermos que a aranha ignore esse arquivo e inspecione todas as zonas da Web, devemos marcar esta opção.
• Limitar o número total de páginas a serem inspecionadas: com esta opção limitaremos o número de páginas que a "aranha" inspecionará.
• Limitar a profundidade de pesquisa: com esta opção informaremos à "aranha" até quantos cliques de distância pode inspecionar para além da página principal.
• Solicitar autenticação: se alguma das páginas da Web que compõem o site a ser analisado está protegida com senha, ao marcar esta opção, o programa nos solicitará o usuário e a senha para poder acessar e analisar a página protegida.
• Respeitar noindex: se marcarmos esta opção, a aranha não inspecionará aquelas páginas que contenham a meta tag "noindex". É conveniente usar esta opção se queremos saber o número total de páginas que indexarão os mecanismos de pesquisa tipo Google.
• Respeitar Canonical: se marcarmos esta opção, a aranha não inspecionará aquelas páginas que contenham a meta tag rel="canonical".
• Ativando a opção Respeitar noindex e Respeitar Canonical, teremos um relatório completo das páginas que serão indexadas pelos buscadores, já que nossa aranha se comportará seguindo as regras que segue a maioria dos buscadores da Internet. Talvez nossa Web gere dezenas de milhares de páginas, mas se configurarmos corretamente as meta tags de noindex e rel="canonical", o número de páginas indexadas se verá reduzido consideravelmente, contribuindo para que o PR interno das páginas importantes seja maior.
  

Assim que a aranha terminar de inspecionar todas as páginas que compõem o site da Web, será apresentada uma lista com informações de todas e cada uma das páginas inspecionadas. Essa lista inclui as seguintes informações:

• Endereço da URL: o endereço da Web da página analisada.
  
• Código de status: informa sobre o código de status HTTP. Graças a isso, podemos visualizar quais páginas não são encontradas (404) ou quais têm problemas com o servidor (500).
  
• Título e tamanho: mostra o título da URL analisada e o número de caracteres que contém.
  
• Meta Description e tamanho: como ocorre com o título, mostra o texto que compõe a meta description e seu tamanho.
  
• H1, H2 e tamanho: mostra o texto de ambas as tags (caso existam) e seu tamanho.
  
• Tamanho: aqui é mostrado o tamanho em bytes que ocupa a página. É importante saber o tamanho que as páginas que compõem o site vão ocupar, pois um tamanho muito grande fará com que a velocidade de download seja lenta, e a velocidade de download é um fator que os buscadores levam em conta na hora de organizar os resultados das pesquisas.
  
• Número de palavras: este campo representa o número de palavras que existem na página analisada. Este fator também é importante, já que as páginas que contêm poucas palavras são consideradas pelos buscadores como páginas de baixa qualidade.
  
• Nível: refere-se ao nível de profundidade no qual se encontra a página analisada. Por exemplo, se uma página possui 1 de nível, isso indica que essa página está a um clique de distância do índice do site. Esta opção serve para verificar se as páginas que consideramos importantes em nosso site possuem um nível baixo, já que se possuem um nível alto, os buscadores interpretarão que essas páginas não são tão importantes como as de níveis inferiores.
  
• Links de entrada: este campo reflete o número de páginas internas que possuem um link em direção à página analisada. Esse número é importante, pois podemos saber quais são as páginas que mais links estão recebendo e verificar se essas são as páginas mais importantes do site. Caso contrário, podemos modificar a estrutura interna da nossa Web para que as páginas que consideramos mais importantes recebam um número maior de menções.
  
• Links de saída: este é o número de links em direção a outras páginas internas.
  

O programa consta de diferentes guias nas quais se organizam as informações para poder ter acesso a relatórios específicos. Por exemplo, na guia Código de resposta, podemos ver os códigos HTTP (200, 404, etc.), filtrar e organizar por código de resposta. Cada guia inclui informações adicionais que não são mostradas na lista principal. Por exemplo, na guia Códigos de resposta, é mostrado o tempo de resposta das URLs inspecionadas.

O Screaming Frog SEO Spider tem a possibilidade de carregar um arquivo sitemap, o que nos permite verificar se as URLs incluídas nesse arquivo estão funcionando corretamente. Essa opção é muito conveniente, já que os buscadores se guiam pelas URLs contidas no sitemap para inspecionar nosso site, por isso é importante que o sitemap não contenha erros e as URLs sejam válidas.

Podemos exportar os dados gerados para arquivos .csv e importá-los para o Excel ou qualquer outra planilha para manipular as informações desses arquivos.

Este software foi desenvolvido em Java e está disponível para os principais sistemas operacionais de desktop: Windows, Mac e Linux.

O programa é pago, apesar de ser possível utilizá-lo sem limite de tempo com certas restrições nas funcionalidades, como limitação de 500 URLs por site e impossibilidade de configurar a aranha à nossa vontade.