SEO técnico

robots.txt

Un archivo que dice a rastreadores compatibles qué rutas obtener.

Un ejemplo práctico

Un sitio limita el rastreo de URLs de búsqueda interna.

¿Qué debo saber?

No protege datos privados ni elimina páginas del índice de forma fiable.

SEO técnico en la práctica

Comprueba por separado el acceso de rastreadores, las respuestas del servidor y el procesamiento del contenido. Después evalúa la indexación y la presencia en búsquedas. Son fases conectadas, pero distintas.

Funciones Semly relacionadas

Descubre cómo se aplica este concepto en Semly.

Google Search ConsoleConecta búsquedas con Semly. Analiza consultas y páginas para decidir próximos pasos.AI Agent LeonTrabaja con Leon en recomendaciones, planes y contenido.

Términos relacionados

RastreadorPrograma que visita páginas y archivos automáticamente para buscar o recoger datos.noindexInstrucción a sistemas compatibles para no incluir una página en resultados.DisallowRegla robots.txt que limita ciertas rutas a rastreadores que respetan el archivo.

Documentación y lecturas adicionales

Definición preparada por Semly. Sus creadores explican estándares y comportamiento:

Descubre si la IA ChatGPTGeminiClaudeGoogle AI OverviewsGoogle AI Mode te ve

Introduce tu web para recibir el informe de visibilidad IA.