技术SEO

Meta robots

也称为： robots元标签

向爬虫提供索引和页面展示相关指令的HTML标签，仅对支持该指令的爬虫生效。

实际示例

内部搜索页面收到noindex指令。

我应了解什么？

支持的指令和解释方式取决于系统。

技术SEO 实践中

分别检查爬虫访问、服务器响应和内容处理，再评估索引及搜索展示。这些阶段相互关联但各不相同，需要不同诊断方式。

相关Semly功能

了解此概念如何应用于Semly工作。

Google Search Console将搜索数据连接到Semly，规划下一步时分析查询与页面表现。AI Agent Leon与Leon处理建议、行动计划和品牌内容。

相关术语

noindex指示支持该规则的系统不将页面纳入搜索结果。nofollow描述链接关系并提示搜索引擎如何考虑该链接的rel属性值。X-Robots-Tag提供爬虫指令的HTTP响应头，也适用于非HTML资源。

文档与延伸阅读

定义由Semly编写，标准与行为由其创建者说明：

Google - 阻止索引

看看AI是否能发现您

输入网站地址，获取AI可见度报告。