SEO优化之详解robots.txt及基本用法

SEO优化之详解robots.txt及基本用法

SEO优化 5个月前 (06-03) 浏览: 25 评论: 0

robots.txt是一个纯文本文件,在这个文件中网站管理复者可以声明该网站中不想被robots访问的部分制,或指定搜索引擎只收录指定的内容。当一个搜索引擎蜘蛛(或者搜索引擎机器人等)访问我们的站点时,首先都会检查该站点根目录下是否存在robots.txt文件,如果存在,搜索引擎蜘蛛就会按照该文件中的内容设定来确定访问的范围。如果该文件不存在,那么搜索机器人就会顺着网站链接直接抓取。 其实我们大部

切换注册

登录

忘记密码 ?

切换登录

注册

您是第 2626 位访客, 您的IP是:[3.234.254.115]