使用微信扫一扫
扫一扫关注官方微信 站群机robots.txt的几个关键语法
- 来源：纵横数据
- 作者：中横科技
- 时间：2020/6/5 14:24:12
- 类别：新闻资讯
站群机robots.txt的几个关键语法【艾娜】
a、User-agent: 应用下文规则的漫游器，比如Googlebot,Baiduspider等。
b、Disallow: 要拦截的网址,不允许机器人访问。
c、Allow: 允许访问的网址
d、”*” : 通配符—匹配0或多个任意字符。
e、”$” : 匹配行结束符。
f、”#” : 注释—说明性的文字,不写也可。
g、Googlebot: 谷歌搜索机器人(也叫搜索蜘蛛)。
h、Baiduspider: 百度搜索机器人(也叫搜索蜘蛛)。
i、目录、网址的写法:都以以正斜线 (/) 开头。
如
Disallow:/
Disallow:/images/
Disallow:/admin/
Disallow:/css/
----------------------
新上的美国站群服务器8C 现货 限量特价 速定! cn2限量一人3台
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美国站群服务器 特价欢迎联系在线客服 QQ 4001886560 482986990
