当前位置:九洲网络 > 建站 > 建站技术 >

建站中robots协议详解_长春九州网络

时间:2018-08-15 16:54  作者:九洲网络  浏览人数:

1. 允许所有搜索引擎收录本站:robots.txt为空就可以,什么都不要写。

2. 禁止所有搜索引擎收录网站的某些目录:
 

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个搜索引擎收录本站,例如禁止百度:

User-agent: Baiduspider

Disallow: /

4. 禁止所有搜索引擎收录本站:

User-agent: *

Disallow: /

长春九州网络建站>http://www.jljiuzhou.com/