了解robots工具并通过答题测

分类: 站长资讯|时间: 2019年06月14日

1、如果想要网站全部被百度收录,该不该建立robots.txt文件

A: 应该

B: 不应该

2、robots.txt 文件的作用是什么?

A: 能够更好的吸引搜索引擎抓取页面

B: 能够指定spider在你网站上的抓取范围

C: 能够提供搜索结果出图效果

D: 没有什么用

3、robots.txt文件应该放在哪个位置?

A: 放置在网站根目录下

B: 放置在对应页面中

4、下面robots.txt文件内字段描述错误的是:

A: User-agent:描述自己站点和页面的名称

B: Disallow:描述不希望被访问的一组URL

C: allow:描述希望被访问的一组URL

D: *匹配0或多个任意字符

5、robots工具目前支持48K的文件检测,最长不超过250个字符

A: 正确

B: 错误