题目内容（请给出正确答案）

[单选题]

robots.txt的作用是（）。

A.禁止搜索引擎蜘蛛抓取特定URL

B. 给搜索引擎蜘蛛提供网站地图文件

C. 以上都对

提问人：网友zhanwq 发布时间：2022-01-06

参考答案

查看官方参考答案

如搜索结果不匹配，请联系老师获取答案

网友答案

查看全部（）

· 有4位网友选择 B，占比44.44%
· 有3位网友选择 A，占比33.33%
· 有2位网友选择 C，占比22.22%

ABC

提交我的答案

登录提交答案，可赢取奖励机会。

您可能会需要：

重置密码查看订单联系客服

安装简答题APP，拍照搜题省时又省心！

更多“robots.txt的作用是（）。”相关的问题

第1题

【填空题】Robots.txt文件的作用是禁止搜索引擎抓取网站中某些内容，存放位置是（）。

点击查看答案

第2题

robots.txt不支持的代码为()

A.Allow

B.Disallow

C.Crawl-delay

D.noindex

点击查看答案

第3题

robots.txt不支持的代码为（)。

A.Allow

B.Disallow

C.Crawl-dela

D.noindex

点击查看答案

第4题

什么是robots.txt？

点击查看答案

第5题

robots.txt支持的代码为（）。

A.Allow

B. Disallow

C. sitemap

D. nofollow

点击查看答案

第6题

下列选项中，关于robots.txt文件的说法正确的是（）

A.robots.txt文件存放于空间根目录下

B.robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件

C.如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面

D.robots.txt文件只需要存放在空间任意位置就行

点击查看答案

第7题

robots.txt不支持的代码为（）

A.llow

B.Disallow

C.rawl-delay

D.noindex

点击查看答案

第8题

在为禁止搜索引擎抓取网页设计的Robots.txt文件中，（）指令标示禁止抓取。

点击查看答案

第9题

robots机器人协议一般是写在哪个文件里的（）

A.wwwroot文件夹

B.robots.txt

C.robots.html

D.robots.asp

点击查看答案

第10题

你怎样使用robots.txt？

点击查看答案

警告：系统检测到您的账号存在安全风险

为了保护您的账号安全，请在“简答题”公众号进行验证，点击“官网服务”-“账号验证”后输入验证码“”完成验证，验证成功后方可继续查看答案！

微信搜一搜

简答题

点击打开微信

警告：系统检测到您的账号存在安全风险

抱歉，您的账号因涉嫌违反简答题购买须知被冻结。您可在“简答题”微信公众号中的“官网服务”-“账号解封申请”申请解封，或联系客服。

微信搜一搜

简答题

点击打开微信