题目内容
(请给出正确答案)
[单选题]
在为禁止搜索引擎抓取网页设计的Robots.txt文件中,哪些指令标示禁止抓取?()
A.Allow
B.Disallow
C.nofollow
D.noindex
提问人:网友yanweiwei55
发布时间:2022-01-06
A.Allow
B.Disallow
C.nofollow
D.noindex
搜索引擎派出的一个能够在网上发现新网页并抓取文件的程序被称为蜘蛛 (spider)或机器人(robot)。()
A、通过模式匹配方法,禁止掉具有某些特征的访问请求,可以通过 LocationMatch来配置
B、在cgi-bin目录,建立欺骗性脚本,当Whisker扫描到这些脚本时,这些脚本被执行。在这些脚本里通过定义一些功能,比如报警功能,可以发邮 件告知管理员发生了cgi扫描
C、robots.txt文件是帮助google、baidu等搜索引擎抓取网页用的用的, 扫描软件没有利用这种技术
D、以上说法均不正确
为了保护您的账号安全,请在“简答题”公众号进行验证,点击“官网服务”-“账号验证”后输入验证码“”完成验证,验证成功后方可继续查看答案!