题目内容
（请给出正确答案）
[单选题]
下面关于网络爬虫的描述正确的是（)。
A.网络爬虫由控制节点、爬虫节点和资源库构成
B.网络爬虫中可以有多个控制节点，每个控制节点下可以有多个爬虫节点
C.控制节点之间可以互相通信，控制节点和其下的各爬虫节点之间也可以进行互相通信
D.属于同一个控制节点下的各爬虫节点间不可以互相通信
提问人：网友孙青青
发布时间：2022-01-07
如搜索结果不匹配，请 
A、局部PageRank策略
B、广度优先
C、深度优先
D、OPIC
题目内容
（请给出正确答案）
您可能会需要：
安装简答题APP，拍照搜题省时又省心！
更多“下面关于网络爬虫的描述正确的是()。”相关的问题
第2题
下列关于网络爬虫的说法中，不正确的是（ ）。
A、网络爬虫广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式
B、爬虫获取数据的方式为模拟浏览器发送请求，然后提取有用的数据，最后存放于数据库或文件中。
C、从功能上来讲，爬虫一般分为数据采集和处理两个部分
D、利用网络爬虫能自动完成数据获取、汇总的工作，大大提升了统计工作的效率。
E、网络爬虫技术在互联网时代具有较大的应用价值
第3题
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
A. "User-agent：*Disallow：/A"
B. "User-agent：Allow：/A"
C. "User-agent：Disallow：/"
D. "User-agent：*Allow：/"
