网络爬虫（又称网络蜘蛛、网络机器人，在FOAF社区中，更常被称为网络追踪器）是一种程序或脚本，它根据一定的规则自动获取万维网的信息。其他不常见的名称包括蚂蚁、自动索引、模拟器或蠕虫。

这些过程称为网络爬行或蜘蛛爬行。许多网站，特别是搜索引擎，使用爬虫来提供新的数据。它主要用于提供它访问过的页面的副本。然后，搜索引擎可以索引页面以提供快速访问。蜘蛛还可以在web上用于自动执行某些任务，例如检查链接、确认HTML代码，或者获取web页面上的某些类型的信息，例如电子邮件地址（通常用于垃圾邮件）。

蜘蛛网是一种机器人或软件代理。一般来说，它从一组要访问的URL链接开始，这些链接可以称为seeds。爬虫程序访问这些链接，识别这些页面的所有超链接，然后将它们添加到URL列表中，该列表可以称为搜索前端。根据某些策略重复访问这些url。

网络爬虫是一个自动提取网页的程序。它从万维网上下载搜索引擎的网页。它是搜索引擎的重要组成部分。传统的爬虫程序从一个或多个初始网页的URL开始获取初始网页上的URL。在抓取网页的过程中，不断从当前网页中提取新的url并放入队列，直到满足系统的某些停止条件，如流程图所示。聚焦爬虫的工作流程比较复杂，因此需要根据特定的网页分析算法对与主题无关的链接进行过滤，保留有用的链接，并将其放入等待抓取的URL队列中。然后，按照一定的搜索策略从队列中选择下一个web页面URL，重复上述过程，直到达到系统的一定条件。此外，所有被爬网的网页将被存储在系统中，进行分析、筛选和索引，以便以后查询和检索；对于聚焦爬网者，在这个过程中获得的分析结果也可以为以后的捕获过程提供反馈和指导。

与一般的网络爬虫相比，焦点爬虫需要解决三个主要问题：

捕获目标的描述和定义是网页分析算法和URL搜索策略制定的基础。网页分析算法和候选URL排序算法是决定搜索引擎提供的服务形式和爬虫行为的关键。这两部分的算法是密切相关的。

GDCA一直致力于提供全球数字证书认证服务，以“建立网络信任体系，服务现代数字生活”为宗旨。其自主品牌trustauth SSL证书系列，为参与互联网的企业创造了更加安全的生态环境和更加可信的企业网站形象。