Python爬虫是什么？

Python爬虫是什么？

为自动森早迅提取网页的程序，它为搜索引擎从万维网上下载网页。

网络爬虫为一个自动提取网页的程序，它为搜索360问答引擎从万维网上下载网页，是搜索引擎的重要组成许呢风突承控兰。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

将根据一定的依此读都地破司矛搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某此此一条件时停睁冲止。另外，所有被爬虫抓取的出活纪祖供网页将会被系统存节土杨味南显军贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

扩展资料：

网不父布见配络爬虫的相关要求规积分费定：

1、由Python标准库提供了系统管理、网络通信、文本增据处理、数据库接口移称跳终命项静站定、图形系统、XML处理等额外的功能。

2、按照网稳庆页内容目录层次深浅来爬行页加游皮根面，处于较浅目录层次的页面首先被爬行。当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 

3、文本处响段办理，包含文本格式化、正生热总酸线纪既卷则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能。

参考资料来源：百度百科-网络爬虫