python爬虫实例源码

Python作为一种广泛使用的编程语言，因其简洁和强大的库支持，成为编写爬虫的首选语言之一。爬虫是一种自动获取网页内容的程序，它可以从互联网上抓取大量信息，用于数据分析、信息抽取、数据存储等目的。下面是一个简单的Python爬虫实例，用于抓取一个网页的标题和链接。

首先，我们需要安装一些Python的库，如requests用于发送HTTP请求，BeautifulSoup用于解析HTML文档。

pip install requests beautifulsoup4

接下来是编写爬虫的代码：

import requests
from bs4 import BeautifulSoup

# 目标网页URL
url = 'http://example.com'

# 发送HTTP请求
response = requests.get(url)

# 确保请求成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML文档
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页标题
    title = soup.title.string if soup.title else 'No title found'
    print(f'网页标题: {title}')
    
    # 提取所有链接
    links = soup.find_all('a')
    
    # 打印所有链接的href属性
    for link in links:
        href = link.get('href')
        if href:
            print(f'链接: {href}')
else:
    print('请求网页失败，状态码:', response.status_code)

这段代码首先尝试访问指定的URL，并检查HTTP响应状态码以确认请求是否成功。如果成功，它将使用BeautifulSoup解析网页内容，提取并打印出网页的标题和所有链接的href属性。

需要注意的是，编写爬虫时应遵守目标网站的robots.txt文件规定，这是网站所有者提供的爬虫协议，告知爬虫哪些内容可以抓取，哪些不可以。此外，为了避免给网站服务器造成过大压力，应当适当控制请求频率。

爬虫技术在数据采集、网络信息监控、市场分析等领域有着广泛的应用。然而，不当使用爬虫技术可能会违反法律法规或侵犯他人权益，因此在编写和使用爬虫时，应当谨慎行事，确保合法合规。