使用 Python 进行网络抓取指南（简单易学）

在这本关于使用 Python 进行网络抓取的指南中，我将带你了解网络抓取的基本要素，并逐步向你展示如何从网站中提取数据。

有哪些不同的 Python 网络抓取库？

Python 是网络搜刮的首选，因为它有许多库可以处理复杂的 HTML、解析文本并与网络表单交互。在此，我将重点介绍一些最常用的用于网络搜刮的 Python 库，并解释每个库如何在你的数据收集项目中发挥作用。

Urllib3 是一个强大的 Python HTTP 客户端。它简化了 HTTP 请求的过程。该库可处理许多常规任务，如管理 HTTP 标头、重试、重定向等，这对网络搜索非常有帮助。它支持 SSL 验证、连接池和代理管理等基本功能。

BeautifulSoup 是另一个非常适合解析 HTML 和 XML 文档的基本库。它提供了一个简单的应用程序接口，可快速筛选文档结构，提取标签、元标题和文本等元素。它以强大的错误处理能力而著称，这使得处理杂乱的网络数据变得更加容易。

机械汤 在网页浏览器和 Python 之间架起了一座桥梁。它提供了一个高级 API，可以模拟人类与网页的交互。您可以完全自然地填写表格、点击按钮和浏览网站。这使得 MechanicalSoup 非常适合需要像用户一样与网站进行交互的项目。

Requests 以其在 HTTP 请求中的简单性和强大功能而闻名。其简单明了的 API 可让你轻松发送请求、管理 cookie、处理身份验证等。这使它成为网络搜索领域初学者和经验丰富的程序员的最爱。

Selenium 对于实现 Chrome、Firefox 和 Safari 网页浏览器的自动化而言，是一款不可多得的工具。它允许你执行点击按钮、填写表格和滚动页面等任务，完美模拟真实用户的交互。

Pandas 是处理数据的绝佳工具。它支持 CSV、Excel、JSON 和 SQL 数据库等各种数据格式。Pandas 可帮助清理、转换和分析数据，将原始数据转化为有洞察力的信息。

这些库使 Python 成为网络刮擦的强大工具，有助于自动化和简化网络数据的收集和处理。

如何使用 Python 从网站上抓取数据？

下面是一份简单易学的指南，介绍如何使用 Python 进行网络刮擦。如果您有任何问题或建议，请在下方评论。

步骤 1：选择网站

首先，选择要搜索的网站。在本例中，我们将使用 https://www.goodreads.com/list/show/1.Best_Books_Ever 收集有关 "史上最佳图书 "的信息。

步骤 2：了解网站结构

接下来，您需要检查网站的布局。为此，右键单击页面并选择 "检查 "来查看 HTML 代码。使用 "检查器 "工具来确定您的刮擦代码所需的元素名称。

注意这些元素的类名和 ID，因为它们将在 Python 代码中使用。

第 3 步：安装基本库

为了高效地刮擦网站，我们将使用特定的 Python 库：

请求：这些是 用于向网站发送 HTTP 请求。

美丽汤 用于解析 HTML 代码和提取数据。

熊猫 用于将搜刮到的数据整理成结构化格式。

时间 以增加请求之间的延迟时间，避免网站超负荷运行。

您可以使用命令安装这些库：

pip install requests beautifulsoup4 pandas

步骤 4：创建 Python 代码

现在，让我们开始编写用于刮擦的 Python 代码。这段代码将

• 使用请求库发送 HTTP GET 请求。
• 使用 BeautifulSoup 解析 HTML 代码。
• 从 HTML 中提取所需的数据。
• 将提取的信息存储在 pandas 数据帧中。
• 在请求之间实施延迟，以防止网站超载。

下面是从 Goodreads 搜索图书推荐的 Python 代码：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
# URL of the website to scrape
url = "https://www.goodreads.com/list/show/1.Best_Books_Ever"
# Send an HTTP GET request to the website
response = requests.get(url)
# Parse the HTML code using BeautifulSoup
soup = BeautifulSoup(response.content、 html.parser)
# Extract the relevant information from the HTML code
books = []
for item in soup.find_all(tr, itemtype='http://schema.org/Book'):
title = item.find('a', class_='bookTitle').get_text().strip()
author = item.find('a', class_='authorName').get_text().strip()
rating = item.find('span', class_='minirating').text.strip().split()[1]
books.append([title, author, rating])
# Store the information in a pandas dataframe
df = pd.DataFrame(books, columns=[)'Title', 'Author', 'Rating'])
# Add a delay between requests to avoid overwhelming the website
time.sleep(1)
# Export the data to a CSV file
df.to_csv('book_recommendations.csv', index=False)

步骤 5：导出提取的数据

接下来，我们将使用 pandas 库将抓取数据导出为 CSV 文件。

# Export the data to a CSV file
df.to_csv(top-rated-movies.csv, index=False)

步骤 6：验证数据

将数据导出为 CSV 文件后，打开该文件以确保刮擦过程成功且信息已正确存储。

本教程将简化从网页中提取数据的过程。

如何解析网站文本？

使用 BeautifulSoup 或 lxml 解析网站文本非常简单。工作原理如下

1. 发送 HTTP 请求： 使用请求库获取 Goodreads 网页的 HTML 内容。
2. 找到相关的 HTML 标记： 使用 BeautifulSoup 的 find() 方法识别包含书名、作者和评分的特定 HTML 标记。
3. 提取文本内容： 访问文本属性，从 HTML 标记中获取所需的信息。

下面是一个简单的代码示例，演示如何使用 BeautifulSoup 解析网站上的文本：

import requests
from bs4 import BeautifulSoup
# Send an HTTP request to the Goodreads webpage
response = requests.get("https://www.goodreads.com/list/show/1.Best_Books_Ever")
# Parse the HTML content using BeautifulSoup
soup = BeautifulSoup(response.content、 "html.parser")
# Extract book titles, authors, and ratings
for item in soup.find_all(tr, itemtype='http://schema.org/Book'):
title = item.find('a', class_='bookTitle').get_text().strip()
author = item.find('a', class_='authorName').get_text().strip()
rating = item.find('span', class_='minirating').text.strip().split()[1]
print(title, author, rating)

如何使用 Python 抓取 HTML 表单？

要使用 Python 来抓取 HTML 表单，有几种方法可供选择，如 BeautifulSoup、lxml 或 mechanize。以下是一般步骤的细分：

1. 向包含要搜刮表单的网页 URL 发送 HTTP 请求。这将获取网页的 HTML 内容。
2. 使用 HTML 解析器在 HTML 结构中查找特定表单。例如，您可以使用 BeautifulSoup 的 find() 方法来查找表单标记。
3. 找到表单后，使用 HTML 解析器提取输入字段及其相关值。例如，您可以使用 BeautifulSoup 的 find_all() 方法找到表单中的所有输入标记，并检索它们的名称和值属性。
4. 有了这些数据，您就可以提交表格或根据需要进行其他数据处理。

下面是一个简单的示例，演示如何使用 Python 抓取 HTML 表单：

import requests
from bs4 import BeautifulSoup
# Send an HTTP request to the webpage containing the form
response = requests.get("https://www.goodreads.com/form")
# Parse the HTML content using BeautifulSoup
soup = BeautifulSoup(response.content、 "html.parser")
# Find the form tag
form = soup.find('form')
# Extract input fields and their values
for input_field in form.find_all('input'):
print(input_field['name'], input_field.get('value', ''))

所有 Python 网络抓取库的比较

在比较 Python 网络抓取库时，需要注意的是每个库都有强大的社区支持。不过，它们在用户友好性和对不同任务的适用性方面各不相同。

最后的话

Python 为即时搜索网站数据提供了绝佳的解决方案。Python 有很多很棒的库，如 BeautifulSoup 和 requests，它们能让搜刮变得简单。即使是初学者也很容易上手。无论我是搜索一个页面还是一堆页面，Python 都能帮我搞定。如果我遇到困难，还有一个大社区可以提供帮助。有了 Python，我可以轻松处理任何抓取工作。那为什么还要选择其他语言呢？Python 让网页搜索变得轻而易举！