Python爬取数据存入MySQL的方法是什么-编程学习网

这篇文章将为大家详细讲解有关Python爬取数据存入MySQL的方法是什么，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Python 爬取数据并存储到 MySQL

引言

在数据分析和挖掘领域，从各种在线资源中提取和存储数据至关重要。Python 因其出色的网络爬取和数据库连接能力而成为此类任务的理想选择。本文介绍了使用 Python 爬取数据并将数据存储到 MySQL 数据库的综合方法。

爬取数据

1. 网页分析:

使用 BeautifulSoup 或 Scrapy 等库分析网页结构，识别目标数据所在的元素。

2. 数据提取:

从网页元素中提取所需数据，如文本、数字、链接等。

3. 数据清理:

对提取的数据进行清理，删除不必要的字符或空格，并转换为所需格式。

与 MySQL 连接

1. 导入 MySQLdb 库:

import MySQLdb

2. 创建数据库连接:

conn = MySQLdb.connect(host="localhost", user="username", password="password", db="database_name")

3. 创建游标:

游标允许执行 SQL 命令和检索结果。

cursor = conn.cursor()

将数据存储到 MySQL

1. 准备 SQL 查询:

准备一个 INSERT 语句以将数据插入到指定的表中。

query = "INSERT INTO table_name (column1, column2, ...) VALUES (%s, %s, ...)"

2. 绑定数据:

将提取的 Python 数据绑定到 SQL 查询中占位符。

data = (value1, value2, ...)
cursor.execute(query, data)

3. 提交更改:

将更改提交到数据库，以永久存储数据。

conn.commit()

4. 关闭连接:

使用完成后关闭数据库连接。

cursor.close()
conn.close()

示例代码

以下示例代码演示了使用 Python 从网页中爬取数据并将数据存储到 MySQL 表中的过程：

import requests
from bs4 import BeautifulSoup
import MySQLdb

# 爬取网页
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

# 提取数据
data_list = []
for element in soup.find_all("div", class_="data-container"):
    name = element.find("p", class_="name").text
    price = element.find("span", class_="price").text
    data_list.append((name, price))

# 与 MySQL 连接
conn = MySQLdb.connect(host="localhost", user="username", password="password", db="database_name")
cursor = conn.cursor()

# 准备 SQL 查询
query = "INSERT INTO products (name, price) VALUES (%s, %s)"

# 绑定数据并执行查询
for data in data_list:
    cursor.execute(query, data)

# 提交更改并关闭连接
conn.commit()
cursor.close()
conn.close()

优点