文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何使用python实现简单爬取网页数据并导入MySQL中的数据库

2023-10-18 17:16

关注

前言:要使用 Python 爬取网页数据并将数据导入 MySQL 数据库,您需要使用 Requests 库进行网页抓取,使用 BeautifulSoup 库对抓取到的 HTML 进行解析,并使用 PyMySQL 库与 MySQL 进行交互。

以下是一个简单的示例:
1.  安装所需库:

```

pip install requests beautifulsoup4 pymysql


```
2.  导入所需库:

```

import requestsfrom bs4 import BeautifulSoupimport pymysql


```
3.  建立数据库连接:

```

db = pymysql.connect(    host='localhost',    user='root',    password='password',    db='mydatabase')


```
这里我们假设您已经在本地搭建了 MySQL 数据库,并创建了一个名为 `mydatabase` 的数据库。您需要根据实际情况修改主机、用户名、密码和数据库名。

 使用 Requests 库抓取网页:

```

url = 'http://www.example.com'response = requests.get(url)html = response.text


```
5.  使用 BeautifulSoup 库解析 HTML:

```

soup = BeautifulSoup(html, 'html.parser')data = soup.find_all('a')


```
6.  使用 PyMySQL 库将数据导入数据库:

```

cursor = db.cursor()for item in data:    title = item.string    url = item.get('href')    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"    cursor.execute(sql)db.commit()


```
这里我们使用了 PyMySQL 库的 `cursor` 方法创建游标,然后遍历解析后的数据,并使用 SQL 语句将数据插入到数据库表中。

完整的示例代码如下:

```

import requestsfrom bs4 import BeautifulSoupimport pymysql# 建立数据库连接db = pymysql.connect(    host='localhost',    user='root',    password='password',    db='mydatabase')# 抓取网页url = 'http://www.example.com'response = requests.get(url)html = response.text# 解析 HTMLsoup = BeautifulSoup(html, 'html.parser')data = soup.find_all('a')# 将数据导入数据库cursor = db.cursor()for item in data:    title = item.string    url = item.get('href')    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"    cursor.execute(sql)db.commit()# 关闭数据库连接db.close()

```
注意,这里示例代码仅为演示使用,并未对 SQL 注入攻击进行防范,请勿直接在生产环境中使用。同时,您也需要根据实际情况修改表名、字段名和 SQL 语句等内容。

这只是单纯的思路,仅供参考。
 

来源地址:https://blog.csdn.net/a871923942/article/details/129881981

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯