Python 连接并操作 MySQL 数据库,主要通过 Pymysql 模块实现。这里讲解如何将抓取的数据存储至 MySQL 数据库。
创建存储数据表
首先您应该确定您的计算机上已经安装了 MySQL 数据库,然后再进行如下操作:
1 2 3 4 5 6 7 8 9 10 11 12 |
|
Pymysql基本使用
1) 连接数据库
1 |
|
参数说明:
localhost:本地 MySQL 服务端地址,也可以是远程数据库的 IP 地址。
root:连接数据所使用的用户名。
password:连接数据库使用的密码,本机 MySQL 服务端密码“123456”。
db:连接的数据库名称。
2) 创建cursor对象
1 |
|
3) 执行sql命令
execute() 方法用来执行 SQL 语句。如下所示:
1 2 3 4 5 6 |
|
4) 提交数据
1 |
|
5) 关闭数据库
1 2 |
|
完整的代码如下所示:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
查询数据结果,如下所示:
mysql> select * from movieinfo;
+-------------+-------------------+-----------+
| name | star | time |
+-------------+-------------------+-----------+
| 刺杀,小说家 | 雷佳音,杨幂 | 2021-2-12 |
+-------------+-------------------+-----------+
1 rows in set (0.01 sec)
还有一种效率较高的方法,使用 executemany() 可以同时插入多条数据。示例如下:
1 2 3 4 5 6 7 8 9 10 |
|
查询插入结果,如下所示:
mysql> select * from movieinfo;
+-------------+-------------------+------------+
| name | star | time |
+-------------+-------------------+------------+
| 我不是药神 | 徐峥 | 2018-07-05 |
| 你好,李焕英 | 贾玲 | 2021-02-12 |
+-------------+-------------------+------------+
2 rows in set (0.01 sec)
修改爬虫程序
下面修改一下爬虫程序,将抓取下来的数据存储到 MySQL 数据库。如下所示:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 |
|
数据库查询存储结果,如下所示:
mysql> select * from movieinfo;
+----------------+----------------------------------------------------------+------------+
| name | star | time |
+----------------+----------------------------------------------------------+------------+
| 我不是药神 | 徐峥,周一围,王传君 | 2018-07-05 |
| 肖申克的救赎 | 蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿 | 1994-09-10 |
| 绿皮书 | 维果·莫腾森,马赫沙拉·阿里,琳达·卡德里尼 | 2019-03-01 |
| 海上钢琴师 | 蒂姆·罗斯,比尔·努恩,克兰伦斯·威廉姆斯三世 | 2019-11-15 |
| 小偷家族 | 中川雅也,安藤樱,松冈茉优 | 2018-08-03 |
| 霸王别姬 | 张国荣,张丰毅,巩俐 | 1993-07-26 |
| 哪吒之魔童降世 | 吕艳婷,囧森瑟夫,瀚墨 | 2019-07-26 |
| 美丽人生 | 罗伯托·贝尼尼,朱斯蒂诺·杜拉诺,赛尔乔·比尼·布斯特里克 | 2020-01-03 |
| 这个杀手不太冷 | 让·雷诺,加里·奥德曼,娜塔莉·波特曼 | 1994-09-14 |
| 盗梦空间 | 莱昂纳多·迪卡普里奥,渡边谦,约瑟夫·高登-莱维特 | 2010-09-01 |
+----------------+----------------------------------------------------------+------------+
10 rows in set (0.01 sec)
以上就是如何使用 Python Pymysql 进行数据存储?的详细内容
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。