文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

千万行csv大文件快速导入mysql

2023-09-22 19:38

关注

最近尝试csv文件导入,因为之前太菜就用普通图形窗口导入,但是速度很慢,于是做了总结:

目前我这里一共两种方法:

1.窗口 mysql  workbench导入 (适用范围:对数据库不了,要导入的csv文件比较小,不超过1万行适用)【速度慢】

2.命令式导入      (适用范围:对数据库命令了解,要导入百万行大数据)【速度快】

一.图形化

图形化界面,找到电脑左下角的开始,找到wokbench 这个可视化软件,没有的是当初安装mysql没有下载他的可视化捆绑程序,自己可以百度解决。

 运行程序后,进入root

 在下图空白处右键,Create schema建立新的数据库

 然后找到刚刚建立的数据库左侧角标点击展开,在Table上鼠标右键,选择Table Data Import Wizard.

 选择csv文件路径,然后点击next

 然后下个页面以为我们没有创建表,所以他的默认选项是帮我们创建一个表,大家可以直接点击next

 然后再次点击next,他会帮我们选择列的类型,你也可以自己选,下方是预览情况

 继续点击next,再点击next完工,你会发现你创建的数据库表下已经有表了,记得手动刷新一下左侧列表,表才会出现。

 博主在导入时候,数据太多,导入过慢受不了了,于是使用了命令式导入。

二.命令式导入

测试100万行数据只用了13秒,首先在windows开始菜单栏找到mysql  8.0 Command Line Client

 点击进入会让输入密码,密码输错就会直接闪退,我就是这样,最后不得不卸载重新安装了mysql

然后开始输入命令

 首先输入

show variables like '%secure%';

然后回车,如果出现secure_file_priv=' ',恭喜你可以直接进行下一步,

如果里面出现了不为空,比如某些路径我的是在C:/Program Data/MySQL Server 8.0/Uploads/   注意这里的Program Data是隐藏文件夹,需要点击上方的查看隐藏文件夹才能看到,大家需要到mysql安装目录下修改my.ini文件,位置在下图,可以到桌面上创建修改好后,再拖拽过来。

注意:如果没有找到my.ini文件,这个文件大概率在上面输入的某些路径里面(橙色字体指代一个东西),可以顺着某些路径找到位置,我的就是这样,

my.ini添加文件内容如下:

secure_file_priv=''

 接下来重启一下mysql就行了。

回到刚刚的命令窗口

show variables like 'local_infile';

结果为off,需要改成on.

set global local_infile=on;

然后你需要对着这你的csv文件,在数据库里面新建个库database,然后在Table鼠标右键在里面create一张新表,我个人建议上面图形化方法让mysql帮你鉴定每一列的类型再对比创建表,不然后面导入一直报错。可能我对类型了解的不够深入。

接下来就是开始导入命令,这里有个建议,建议csv文件放到上面橙色某些路径的文件夹下,可以减少一些不必要的麻烦。

show databases;

查看所有的数据库

use 某某数据库;

选择数据库,下面换成你自己的csv文件地址

load data infile 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/1.csv' #换成自己地址into table ship_info #换成你自己表名fields terminated by','optionally enclosed by '"' escaped by '"'lines terminated by '\r\n';

回车大功告成,你就可以回去刷新一下,看看有没有出现表。成功图如下。

来源地址:https://blog.csdn.net/qq_43644046/article/details/128934336

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯