超大数据快速导入MySQL
----千万级数据只需几十分钟本地测试方法1.首先需要修改本地mysql的编码和路径，找到my.ini。2.在里面添加或修改 character-set-server=utf8 collation-server=utf8_general_ci default-storage-engine=INNODB （最低部添加）secure_file_priv="C:\Users\Administrator\Desktop\ye（xlsx表格所在父路径）"3.将需要的xlsx表格转换成csv格式保存4.将csv格式用记事本打开，另存为编码为utf-8的csv格式5.在mysql数据库里，如果某些字段涉及到html代码，需将这些字段的字段类型修改logtext。6.在打开mysql命令行时，先建议添加一个自增ID列,方便统计记录数。7.打开mysql命令行输入:show databases;回车use tablename(表名)回车mysql>LOAD DATA INFILE "C:\\Users\\Administrator\\Desktop\\ye\\product.csv"（xlsx表格所在路径） -> into table p1_product_description（需要传入的表名） -> fields terminated by '&&'（字段分割符） -> lines terminated by '\n'（换行符） -> ignore 1 lines -> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword);（字段名）
线上服务器方法（需要putty.exe软件）1.将在本地测试修改好的csv格式文件上传到网站根目录下面2.在mysql数据库里，如果某些字段涉及到html代码，需将这些字段的字段类型修改logtext。6.在打开mysql命令行时，先建议添加一个自增ID列,方便统计记录数。7.打开mysql命令行输入:数据库远程登陆密码 回车登陆数据库命令行mysql -h localhost -u root -p 回车输入mysql数据库密码 回车show databases;回车use tablename(表名)回车mysql> LOAD DATA LOCAL INFILE '/www/web/1hydraulicpump/public_html/product2.csv（csv所在路径）' -> into table h1_product_description（需要传入的表名） -> fields terminated by '&&（字段分割符）' -> lines terminated by '\n（换行符）' -> ignore 1 lines -> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword)（字段名）;
转载于:https://www.cnblogs.com/sqyambition/p/9860072.html
相关资源：JAVA上百实例源码以及开源项目