ETL工具KETTLE表输入表输出提速5-10倍

mac2025-04-09  11

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/LSY__/article/details/93587917 1、数据库操作:

因为是大批量数据迁移,主要影响抽取速度的是表输出,因此目标数据库要重新启动下,保证目标数据库性能最好,暂时没有其它进程写入数据。

2、表输入jdbc连接操作:

(1)jdbc连接地址配置参数:

?autoReconnect=true&failOverReadOnly=false&connectTimeout=0&socketTimeout=0&allowMultiQueries=true&maxReconnects=100&zeroDateTimeBehavior=convertToNull

(2)增加读速度配置参数:

defaultFetchSize:10000   useServerPrepStmts:true   useCursorFetch:true   cachePrepStmts:true

3、表输出jdbc连接操作:

(1)jdbc连接地址配置参数:

autoReconnect=true&failOverReadOnly=false&connectTimeout=0&socketTimeout=0&allowMultiQueries=true&maxReconnects=100&zeroDateTimeBehavior=convertToNull

(2)增加批量写速度配置:

defaultFetchSize:5000   rewriteBatchedStatements:true   useServerPrepStmts:false   useCursorFetch:true   useCompression:true

4、Kettle作业操作:

将kettle转换中:记录集合里的记录数调大,这个与内存大小有关,本人10g内存,使用50000条,此配置相对越大越好:

5、操作结果:

通过以上配置,开始速度可以提高10倍左右,后续会降速,最终保持在提速5倍左右。本人体验,感觉很好。 ———————————————— 版权声明:本文为博主「LSY_csdn_」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/LSY__/article/details/93587917

最新回复(0)