Kettle 作业步骤循环执行的实现

mac2024-03-09  90

Kettle实现Transformation 循环及跳出

 

在ETL操作中,经常需要对某个操作进行循环调用,可是使用Kettle工具时,并没有循环的组件可以调用,但在Job中引用Transformation时,可通过设置Transformation 的高级属性(”执行每一个输入行”)来实现Transformation 的循环,而在Transformation执行过程中,可根据条件设置跳出循环,或者略过本次操作,进入下一次循环。

 

循环配置步骤如下:

说明:

本例中将涉及两个Transformation 和一个Job。

Get FileNames【Transformation 】:通过此Transformation 获取固定目录下(D:\test)的sql文件全路径名称

Output FileNames【Transformation 】:通过此Transformation 将上一步骤获得的每个sql文件名写入files_output.txt文本。

Output FileNames_Loop【Job】:此Job调用Get FileNames和Output FileNames,实现Output FileNames的循环调用。

 

先设置循环的For loop点。

Get FileNames的配置如下图,注意通配符设置:

 

 

设置循环的操作主体

先引用上一步的结果记录,引用的是filename这个全路径文件名

 

 

对于Modified Java Script Value这个步骤,设置的是当文件名大于”D:\test\dm.sql“时,是跳出循环,还是略过本次,进入下一次循环。

Modified Java Script Value配置的脚本如下:

trans_Status = CONTINUE_TRANSFORMATION;

//调试

//Alert(filename.getString());

//注意“\”需要加转义符“\”

if(filename.getString().compareTo(“D:\\test\\dm.sql”)>0) {

//条件满足时,跳出循环

    trans_Status = ERROR_TRANSFORMATION;

}

 

如果要设置为满足条件时,略过本次而进入下一次循环,可修改红色字体部分为SKIP_TRANSFORMATION

 

文件输出的配置如下:

 

 

两个Transformation 完成后,新建一个Job:Output FileNames_Loop:

 

注意Output FileNames【Transformation 】的高级属性中,勾上”执行每一个输入行”。

 

保存后,执行进行调试即可。

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/10009036/viewspace-1063937/,如需转载,请注明出处,否则将追究法律责任。

最新回复(0)