即时焦点：快速上手kettle(二)小试牛刀

2023-05-29 08:30:18 来源：博客园

目录一、前言二、两个小目标三、 kettle核心概念介绍3.1 转换3.1.1 步骤(Step)3.1.2 跳（Hop）3.1.3 元素据3.1.4 数据类型3.1.5 并发执行3.2 作业四、实践操作4.1 案例1 将csv文件转换成excel文件4.1.1 在kettle中新建一个转换4.1.2选择输入控件并设置4.1.3 选择输出控件并设置4.1.4 按住shift通过跳将输入输出两步骤连接起来4.1.5 点击启动按钮执行转换4.1.6查看日志,并检查是否成功4.2 案列2 将excel文件导入MySQL数据库4.2.1和上面步骤一样我们需要新建一个转换4.2.2 新建数据库连接4.2.3 拖入Excel输入控件并设置4.2.4 拖入表输出控件并设置4.2.5 点击启动按钮进行转换4.2.6 查看日志并检查MySQL数据表中是否有数据一、前言

上一期中大概介绍了下kettle，并已经把kettle下载安装完了。

这一期我们就来简单体验下kettle怎么进行数据转换的。

二、两个小目标

我们这里呢就以两个小案例来体验下kettle

(资料图)

将csv文件通过kettle转换成excel文件将excel文件通过kettle写入到数据库表中三、 kettle核心概念介绍

kettle 被称为可视化编程语言，可以完成复杂的etl工作流。kettle里的代码就是转换和作业。

所以呢，我们首先就来说说转换和作业。

3.1 转换

从下面截图中，我们看到转换包含了很多核心对象，说明其包含了很多功能。后面有得我们学的了(开个玩笑）

--转换包含元素	--转换核心对象

转换（transaformation）负责数据的输入、转换、校验和输出等，kettle中转换完成了ETL的全部工作

转换由多个步骤(Step) 组成。包含各种文件格式的数据输入/输出（如csv文件输入、sql文件输出、sql脚本执行、各种查询等等）

如果各个步骤之间需要数据库操作，我们就需要建立DB连接

各个步骤之间使用跳（Hops）来连接。我们可以将跳理解为一条道路，数据有一个步骤（驿站）通过跳（道路）流向下一步骤（驿站）

kettle中最小的数据单元是行

3.1.1 步骤(Step)

步骤是转换里的基本组成部分，上面截图中包含了两个步骤①CSV文件输入②Excel输出

每个步骤都会涉及到读、写数据行

步骤将数据写到与之相连的一个或多个输出跳（hop），再传送到跳的另一端的步骤

大多数的步骤都可以有多个输出跳。一个步骤的数据发送可以被设置为分发和复制

3.1.2 跳（Hop）

跳是两个步骤(驿站)之间的道路(带箭头的连线)

跳是两个步骤之间的数据行缓存

当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。

当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行

可以通过如下方式查看和修改行缓存大小

①右键转换-->设置	② 选择"杂项"tab页

3.1.3 元素据

每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据

通常包含下面一些信息。

①名称：数据行里的字段名是唯一的。

②数据类型：字段的数据类型。

③格式：数据显示的方式，如Integer的#、0.00。

④长度：字符串的长度或者BigNumber类型的长度。

⑤精度：BigNumber数据类型的十进制精度。

⑥货币符号：￥

⑦小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（.）或逗号（，）。

⑧分组符号：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是点（.）或逗号（，）或单引号（’）

这里的输入文件十csv格式数据,所以分组符号是逗号","

3.1.4 数据类型

数据以数据行(可以理解为一个表格中的一行) 的形式沿着步骤移动,每个数据行又有多个字段元素(可以理解为一个单元格)构成

就像在excel中,每个单元格都可以设置数据格式一样,这里数据行中的字段也有自己的数据类型.

常见的数据类型有以下几种

--数据类型	--说明
`String`	字符类型数据
`Number`	双精度浮点数
`Integer`	带符号长整型（64位）
`BigNumber`	任意精度数据
`Date`	带毫秒精度的日期时间值
`Boolean`	取值为true和false的布尔值类型
`Binary`	二进制字段可以包含图像、声音、视频及其他类型的二进制数据

3.1.5 并发执行

我们经常需要处理大量的数据,所以设计了跳这样的行集缓存规则,使得每个步骤就是一个独立线程.所有步骤都以并发方式执行.
当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输出跳.
直到输入跳里不再有数据，就中止步骤的运行。
当所有的步骤都中止了，整个转换就中止了

如果想要一个任务沿着指定的顺序执行，那么就要使用下面所讲的“作业”来做流程控制

3.2 作业