flink-demo

flink

Mac 下安装 flink

$ brew install apache-flink $ flink --version $ brew info apache-flink /usr/local/Cellar/apache-flink/1.5.0 (116 files, 324MB) * $ ./libexec/bin/start-cluster.sh 接着就可以进入web页面(http://localhost:8081/)

运行demo

flink 结合 kafka

要在 flink 上跑 jar 包前，需要启动 kafka

启动kafka bin/kafka-server-start.sh config/server.properties

启动kafka 之前要启动 zookeeper

./zkServer start

kafka 创建 topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic wiki-results

Mac 下可以使用 brew info xxx 查看 使用 brew install 安装的包的信息

还有一个注意点：

打成 jar 包，使用 flink 运行，报错 ClassNotDefFoundException

是因为 maven 打包时，没有将依赖的包打进去。

修改 pom.xml

<build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <appendAssemblyId>false</appendAssemblyId> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> <archive> <manifest> <!-- 此处指定main方法入口的class --> <mainClass>com.beng.app.WikipediaAnalysis</mainClass> </manifest> </archive> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>assembly</goal> </goals> </execution> </executions> </plugin> </plugins> </build> 运行 flink ./flink run -c com.beng.app.WikipediaAnalysis /Users/apple/flink/flink-demo-0.0.1-SNAPSHOT.jar

查看 kafka 消费：

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic wiki-result

demo 地址：https://github.com/abinbao/flink-demo