Flink 安装和部署

Qzai 收录于 Flink

2024-11-25 约 525 字预计阅读 2 分钟

Flink支持多种安装模式

local（本地）：单机模式，一般本地开发调试使用
StandAlone 独立模式：Flink自带集群，自己管理资源调度，生产环境也会有所应用
Yarn模式：计算资源统一由Hadoop YARN管理，生产环境应用较多

第 1 节环境准备工作

1.1 基础环境

jdk1.8及以上【配置JAVA_HOME环境变量】
ssh免密码登录【集群内节点之间免密登录】

1.2 安装包下载

使用Flink1.7.2版本： https://archive.apache.org/dist/flink/flink-1.7.2/

1.3 集群规划

node1	node2	node3
JobManager+TaskManager	TaskManager	TaskManager

1.4 StandAlone模式部署

Step1、Flink安装包上传到node1对应目录并解压

Step2、修改 flink/conf/flink-conf.yaml 文件

        
 jobmanager.rpc.address: node1
 taskmanager.numberOfTaskSlots: 2

Step3、修改 /conf/slave文件

node1
node2
node3

Step4、standalone模式启动

bin目录下执行./start-cluster.sh

Step5、jps进程查看核实

        
TaskManagerRunner
StandaloneSessionClusterEntrypoint
Jps

Step6、查看Flink的web页面 ip:8081/#/overview

Step7、集群模式下运行example测试

./flink run ../examples/streaming/WordCount.jar

注意：集群搭建完毕后，Flink程序就可以达成Jar，在集群环境下类似于Step7中一样提交执行计算任务

打jar包插件：

        
        
        
    
<build>
        <plugins>
            <!-- 打jar插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>

1.5 Yarn模式部署

省略。。。。。。。。。。。。。。。以后再研究

目录