项目管理
功能
StreamPark 的“项目管理”功能简化了 Apache Flink 和 Apache Spark 项目的管理和部署流程。通过集成代码仓库,用户可以自动拉取代码、指定分支,并使用 Maven 自动化构建 Jar 文件。StreamPark 提供了 CI/CD 支持,能够在代码更新时自动触发构建和部署。还可以直接在平台上提交作业并进行实时监控,确保作业的稳定运行。这个功能增强了项目管理的自动化、一致性和安全性,大幅提升了开发和部署效率。
功能介绍
StreamPark 的 "项目管理" 功能简化了 Apache Flink 和 Apache Spark 项目的管理和部署流程。通过集成代码仓库,用户可以自动拉取代码、指定分支,并使用 Maven 自动化构建 Jar 文件。StreamPark 提供了 CI/CD 能力,能够很方便的构建项目,还可以直接在平台上提交作业并进行实时监控,确保作业的稳定运行。这个功能增强了项目管理的自动化、一致性和安全性,提升了开发和部署效率。
项目管理
Apache Flink 和 Apache Spark 都提供了基于 Java 代码来开发作业的编程模式,针对这类作业,需要用户编写好程序,构建打包产生目标 Jar ,最后执行命令行(flink run
或者 spark-submit
) 来提交作业。
在 StreamPark 中提供了项目管理的能力,用户可以把使用 Java Maven 构建的 Apache Flink/Spark 项目轻松地加入到 StreamPark 中进行管理,这样由 StreamPark 来进行项目的打包构建和管理,编译出目标 Jar,后续可以添加作业,进行作业提交和状态监控等。
如何使用
点击 "项目管理",新增一个项目,会进入到项目添加页面,操作如下:
参数说明:
-
Project Name: (必填) 项目名称,不能重复
-
Project Type: (必填) 项目类型,目前只支持 Apache Flink
-
Repository URL:(必填) 项目仓库的 URL,比如项目的 github 地址,或者 gitLab 地址
-
Password: (可选) 如果该项目需要密码才能访问,则需要输入密码
-
Branches: (必填) 项目的分支,会根据 Repository URL 自动解析出可选的分支,用户选择即可
-
Build Argument: (可选) 项目的构建参数 这里的构建参数就是 maven 的标准参数,比如要指定 profile 为 dev,那这里就是 -Pdev,其他参数以此内推。
-
POM: (可选) 需要构建的目标模块的 pom.xml 文件位置,如当前 StreamPark Quickstart 项目目录结构如下:
现在只需要构建
apacheflinksql_demo
模块, 不需要构建其他模块,那么就需要指定apacheflinksql_demo
模块的 pom.xml 文件的相对路径,这里就是:quickstart-flink/quickstart-apacheflink/apacheflinksql_demo/pom.xml
StreamPark 里的项目管理提供了内似 jenkins 的 Maven 构建能力,只支持基于 Maven 构建的项目,已经在参数输入(Build Argument) 上进行了安全验证和危险参数的拦截,如果用户的项目本身存在一些风险或漏洞,则需要用户自行处理,一些有风险的操作如:用户的项目里使用了 exec-maven-plugin 插件, 那么这些插件是否会被执行,会带来什么风险,取决于用户的项目本身。