跳到主要内容

项目管理

功能​

StreamPark 的“项目管理”功能简化了 Apache Flink 和 Apache Spark 项目的管理和部署流程。通过集成代码仓库，用户可以自动拉取代码、指定分支，并使用 Maven 自动化构建 Jar 文件。StreamPark 提供了 CI/CD 支持，能够在代码更新时自动触发构建和部署。还可以直接在平台上提交作业并进行实时监控，确保作业的稳定运行。这个功能增强了项目管理的自动化、一致性和安全性，大幅提升了开发和部署效率。

功能介绍​

StreamPark 的 "项目管理" 功能简化了 Apache Flink 和 Apache Spark 项目的管理和部署流程。通过集成代码仓库，用户可以自动拉取代码、指定分支，并使用 Maven 自动化构建 Jar 文件。StreamPark 提供了 CI/CD 能力，能够很方便的构建项目，还可以直接在平台上提交作业并进行实时监控，确保作业的稳定运行。这个功能增强了项目管理的自动化、一致性和安全性，提升了开发和部署效率。

项目管理​

Apache Flink 和 Apache Spark 都提供了基于 Java 代码来开发作业的编程模式，针对这类作业，需要用户编写好程序，构建打包产生目标 Jar ，最后执行命令行(flink run 或者 spark-submit ) 来提交作业。 在 StreamPark 中提供了项目管理的能力，用户可以把使用 Java Maven 构建的 Apache Flink/Spark 项目轻松地加入到 StreamPark 中进行管理，这样由 StreamPark 来进行项目的打包构建和管理，编译出目标 Jar，后续可以添加作业，进行作业提交和状态监控等。

Project

如何使用​

点击 "项目管理"，新增一个项目，会进入到项目添加页面，操作如下:

Hot to use

参数说明：​

  • Project Name: (必填) 项目名称，不能重复

  • Project Type: (必填) 项目类型，目前只支持 Apache Flink

  • Repository URL：(必填) 项目仓库的 URL，比如项目的 github 地址，或者 gitLab 地址

  • Password: (可选) 如果该项目需要密码才能访问，则需要输入密码

  • Branches: (必填) 项目的分支，会根据 Repository URL 自动解析出可选的分支，用户选择即可

  • Build Argument: (可选) 项目的构建参数 这里的构建参数就是 maven 的标准参数，比如要指定 profile 为 dev，那这里就是 -Pdev，其他参数以此内推。

  • POM: (可选) 需要构建的目标模块的 pom.xml 文件位置，如当前 StreamPark Quickstart 项目目录结构如下：

    Pom 位置

    现在只需要构建 apacheflinksql_demo 模块, 不需要构建其他模块，那么就需要指定 apacheflinksql_demo 模块的 pom.xml 文件的相对路径，这里就是: quickstart-flink/quickstart-apacheflink/apacheflinksql_demo/pom.xml

提醒

StreamPark 里的项目管理提供了内似 jenkins 的 Maven 构建能力，只支持基于 Maven 构建的项目，已经在参数输入(Build Argument) 上进行了安全验证和危险参数的拦截，如果用户的项目本身存在一些风险或漏洞，则需要用户自行处理，一些有风险的操作如：用户的项目里使用了 exec-maven-plugin 插件， 那么这些插件是否会被执行，会带来什么风险，取决于用户的项目本身。