跳到主要内容
调试工作台

调试工作台

使用精选模板与原始默认参数模板编写作业,测试连接、预览数据并查看 Checkpoint。

Web UI 底栏打开 工作台。先选择集群,再新建任务或打开已有任务。你可以插入连接器模板,测试连接,查看 DAG 和预览数据;正式运行前需要发布版本。

打开工作台​

使用模板​

选择集群后,打开右侧 模板。这里有两个页签:

页签用法
精选模板默认打开。按 env、source、transform、sink 或组合筛选,点选模板先看预览,再点 插入。
原始默认参数模板选择 Source、Transform 或 Sink 插件,将插件提供的 HOCON 参数模板插入编辑区。要查某个插件的全部原始参数时切到这里。

精选模板可按片段组合使用。点选后下方可预览 HOCON,再 插入 写入编辑器。插入 env 时,如果脚本已有 env,会替换原有部分;插入组合模板时会替换整个编辑区,非空脚本会先要求确认。插入后先检查示例地址、库表、路径和凭证变量,再保存或发布。

模板管理可以新建、复制、修改和删除自己的精选模板。系统模板只读;点 复制 后修改自己的副本。若要保存现有脚本的一段,在编辑器里选中文本,右键点 另存为精选,填写名称和分区后保存。密码或密钥请用 {{变量名}},不要写入明文。

编辑配置时可查看:

能力表现
悬停说明光标停在参数名上:说明、默认值、是否必填、枚举列表
枚举补全在 = 后弹出合法取值(如 DROP_DATA / APPEND_DATA / CUSTOM_PROCESSING / ERROR_WHEN_DATA_EXISTS)

说明和枚举值来自所选集群的连接器包。使用这些能力时,需要选中具体集群;节点上的 stx-java-proxy 默认监听 18080,STX Server 需要能访问它。

调试脚本​

写完配置后,先用当前脚本检查连接、作业结构和数据样本:

能力解决什么怎么用
DAG脚本依赖关系看不清解析 Source / Transform / Sink,画成节点与边;Sink 侧还会解析将要执行的建表语句
测试连接还不需要看拓扑,只想验证连通与对象是否存在点工具栏 测试连接:库能不能连、表在不在等
预览想看真实数据长什么样,再写 Transform / Sink用当前脚本从 Source 读样本,可经 Transform,不会写入原来的 Sink
提示

DAG、测试连接和预览用编辑器里的当前脚本,不必先发布。正式运行、Savepoint 恢复和开启定时需要至少一个已发布版本。

DAG​

看清「这条脚本在干什么」:上游从哪张表来、中间怎么变换、下游写到哪。点开算子可对表路径与字段;Sink 上能对照实际建表 DDL。

测试连接​

不跑完整作业。适合改完 url / 账号 / 表名后先探活:改完脚本 → 测试连接 → 按结果再改。

预览​

点击 预览 后,在底部面板查看 Source 和 Transform 处理后的样本行。预览不会写入配置中的正式 Sink。

用来确认 Source 样本对不对、Transform 之后字段是否符合预期,再写正式 Sink。默认预览约 100 行;超时约 10 分钟。

保存与发布​

动作作用
保存只更新草稿
发布新版本生成可正式跑的版本

正式运行、Savepoint 恢复、开启定时前,至少发布一次;仅保存不会解除限制(与界面「请先发布版本」一致)。
DAG / 测试连接 / 预览用当前编辑器脚本即可,不必先发布。

变量管理​

配置里用双花括号引用,例如 {{mysql_password}}、{{system.biz.date}}。

类型用途
内置时间变量平台提供的日期 / 时间表达式(如业务日),悬停可预览当前基准下的解析结果
自定义变量任务级普通文本,方便把库名、路径等抽出去
密码 / 保密变量保存后界面加星,不再回显明文
全局变量跨任务复用的平台级变量

右侧 任务变量 可维护本任务自定义项;脚本里出现的占位会在「脚本识别变量」里汇总。变量名不要与内置时间变量冲突。

定时(轻量,非生产编排)​

工作台带简易 定时(cron)。改定时配置后要点 保存 才会生效;开启定时前任务须至少有一个已发布版本,触发时跑的是最新已发布内容,不会用未保存草稿。

这是单机轻量周期触发,没有按生产级分布式调度去验证。复杂工作流、高可用与统一告警,用专业调度系统编排(如 Apache DolphinScheduler、Apache Airflow),再对接 STX / SeaTunnel。

Checkpoint 与一键恢复​

实时作业开了 Checkpoint 时,异常或正常停掉后,若只能调 HTTP 或命令行先找作业 ID、再带参数恢复,步骤长、易错。工作台提供:

  • 工具栏 Savepoint 恢复
  • 底部任务列表行内 恢复(按该次历史实例)
stx sync job recover <job-id> --confirm
stx sync job cancel <job-id> --savepoint --confirm

引擎自带的 Checkpoint 界面信息往往偏少。STX 经 stx-java-proxy 做反序列化解析,打开 CK 文件详情 可直接看到,例如:

  • MySQL CDC 等源的 Binlog 位点
  • 读取进度相对事件时间的 延迟
  • Sink 侧两阶段提交(2PC)状态
  • 触发 / 完成 / 失败次数、单次耗时波形

底部切到 Checkpoint 即可进入。流作业通常要等 checkpoint.interval 后才有首个点;BATCH 默认不触发检查点。

从调试到运行​

  1. 右侧选中在线集群。
  2. 新建或打开任务 → 从 精选模板 插入 MySQL-CDC / Jdbc 等片段,或到 原始默认参数模板 选插件。
  3. 用悬停与枚举补全改参数;密码放进保密变量。
  4. 测试连接 → DAG 核对拓扑与建表 → 预览 看样本行(可随时 保存)。
  5. 发布新版本 → 运行;流作业可在 Checkpoint 页看位点与延迟;需要时用 恢复 / Savepoint 停止。

新建任务默认带 FakeSource → Console 骨架,可先练编辑与预览。也可先一键装一套集群做联调。集群上缺少连接器时,到插件市场下载并安装。

命令行用法见 CLI 设计。集群接入见 集群管理。