调试工作台
使用精选模板与原始默认参数模板编写作业,测试连接、预览数据并查看 Checkpoint。
Web UI 底栏打开 工作台。先选择集群,再新建任务或打开已有任务。你可以插入连接器模板,测试连接,查看 DAG 和预览数据;正式运行前需要发布版本。
打开工作台
使用模板
选择集群后,打开右侧 模板。这里有两个页签:
| 页签 | 用法 |
|---|---|
| 精选模板 | 默认打开。按 env、source、transform、sink 或组合筛选,点选模板先看预览,再点 插入。 |
| 原始默认参数模板 | 选择 Source、Transform 或 Sink 插件,将插件提供的 HOCON 参数模板插入编辑区。要查某个插件的全部原始参数时切到这里。 |
精选模板可按片段组合使用。点选后下方可预览 HOCON,再 插入 写入编辑器。插入 env 时,如果脚本已有 env,会替换原有部分;插入组合模板时会替换整个编辑区,非空脚本会先要求确认。插入后先检查示例地址、库表、路径和凭证变量,再保存或发布。
模板管理可以新建、复制、修改和删除自己的精选模板。系统模板只读;点 复制 后修改自己的副本。若要保存现有脚本的一段,在编辑器里选中文本,右键点 另存为精选,填写名称和分区后保存。密码或密钥请用 {{变量名}},不要写入明文。
编辑配置时可查看:
| 能力 | 表现 |
|---|---|
| 悬停说明 | 光标停在参数名上:说明、默认值、是否必填、枚举列表 |
| 枚举补全 | 在 = 后弹出合法取值(如 DROP_DATA / APPEND_DATA / CUSTOM_PROCESSING / ERROR_WHEN_DATA_EXISTS) |
说明和枚举值来自所选集群的连接器包。使用这些能力时,需要选中具体集群;节点上的 stx-java-proxy 默认监听 18080,STX Server 需要能访问它。
调试脚本
写完配置后,先用当前脚本检查连接、作业结构和数据样本:
| 能力 | 解决什么 | 怎么用 |
|---|---|---|
| DAG | 脚本依赖关系看不清 | 解析 Source / Transform / Sink,画成节点与边;Sink 侧还会解析将要执行的建表语句 |
| 测试连接 | 还不需要看拓扑,只想验证连通与对象是否存在 | 点工具栏 测试连接:库能不能连、表在不 在等 |
| 预览 | 想看真实数据长什么样,再写 Transform / Sink | 用当前脚本从 Source 读样本,可经 Transform,不会写入原来的 Sink |
DAG、测试连接和预览用编辑器里的当前脚本,不必先发布。正式运行、Savepoint 恢复和开启定时需要至少一个已发布版本。
DAG
看清「这条脚本在干什么」:上游从哪张表来、中间怎么变换、下游写到哪。点开算子可对表路径与字段;Sink 上能对照实际建表 DDL。
测试连接
不跑完整作业。适合改完 url / 账号 / 表名后先探活:改完脚本 → 测试连接 → 按结果再改。
预览
点击 预览 后,在底部面板查看 Source 和 Transform 处理后的样本行。预览不会写入配置中的正式 Sink。
用来确认 Source 样本对不对、Transform 之后字段是否符合预期,再写正式 Sink。默认预览约 100 行;超时约 10 分钟。
保存与发布
| 动作 | 作用 |
|---|---|
| 保存 | 只更新草稿 |
| 发布新版本 | 生成可正式跑的版本 |
正式运行、Savepoint 恢复、开启定时前,至少发布一次;仅保存不会解除限制(与界面「请先发布版本」一致)。
DAG / 测试连接 / 预览用当前编辑器脚本即可,不必先发布。
变量管理
配置里用双花括号引用,例如 {{mysql_password}}、{{system.biz.date}}。
| 类型 | 用途 |
|---|---|
| 内置时间变量 | 平台提供的日期 / 时间表达式(如业务日),悬停可预览当前基准下的解析结果 |
| 自定义变量 | 任务级普通文本,方便把库名、路径等抽出去 |
| 密码 / 保密变量 | 保存后界面加星,不再回显明文 |
| 全局变量 | 跨任务复用的平台级变量 |
右侧 任务变量 可维护本任务自定义项;脚本里出现的占位会在「脚本识别变量」里汇总。变量名不要与内置时间变量冲突。
定时(轻量,非生产编排)
工作台带简易 定时(cron)。改定时配置后要点 保存 才会生效;开启定时前任务须至少有一个已发布版本,触发时跑的是最新已发布内容,不会用未保存草稿。
这是单机轻量周期触发。复杂工作流、依赖和统一告警,把已发布任务推到 DolphinScheduler。内置定时和外部调度都只跑已发布版本。
Checkpoint 与一键恢复
实时作业开了 Checkpoint 时,异常或正常停掉后,若只能调 HTTP 或命令行先找作业 ID、再带参数恢复,步骤长、易错。工作台提供:
- 工具栏 Savepoint 恢复
- 底部任务列表行内 恢复(按该次历史实例)
stx sync job recover <job-id> --confirm
stx sync job cancel <job-id> --savepoint --confirm
引擎自带的 Checkpoint 界面信息往往偏少。STX 经 stx-java-proxy 做反序列化解析,打开 CK 文件详情 可直接看到,例如:
- MySQL CDC 等源的 Binlog 位点
- 读取进度相对事件时间的 延迟
- Sink 侧两阶段提交(2PC)状态
- 触发 / 完成 / 失败次数、单次耗时波形
底部切到 Checkpoint 即可进入。流作业通常要等 checkpoint.interval 后才有首个点;BATCH 默认不触发检查点。
从调试到运行
- 右侧选中在线集群。
- 新建或打开任务 → 从 精选模板 插入
MySQL-CDC/Jdbc等片段,或到 原始默认参数模板 选插件。 - 用悬停与枚举补全改参数;密码放进保密变量。
- 测试连接 → DAG 核对拓扑与建表 → 预览 看样本行(可随时 保存)。
- 发布新版本 → 运行;流作业可在 Checkpoint 页看位点与延迟;需要时用 恢复 / Savepoint 停止。
新建任务默认带 FakeSource → Console 骨架,可先练编辑与预览。也可先一键装一套集群做联调。集群上缺少连接器时,到插件市场下载并安装。