触发数据集读取数据文件并更新

GET

/public-api/data-source/refresh-with-file

核心步骤：

参照下方说明，将数据文件拷贝至服务器指定位置

调用API，更新特定数据集.

特别说明：
① 该接口为限时免费API接口。不排除未来额外收费可能。
② 需要将具体的数据文件存放在服务器指定位置。

非 minio 环境 /home/guandata/data/guandata-store/upload_dataset/{dsid}

minio 环境 /home/guandata/data/minio/guandata-store/upload_dataset/{dsid}

③ 文件格式要求

snappy压缩，写成文件组，不要写单个较大的文件

需对字段名中的如下特殊字符做转义处理：' ', ',' , ';', '{', '}', '(', ')', '\n', '\t', '=', '.'。选用的转义字符为 '%' 故对'%' 也需要做转义。

④ 与 /public-api/data-source/:dsId/refresh-with-file 接口类似，区别在于那个接口是用个人token，当前接口是用应用token。

请求参数

Query 参数

token

string

必需

应用Token，在观远平台管理员设置-系统集成-统一账户集成中获得

dsId

string

数据集ID

必需

overwrite

boolean

必需

是否覆盖历史数据。true 表示覆盖；false 表示新增。

fileType

string

可选

默认：PARQUET。文件类型：PARQUET、DELTA_LAKE

preClean

string

可选

支持用户传入SQL作为前置清理规则

subDir

string

可选

支持用户指定子文件夹目录，若为空，则默认按照原路径读取文件上传；若不为空，则读取原路径下的${subDir}文件夹读取文件上传。

示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

curl --location --request GET '/public-api/data-source/refresh-with-file?token&dsId&overwrite&fileType&preClean&subDir'

返回响应

🟢200成功

application/json

Body

result

string

必需

response

object

必需

taskId

string

必需

status

string

必需

result

string

必需

示例

{
    "result": "ok",
    "response": {
        "taskId": "1c30f9f0-6d7f-11ee-8cc2-bd5513e186d5",
        "status": "已提交",
        "result": "处理中"
    }
}

修改于 2025-07-16 03:18:58

更新数据集字段注释

通过 TaskID 查询数据集更新结果