爬取网页并返回结果

POST

/task/scrape/run-sync

提示

该接口无需通过查询接口查询结果，提交后等待任务完成返回结果即可。
如果爬取大型网站，建议使用异步任务，否则会等待过长造成任务超时。

请求参数

Authorization

在 Header 添加参数

Authorization

，其值为在 Bearer 之后拼接 Token

示例：

Authorization: Bearer ********************

Body 参数application/json

endpoint

enum<string>

爬虫端点

必需

枚举值:

scrape

url

string

爬取地址

必需

需要爬虫爬取的网页地址

fields

object

结构化输出

必需

声明一批变量，ai将根据变量语意，自动将采集到数据填充到字段中。
示例:

field的value留空，或通过 <...> 标识，规范返回数据格式。如果爬取的数据有缺失，说明字段声明有歧义，ai无法理解或不清楚具体应该填充哪个内容。例如上面的titile 到底是网页的title还是文章的title。

description

string

补充描述

可选

补充描述，让ai更理解您的意图

示例

{
  "endpoint": "scrape",
  "url": "https://www.jianshu.com/p/f08ed6faf1a8",
  "fields": {
    "title": "",
    "author": "",
    "content": "",
    "public_time": "",
    "word_count": ""
  }
}

示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

curl --location --request POST 'https://api.gpt.ge/task/scrape/run-sync' \
--header 'Content-Type: application/json' \
--data-raw '{
  "endpoint": "scrape",
  "url": "https://www.jianshu.com/p/f08ed6faf1a8",
  "fields": {
    "title": "",
    "author": "",
    "content": "",
    "public_time": "",
    "word_count": ""
  }
}'

返回响应

🟢200成功

application/json

Body

task_id

string

必需

status

string

必需

started_at

string

可选

finished_at

null

可选

示例

{
    "task_id": "tUaXHZethj8WJ92it",
    "status": "READY",
    "started_at": "2025-04-18T18:15:06.566Z",
    "finished_at": null
}

修改于 2025-05-01 09:05:04

任务：爬取网页

查询：异步任务结果