跳转到主要内容
所有收藏产品与特点
爬虫 API 的集成方法有哪些?
爬虫 API 的集成方法有哪些?
Josh avatar
作者:Josh
超过 8 个月前更新

Scraper API 的集成方法是您可以在基础架构中使用 Scraper API 并调用 API 的不同方式。共有三种方法,每种方法都有其自身的好处。

同步集成

这种方法更容易实现和使用,但消耗更多基础架构资源。

  • Realtime - 您必须保持连接打开直到作业完成。这种技术非常适合发送带有爬取和解析描述的 JSON 负载,包括高级爬取参数。

  • 代理端口 - 允许您像代理服务器一样使用我们的端点。如果您更熟悉代理,并且只想获取未阻止的内容,您可以使用这种技术。

异步集成

这种方法最适合大规模的网页抓取,因为它提供了更多功能,并且不会消耗额外的基础架构资源。

  • 推拉 - 您需要向我们的 API 发送另一个请求来检索作业结果。这种方法还可以让您直接将抓取结果检索到您的云存储,如 AWS S3 或 Google Cloud Storage。

🔎 有关每种集成方法的更多信息,请参阅我们文档的相应页面。


🙌 需要帮助吗?通过实时聊天联系支持,或发送邮件至[email protected]

🎯 想要定制解决方案或免费试用吗?联系销售部门,通过预约电话。对于任何问题,如定制价格、建议或免费试用,请发送邮件至[email protected]

这是否解答了您的问题?