问题标签 [apify]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
759 浏览

node.js - 将 CVS 从 Web 保存到 Apify 数据集

我正在尝试从 google sheet 获取一些 CVS 数据并将其存储到Apify dataset中。

这是错误消息:

0 投票
1 回答
701 浏览

apify - 根据结果​​中的日期进行动态分页

我为一个网站写了一个半工作的抓取脚本:

在上面的示例中,我在“显示更多”按钮上单击了 5 次,并尝试导出标题和日期作为结果。问题是,我没有得到所有的结果,我认为脚本完成得比它应该的要早。

在最终脚本中,我想删除固定的 for 循环并运行此循环,直到结果的日期从今天起最多 -7 天(或 1 周)。Apify 有可能吗?

0 投票
1 回答
730 浏览

apify - 如何查看apify任务运行的完成状态

您如何找到 apify 任务运行的完成状态(成功、失败或中止)?

或者如果你有

我在 SDK 或 API 中看不到任何参考

https://sdk.apify.com/docs/api/apify

https://docs.apify.com/api/v2#/reference/actors/actor-object/run-task

0 投票
1 回答
618 浏览

apify - @apify/scraper-tool 中 logPerformance 的源代码在哪里

我正在尝试了解如何使用tools.logPerformance(request, 'gotoFunction INIT', start);,以便更好地了解我的演员的表演。

我发现该功能在 apify/scraper-tools 中。但我无法找到源代码,也没有记录在 API/SDK 中:

0 投票
1 回答
701 浏览

apify - 如何使用 PhantonJS Scraper 在 Pagefunction 中访问 Apify SDK

我正在使用Apify Phanton 爬虫。在 PageFunction 内部我想访问 Apify SDK,您可以使用其他Apify Cheerio-scraperApify puppeteer-scraper 来完成

我注意到 PhantonJS 爬虫上下文确实公开了 Apify 对象,而其他对象则公开了。

一种可能的解决方案是在 pageFunction 中注入 jquery并使用Apify web API

0 投票
1 回答
670 浏览

apify - 如何使用 API 为特定的 Task 或 Actor 创建 Apify Webhook

我想创建一个 Apify 演员,为其他演员或任务创建 webhook。因此要将 webhook 绑定到 actor 或任务,需要传入 actorId 或 taskId。

SDK 似乎不支持提供 Id 来分配webhook方法。

API 确实有创建webhook的方法,但不清楚如何传入 actorId 或 taskId。

condition对象可能是答案,但未在文档中定义!

0 投票
1 回答
805 浏览

javascript - 防止 Apify 关闭我的快递服务器

我有一个带有POST启动爬虫的端点的快速服务器。当爬虫完成时,它会关闭整个服务器。难道我做错了什么?我怎样才能防止它发生?

该项目看起来像这样:

0 投票
2 回答
665 浏览

authentication - 找不到按钮的ID

我正在尝试登录 strava.cz,但找不到按钮的 ID。还有其他方法可以启动登录吗?

到目前为止,我可以写入凭据,但找不到按钮的 ID。

0 投票
2 回答
678 浏览

apify - 如果运行成功,则下载最新结果

我想知道,如果运行成功,如何使用 curl 从 Apify 下载最新结果。

目前我正在使用这个:

此刻它非常愚蠢,即使爬虫失败并在输出中包含错误,它也在下载结果。

理想的方法是检查演员是否完成,成功后下载干净的结果。

0 投票
2 回答
720 浏览

algorithm - Get-Record-API 请求不再起作用

自上周以来,Get-Record API-Endpoint 不再工作。请查看 node.js 片段和最后的屏幕截图。

正在获取商店中的密钥列表(第一个请求)。但是获取记录会导致混乱(第二次请求)。如果添加了 explizit 'Accept-Encoding: gzip',结果是一样的。你能核实一下吗?

干杯 Wulfgäääng

截屏