问题标签 [craigslist]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
46 浏览

javascript - jQuery $.get 方法模拟点击链接

当我.each(function(i, el) { $.get(el.href, function(body) {打开控制台时,我不断收到 SyntaxError,请帮助谢谢。

0 投票
1 回答
614 浏览

web-scraping - 解读 robots.txt 与使用条款

我对抓取 craigslist 感兴趣,仅出于对博客文章的数据分析的目的(即,没有商业或经济利益,没有发帖/发送电子邮件,没有个人数据收集,没有共享被抓取的数据)。他们的 robots.txt 文件如下:

我打算不访问这些目录,只是查看帖子,然后从帖子正文中收集文本。robots.txt 文件中似乎不允许这样做。但是,Craigslist 使用条款具有以下条目(相关位以粗体显示):

利用。您同意不使用或提供与 CL 交互或互操作的软件(通用网络浏览器和电子邮件客户端或我们明确许可的软件除外)或服务,例如用于下载、上传、发布、标记、发送电子邮件、搜索或移动使用。禁止使用机器人、蜘蛛、脚本、抓取工具、爬虫等,以及误导、不请自来、非法和/或垃圾邮件发布/电子邮件。您同意不收集用户的个人和/或联系信息(“PI”)。

那么我应该假设我的机器人在整个站点中都被禁止,或者只是在 robots.txt 的 Disallowed 目录中被禁止?如果是前者,那么我对 robots.txt 文件有什么误解?如果是后者,那么我可以假设他们不会禁止我的 IP,因为我遵守 robots.txt 吗?

0 投票
0 回答
154 浏览

javascript - 如何使用 Javascript + Chrome 控制台将图像上传到 Craigslist?

我一直在尝试通过将 Javascript 输入 Chrome 控制台来自动化 Craigslist 发布(在可能的范围内):

文本字段元素、单选按钮和复选框很简单,但 Craigslist 使用称为 plupload 的东西来处理图像上传,而 plupload API 站点 ( http://www.plupload.com/docs/v2/API ) 并没有帮助。这是 plupload 图片上传器的 HTML:

这次尝试没有成功:

如何使用 Javascript 通过 plupload 将图片上传到 Craigslist?

0 投票
1 回答
161 浏览

php - 使用 PHP 登录 Craiglist

我希望我的网站能够访问我在 Craigslist 上的列表。我的计划是在https://accounts.craigslist.org/login/home上抓取页面。但是,为了访问这个页面,我需要登录。如何使用 PHP 登录,然后获取隐藏在后面的内容?

我试过像这样使用curl:

但是,我从 cragslist 收到 404 错误。正确的方法是什么?

0 投票
1 回答
91 浏览

python - Python Craiglist Scraping shows empty list

Hi I was using following code to scrape craiglist.

everything works fine till above and the output is :-

It clearly shows that the list is not empty and there are items which i can use. This is use the following code:-

The above output of print(len(apts)) is 0.. can anyone please helkp in correcting this code. I do believe there is some change in the craiglist html parser but i dont know how to implement it here.

Thanks

0 投票
1 回答
221 浏览

list - 适配 Craigslist Scraper Python

我正在尝试调整我在网上找到的 python 2.7 craigslist scraper 以与 python 3.6 一起使用。

但是每次我运行 python 脚本时,它都不会返回任何东西。是因为我没有针对正确的 html 标签吗?如果是这样,我将如何定位正确的 html 标签?

我假设这是代码的这一部分:

完整的脚本如下。

先感谢您。

0 投票
1 回答
1008 浏览

javascript - 如何在 Node.js 中进行 Cragislist 电子邮件转发(将电子邮件接收到自动生成的电子邮件地址并转发)?

我发现的只是这个使用 Rails 的 SO 问题:Email Forwarding like Craigslist - Rails

我用谷歌搜索了很长时间,但使用 Node.js 找不到任何东西。

我知道这不是通常接受的 SO 问题,但此时我确实没有其他追索权。

您能否指出我可以使用的资源或一些教程?或者,也许您自己知道如何做到这一点?

编辑:我最终使用了 Sendgrid。

0 投票
1 回答
211 浏览

subdomain - 分类网站如何使用子域并使它们像单个应用程序一样工作?

我想创建一个像 craigslist 这样的分类广告网站,并且我想为每个城市使用子域,就像 craigslist 一样。

我想知道是否有人知道他们如何将他们的网站分散到如此多的子域上,并且仍然使它像一个大网站而不是数百个小网站一样工作。

说得通?任何可以做到这一点的分类广告脚本的想法?

认为 Wordpress 可以做到这一点?

提前感谢您的回复。

0 投票
0 回答
89 浏览

python - Craigslist Web Scraper - 单击“下一页”按钮.. 仅返回空白列表 []

感谢您的光临...我非常感谢您的帮助。我正在尝试抓取简单的 craigslist 列表,但此代码不起作用...请帮助!返回空列表[] ...请帮助...代码如下..

导入包

定义函数以从旅行中抓取数据

制作汇总列表(*最终输出=带有名为“total”的列表的字典)

打印(测试目的)

将数据导出到 csv 文件

0 投票
1 回答
132 浏览

javascript - 节点js在foreach中未定义?

您好,我正在使用 node-craigslist 包从 craigslist 中删除列表。我无法处理我的结果。

我的问题是只有 listings.forEach 中的第一行代码真正起作用。所以在这种情况下,如果我注释掉 searchResults.title,它将打印出列表标题。如果我注释掉console.log 并只留下searchResults.title,那个就可以了。但它们永远不会同时工作。

在尝试在 for each 中做不止一件事时,我一定弄错了语法。