问题标签 [console-scraping]

我正在 dot net 中编写一个程序，它将使用框架 2.0 的 Process 对象执行脚本和命令行程序。我希望能够在我的程序中访问进程的屏幕缓冲区。我对此进行了调查，看来我需要访问控制台标准输出和标准错误缓冲区。有人知道这是如何使用托管代码完成的吗？

我想我需要使用附加到任务的 Windows 控制台的 AttachConsole 和 ReadConsoleOutput，以便从控制台屏幕读取字符和属性数据块。我需要做的是托管代码。

请参阅http://msdn.microsoft.com/en-us/library/ms684965(VS.85).aspx

我一直听到人们在编写这些程序，我知道他们在做什么，但他们实际上是如何做到的呢？我正在寻找一般概念。

我希望在 C# 中筛选 3270 大型机应用程序，但我必须在没有 Attachmate 或其他 3rd 方插件的情况下这样做。在 C# 中有免费的托管库吗？

背景

当传统硬件无法在其他接口中提供简单的解决方案时，我在网络和电信方面的部分工作涉及自动化 telnet 会话。许多旧设备只能通过工艺端口（RS-232 串行端口）、SNMP 或 telnet 访问。有时 telnet 是访问特定信息的唯一方式，但是 telnet 被设计为人机界面，因此需要屏幕抓取。此外，还存在抓取屏幕的问题，其中仅更新部分以节省带宽（请参阅ncurses）。在我的工作中，我使用了 ActiveState Expect 和 Python telnet 库。

问题

哪些语言和库能够自动化 telnet 会话并具有以下要求：

• 适用于大型项目（例如，根据我的经验，Tcl 的扩展性似乎不如 Python，而且似乎已经过时）
• 跨平台（例如，Pexpect 在 Windows 上不起作用，Activestate Expect 在 Windows 上的行为不同，并且需要关闭较新机器上的 DEP）
• 能够筛选重新绘制屏幕部分的抓取会话（类似于命令行程序中 ncurses 的行为）
• 像啤酒一样免费！

更好的解决方案还包括以下内容：

• 易于再分发（例如，不需要在机器上安装一些巨大的运行时。）
• 也适用于 SSH、串行连接和其他命令行界面。

前几天，我发现自己沉迷于 Flash 游戏，同时也为此感到沮丧。在对游戏感到沮丧的那一刻，我想我会制作一个“机器人”来为我打败它。好吧，我真的不会，但这让我意识到：我不知道如何以某种方式与另一个应用程序进行交互。这让我想到了一个问题，如何截取另一个正在运行的应用程序的屏幕截图并使用键盘和鼠标与之交互。理想情况下，解决方案将使用像 c# 这样的托管语言。

在做背景阅读时，网上充斥着关于抓取 HTML 的文章。关于实际屏幕抓取应用程序的文章并不多。

不同的答案受到赞赏，因为我真的在调查那里有什么。

更新

我正在寻找一种与另一个应用程序而不是脚本/宏另一个应用程序交互的方法。

更新

可以使用 Xming 之类的东西来重定向界面吗？ http://www.straightrunning.com/XmingNotes/

也许是终端服务客户端？ http://www.codeproject.com/KB/cs/RemoteDesktop_CSharpNET.aspx

我对 R 和一般编程非常陌生，并决定开始更多地研究 R 及其功能。我在 facebook 上关注一个 Tipster 的赌注，只是想编写一些代码来查看他的所有帖子并提取他的赢输比。上周我一直在努力解决它的可能。他发布的每个赌注总是以完全相同的格式列出： 比赛： ... 联赛： ... 提示： ...

如果这个赌注成功，他的后续帖子总是很夸张的 BOOOOOOOM。我想知道是否可以使用这些重复的因素。他所有的赌注都是来自世界各地的足球（足球）比赛。

只是想知道这是否可能以及如何做到这一点的指针。 https://www.facebook.com/The-Bad-Man-Tipster-284173645251015/?fref=nf

所以我需要提取一些客户的详细信息并将其保存在一个新的数据库中，我只有一个 txt 文件，所以我们谈论的是 5000 个客户或更多的 txt 文件，它以这种方式保存：

所以我因为文件总是这样我在想可能有一种方法可以刮掉所以我做了一些研究，这是我想出的，但不是我真正需要的：

这些代码有效，但只是从一行读取文件并复制我需要的内容，这些内容将以其他格式复制内容，例如我可以上传到数据库中，我需要的格式是这样的：

所以在这种情况下，我需要这样：

对于 output.txt 中的每一行

你们认为创建这个很难吗？有人可以帮助我吗？任何建议都会有帮助

我正在编写一个普通的 JavaScript ES6 脚本作为在浏览器控制台中运行的信息抓取工具。我的脚本抓取 Lynda.com/LinkedIn 学习课程视频的标题进行打印。算法很简单：

算法

1. 获取包含章节标题和相应子章节标题的所有父组。
2. FOREACH 组，抓取标题（字符串）和字幕（字符串数组）
3. 创建临时对象
4. 为临时对象添加标题
5. 将当前标题的字幕添加到临时数组
6. 添加字幕数组作为当前对象属性的值
7. 将结果打印到控制台

我遇到的困难是第 6 步。我查找了具有相似标题的 SO 帖子，但它们的范围都非常专业，我无法在其中找到解决问题的方法。

这是我要实现的最终输出对象的模型：

subtitles 属性应该可以这样调用：

结果是：

代码

这是我的代码，只剪断了要领：

问题

1. 为什么我的字幕属性不填充/分配/接受分配的数组等？
2. 如何将数组分配为 chObjArr 数组中任何直接子项的属性？
3. 我究竟做错了什么？

但是我只得到在 HTML 上呈现的唯一 URL，而不是全部，因为有一个 Slider 例如 25/145，我想获取所有 URL，任何解决方案

我试图将我的 youtube 订阅列表废弃到一个 csv 文件中。但是我在代码中间遇到了一个问题。这是我的代码：

我想知道为什么在 HTML 页面上找到“yt-formatted-string”时 vscode 无法识别它。此外，当我从 HTML 尝试另一个 div 时，此代码没有给出任何输出。