问题标签 [web-search]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
202 浏览

javascript - How to make a combined search box with different URLs?

I want to create a search box that will combine search URLs and combine the results.

So if I wanted to Use Google Web Search and Google Image Search, I would use www.google.com/search?q= and www.google.com/search?tbm=isch&hl=en&biw=1280&bih=905&q= and then I would have:

Search: https://www.google.com/search?q=cats & https://www.google.com/search?tbm=isch&hl=en&biw=1280&bih=905&q=cats

Cats Website Link Description

Picture of a cat

(sorted by relevancy)

Is this even possible? I know that it has been done with dogpile, but all I want to do is combine a couple different Google products so I can search my documents, my images, etc.

Note: I have no experience with Javascript, PHP, Ajax, or search boxes.

Thanks, Ian.

0 投票
3 回答
144 浏览

java - 在进行实际搜索之前计算行数

给定一个具有多个(例如 5 个)不同搜索屏幕的 Web 应用程序(Java、Spring、Hibernate 和 Sybase 作为 DB),我想首先计算基于用户条件的搜索结果是否会超过限制,例如 1000 行。即使用户提供了合理的过滤器和标准,也可能会出现超过 1000 个的巨大结果。

这样做是推荐的:

  1. select count(*) from table --clauses, etc here
  2. 然后如果 > 1000,不进行实际搜索,返回并显示限制错误(告诉用户细化搜索)
  3. 否则如果 < 1000,进行实际搜索并将结果集返回给用户

还是有更好的解决方案来处理这个问题?

如果这是要走的路,我的后续问题是,我们如何避免重复 sql 查询?因为我理解这样做,所以需要我声明相同的搜索 sql,除了 select 子句将只包含 count(*)。

更新

此外,我想避免两件事: 1. 执行实际 sql 的处理 2. ORM 加载/映射域对象(在这种情况下为休眠) *当我检测到计数时避免 1 和 2 > 1000。

0 投票
1 回答
225 浏览

machine-learning - 给定文本的最近维基百科页面

比如说一个人写一个查询 - “d dark knight rses”。我想找到最近的维基百科页面 - http://en.wikipedia.org/wiki/The_Dark_Knight_Rises

有什么可能的方法来做到这一点?

我能想到的一种简单方法是在 google 上搜索给定的查询,并附加术语 wikipedia。然后在结果中查找第一个维基百科页面。如果即使在前 5 个页面中也没有维基百科页面,请返回抱歉。

但是是否有任何其他方便的方法或 API 调用可以避免使用 Google。

编辑:最近 - 例如“d dark night”可能会导致“The Dark Night”或“The Dark Knight”。这两个都是有效的答案。尽管前者更接近查询,但我想后者是一个更好的答案,因为这可能是用户查询的结果。

0 投票
1 回答
2417 浏览

web-crawler - 关于 Google 自定义搜索 API 的适当使用

我正在编写一个商业应用程序,该应用程序将 URL 列表作为输入(在本例中来自 Google 自定义搜索),处理 URL 指向的页面并将处理后的信息与 URL 一起存储。

我只是想知道是否有人知道这是否违反了其 TOS 中的规则,该规则指出:“您不得以任何方式构建、缓存或修改 Google 生成的结果”..

来源:http ://www.google.com/cse/docs/tos.html

我也很想知道是否有人可以推荐任何好的搜索引擎 API。

0 投票
2 回答
284 浏览

web-services - 程序化网络搜索的建议

我正在开发一个需要将 URL 与基于关键字的数据相关联的系统。我希望我可以使用网络服务来自动执行基于关键字或标签的全网络搜索,并且结果将采用像 JSON 这样的机器友好格式。

我的第一个想法是谷歌,他们的谷歌自定义搜索服务看起来很不错,并且已经在测试中证明了自己。它有一个简单的类似 REST 的 URL,并以 JSON 格式返回结果。唯一的问题是它每天有 100 个查询的限制。我需要更多像 1000。他们更高配额的付费选项(谷歌网站搜索)不允许全网搜索,所以对我来说没用。

当然,其他人以前也想做程序化网络搜索。Google 是否提供另一种我们可以使用的 B2B 搜索服务?我们很乐意按查询付费、签署协议等。我担心我在 Google 网站上的位置不正确。

当我写这个问题时,我发现了微软的必应网络服务主页。乍一看,它看起来还不错。我对谷歌有一点偏好,但对微软持开放态度。我很想听听有关使用 Microsoft API 的任何建议。

0 投票
1 回答
315 浏览

url - 通配符 * 子域的 Google 优化

大家早上好,

我创建了一个小型 cms 系统,用户可以在其中创建自己的网站。每个用户都会获得一个像 mywebsite.mycmsystem.com 这样的子域。这真的很好。这些网站是通过 php 脚本动态生成的,但通过 mod_rewrite 获得了静态 html url。所以一个 URL 有 mywebsite.mycmsystem.com/home_1234.html 而不是 mywebsite.mycmsystem.com/page.php?id=1234 我认为这对搜索引擎来说会更好。现在的问题是,谷歌不会真正从用户那里抓取所有网站。有没有办法告诉谷歌在哪里可以找到所有网站或类似的东西?我在网上搜索了几个小时,但找不到真正有用的东西。

最好的问候,卢卡斯

0 投票
1 回答
601 浏览

python - 查找网站中所有可能的链接 / 使用 Python 进行 Screen-Web Scraping

这里有点开放式问题。我需要浏览招聘网站并搜索职位描述标签和技能要求(我已经完成了)。我基本上想知道,我如何在网站上爬行?如,从 test.com 到 test.com/a 等等....??基本上,抓取页面。

这是我在页面内搜索的代码。我需要在站点中找到所有可能的此类页面并获取链接。这不是家庭作业。我只是在一边做这个...

0 投票
1 回答
1019 浏览

java - java:执行网站搜索并获取结果

首先我必须说,我不希望任何人为我做我的工作。

我想制作一个在特定网站上搜索数据的 Java 应用程序。它看起来像这样:

  1. 我将在我的 jTextField 中输入一个关键字,然后按我的确定按钮
  2. 按确定按钮后,我的应用程序将向该站点发送请求并对其执行搜索。通过搜索,我的意思是在带有文本字段和搜索按钮的网站上进行常规搜索。不是 ctrl+f 搜索。
  3. 搜索网站后,我的应用程序将读取结果并将其存储在一个数组中。

我该如何开始?在该网站上搜索如下所示:

0 投票
1 回答
261 浏览

android - 在 Google 上搜索图片以包含在我的应用中

我有一个充满项目没有图像的数据库。我想在用户查看项目细节时显示图像。我的想法是在 google 上搜索图像,获取第一个结果,然后将其包含在活动中。这可以用android完成吗?如果是这样,最好的(或者可能是最简单的)做法是什么?

0 投票
0 回答
239 浏览

python - 如何使用 Python 获取 Google 网页搜索结果

我想使用 Python 以编程方式搜索 Google。我有大约 1,000 个要运行的查询,我只需要第一个结果的 URL。对此进行调查后,我发现Google Web Search API似乎符合要求,但现在已弃用,并且每天仅支持有限数量的查询。替代品,谷歌自定义搜索 API似乎只支持搜索特定网站,但我想搜索整个互联网(即普通的谷歌搜索)。

有没有办法使用 Python 进行 1000 次 Google 网络搜索?我很乐意为进行这么多查询支付少量费用,但似乎不再有支持 Google 网络搜索的 API。

谢谢。