问题标签 [google-cloud-nl]

DialogFlow 和 Google Cloud NL（自然语言）都属于 Google，对我来说它们非常相似。有谁知道他们之间的差异以及谷歌是否会整合到一个产品中？如果我是一名新开发人员来使用这些功能，我应该选择哪一个？

我四处寻找，找不到任何令人满意的答案。

谢谢！

我正在为我当地的克什米尔语开发一个 ASR 系统，并且已经完成了一些工作，收集了一些数据并在其上训练了一个 CNN 模型，但准确性不太好，但现在我想改变策略，我想在音素级别上做这项工作请任何朋友建议我这样做的方法。提前致谢。

我有一个可以包含多个命名实体的文本（例如，一个人和两个组织）。我需要根据 Named-Entity-Tagger 的置信度选择其中一个文本。（示例在最后）

该项目在此处使用“analyzeEntities”详细信息来标记命名实体。如何获得每个标记实体的置信度？

示例： 让文本为“Homes 和 Joshua 是 StackOverflow 的两名员工”。

让我们假设标注器具有以下置信度：

我需要选择“约书亚”，因为该实体的置信度得分最高。一种方法是从服务 API 中获取置信度分数以及返回的内容。我怎样才能做到这一点？有没有办法得到上面的分数？

PS：我使用 Python 3.x，但也欢迎使用其他语言的解决方案。

我试图在我的 Python 代码中使用 Google NLP API，发现当我使用 analyze_sentiment 或 analyze_entity_sentiment 调用时，有时会在“score”中得到 null，这是未记录的行为。因此，我尝试使用“gcloud ml language analyze-sentiment”并震惊地发现它们返回不同的结果！任何提示将不胜感激！

VS。

来自 Python - 请注意它缺少“分数”+甚至“大小”也不同！而且“begin_offset”也是错误的......

VS。云

• project-A 启用自然语言 API。
• 项目-B 没有。
• 项目 A 的服务帐户被允许访问项目 A 和项目 B。

在这种情况下，这样的示例脚本的以下步骤应该可以工作：

1. 导出 GOOGLE_APPLICATION_CREDENTIALS="/path/to/credentials.json"
2. 运行脚本

其中，credentials.json 包含：

现在，当我将其修改如下：

然后，

Q1) 我认为脚本失败是因为 project-B Natural Language API 尚未启用。 但是，它有效，为什么？这实际上访问了项目-A 的 NL-API 吗？

Q2) 有什么方法可以查看 GCP 的访问日志吗？然后，我可以检查脚本运行的项目。

Q3）我认为在项目A和项目B之间共享credentials.json并在某些情况下切换项目是通常的方法。在 Dialogflow 中，每个 API 都需要传递 project-ID 以便 credentials.json 共享工作。NL-API 用共享凭证切换项目怎么样？

我想开发一个类似聊天机器人的应用程序，它可以使用 Google Cloud Platform 对输入问题做出响应。

自然，Dialogflow 适合此类应用程序。但由于业务条件，我无法使用 Dialogflow。

一种替代方法可能是 AutoML 自然语言，我不需要太多机器学习专业知识。

AutoML 自然语言需要带有标签的文档。这些文档可用于训练模型。

我的示例文档：

我会为此文档使用诸如 Switzerland_Cost 之类的标签。

现在，在我的应用程序中，我将在标签和响应之间进行映射。

在预测期间，当我向训练好的模型提出输入问题时，我会得到一个预测标签。然后我可以使用这个标签来返回映射的响应。

有更好的方法来解决我的情况吗？

我已经在 Google auto ml 中训练了我的数据集。现在我想传递一个带有文本项的 CSV 来预测它的标签。不知道如何进行

已通过 17k 个带有标签的文本项。

已经看到要执行的其余 API 和 python 代码。

我目前正在使用谷歌云 NL api 进行一些分析新闻文章的测试。我最初很好奇文档大小是如何计算的，这里的搜索结果

Google Cloud Natural Language API - 如何计算文档大小？

其中提到它是构成句子量级的总和。

在我自己的测试中，我发现情况并非如此。有什么我可能做错了吗？

为清楚起见，我在 conda 环境中使用正在运行的 Python 3.7.3，并使用从 conda-forge 获得的 google-cloud-language。

我正在通过 Google Cloud API 进行情绪分析。我不清楚的是，情绪分数和量级是在什么基础上分配的？是否有任何类型的词典或任何类型的训练数据？是否有任何算法可以阐明情绪分数的分配方式？

I am relatively new to Google Cloud Platform. I have a large dataset (18 Million articles). I need to do an entity-sentiment analysis using GCP's NLP-API. I am not sure if the way I have been conducting my analysis is the most optimal way in terms of the time it takes to get the entity-sentiment for all the articles. I wonder if there is a way to batch-process all these articles instead of iterating through each of them and making an API call. Here is a summary of the process I have been using.

1. I have about 500 files each of which contains about 30,000 articles.
2. Using a python script on my local server, I iterate through each file and for each article, I call the function given here
3. I store the entire output for each article in a protobuf.

After this step, I don't require the Google API and perform my final analysis on the API output stored in the protobufs.

This worked well enough for a research project where I had about 1.5 Million articles and took a few days. Now that I have 18 Million articles, I wonder if there is a better way to go about this. The articles I have read about batch-processing are geared towards making an app or image processing tasks. There was something like what I wanted here but I am not sure if I can do this with NLP-API.

This is a snippet of my code and DF is a Pandas data frame where I have my articles.

Note that this is a one-time analysis for research and I am not building an app. I also know that I cannot reduce the number of calls to the API. In summary, if I am making 18 Million calls, what is the quickest way to make all these calls instead of going through each article and calling the function individually?

I feel like I should be doing some kind of parallel processing, but I am a bit wary about spending more time learning about Dataproc without knowing if that will help me with my problem.