问题标签 [haystack]

我正在使用deepset/haystack并与弹性搜索进行通信。使用 OpenDistroElasticsearchDocumentStore 方法适用于用户名、密码访问 aws 弹性搜索。在 ec2 中部署时似乎不适用于基于角色的访问。请建议我使用 python 弹性搜索包访问 aws 弹性搜索的解决方案，给定角色访问权限

我正在尝试将这个https://haystack.deepset.ai/docs/latest/tutorial5md制作成一个 Dockerized Django 应用程序，问题是当我在本地实现代码时它可以工作，但是当我制作它的 dockerized 版本时它给出我的连接被拒绝，我的猜测是这两个 docker 图像无法找到彼此的方式。

这是我的 docker-compose.yaml 文件

这是我的apps.py

我的意见.py

再次，这个 Django API 在本地与弹性搜索 docker 图像完美配合，但在这个配置中，我无法让它工作。有什么帮助吗？

我试图在 HAYSTACK FARMReader 中加载“bert-base-multilingual-uncased”并得到错误：

(huyenv) PS D:\study\DUANCNTT2\HAYSTACK\haystack_demo> & d:/study/DUANCNTT2/HAYSTACK/haystack_demo/huyenv/Scripts/python.exe d:/study/DUANCNTT2/HAYSTACK/haystack_demo/main.py 05/ 21/2021 00:12:58

• 信息 - faiss.loader - 加载 faiss。2021 年 5 月 21 日 00:12:58 - 信息 - faiss.loader - 加载 faiss。05/21/2021 00:12:59 - INFO - farm.modeling.prediction_head - 使用从https://www.github.com/nvidia/apex安装的 apex 可以获得更好的速度。2021 年 5 月 21 日 00:13:00 - 信息 - faiss.loader - 加载 faiss。2021 年 5 月 21 日 00:13:00
• 信息 - faiss.loader - 加载 faiss。2021 年 5 月 21 日 00:13:01 - 信息 - 弹性搜索 - HEAD http://localhost:9200/ [状态：200 请求：0.018s] 2021 年 5 月 21 日 00:13:01 - 信息 - 弹性搜索 - HEAD http ://localhost:9200/cv [status:200 request:0.005s] 05/21/2021 00:13:01 - INFO - elasticsearch - GET http://localhost:9200/cv [status:200 request:0.009s ] 2021 年 5 月 21 日 00:13:01-信息-elasticsearch
• PUT http://localhost:9200/cv/_mapping [status:200 request:0.041s] 05/21/2021 00:13:01 - INFO - elasticsearch - HEAD http://localhost:9200/label [status:200请求：0.008s] 05/21/2021 00:13:01 - 信息 - farm.utils - 使用设备：CPU 05/21/2021 00:13:01
• INFO - farm.utils - GPU 数量：0 05/21/2021 00:13:01 - INFO - farm.utils - 分布式训练：错误 05/21/2021 00:13:01 - INFO
• farm.utils - 自动混合精度：无 初始化 BertForQuestionAnswering 时未使用 bert-base-multilingual-uncased 的模型检查点的某些权重：['cls.predictions.bias', 'cls.predictions.transform.dense.weight' , 'cls.predictions.transform.dense.bias', 'cls.predictions.decoder.weight', 'cls.seq_relationship.weight', 'cls.seq_relationship.bias', 'cls.predictions.transform.LayerNorm.weight' , 'cls.predictions.transform.LayerNorm.bias']
• 如果您从在另一个任务上训练的模型的检查点或使用另一个架构（例如从 BertForPreTraining 模型初始化 BertForSequenceClassification 模型）的检查点初始化 BertForQuestionAnswering，这是预期的。
• 如果您从您希望完全相同的模型的检查点初始化 BertForQuestionAnswering（从 BertForSequenceClassification 模型初始化 BertForSequenceClassification 模型），这不是预期的。BertForQuestionAnswering 的一些权重没有从 bert-base-multilingual-uncased 的模型检查点初始化，而是新初始化：['qa_outputs.weight', 'qa_outputs.bias'] 您可能应该在下游任务上训练这个模型能够将其用于预测和推理。2021 年 5 月 21 日 00:13:21 - 警告 - farm.utils - ML 日志记录已关闭。不会将任何参数、指标或工件记录到 MLFlow。2021 年 5 月 21 日 00:13:21 - 信息 - farm.utils - 使用设备：CPU 05/21/2021 00:13:21 - 信息 - farm.utils - GPU 数量：0 2021 年 5 月 21 日 00： 13:21 - 信息 - 农场。
• farm.utils - 自动混合精度：无 2021 年 5 月 21 日 00:13:21 - 信息 - farm.infer - 让 3 个并行工作人员进行推理 ... 2021 年 5 月 21 日 00:13:21 - 信息 - farm.infer - 0 0 0 05/21/2021 00:13:21 - 信息 - farm.infer - /w\ /w\ /w\ 05/21/2021 00:13:21 - 信息 - farm.infer - /'\ / \ /'\ 05/21/2021 00:13:21 - INFO - farm.infer - 异常被忽略：<function Pool。del at 0x000001BBA1DC9C10> Traceback（最近一次调用最后一次）：文件“C:\Users\Admin\AppData\Local\Programs\Python\Python38\lib\multiprocessing\pool.py”，第 268 行，在del 文件“C:\ Users\Admin\AppData\Local\Programs\Python\Python38\lib\multiprocessing\queues.py"，第 362 行，放入 AttributeError: 'NoneType' object has no attribute 'dumps'

这是我的 main.py 文件：

从 haystack.preprocessor.cleaning 导入 clean_wiki_text 从 haystack.preprocessor.utils 导入 convert_files_to_dicts、fetch_archive_from_http 从 haystack.reader.farm 导入 FARMReader 从 haystack.reader.transformers 导入 TransformersReader 从 haystack.utils 导入 print_answers

从 haystack.document_store.elasticsearch 导入 ElasticsearchDocumentStore

document_store = ElasticsearchDocumentStore(host="localhost", username="", password="", index="cv", embedding_dim=768, embedding_field="embedding")

从 haystack.retriever.sparse 导入 ElasticsearchRetriever 检索器 = ElasticsearchRetriever(document_store=document_store)

reader = FARMReader(model_name_or_path='bert-base-multilingual-uncased')

注意：我的 elasticsearch 服务器已成功启动！

介绍

我最近致力于使用Haystack构建一个问答模型。该模型将一个问题作为输入，并根据封闭域数据返回一个答案，在我的例子中是关于机器学习的信息。我想将此模型集成到聊天机器人中并将其添加到我的网站。

问题

我面临的问题是我找不到任何可以帮助我做到这一点的工具或资源。他们中的大多数使用意图和实体等，而我想专注于一个更简单的问题回答解决方案。

是否有任何工具可以为网站构建聊天机器人并允许集成我的模型以响应用户输入？

附加信息

我的模型是用 Python 编写的。现在我已经使用烧瓶部署在一个示例 Web 应用程序上，并使用表单获取输入。

我正在Google Colab 上尝试 Haystack 教程 1 - https://github.com/deepset-ai/haystack/blob/master/tutorials/Tutorial1_Basic_QA_Pipeline.ipynb ，安装过程中出现以下不兼容错误

命令

错误

我elasticsearch.ElasticsearchDocumentStore用于索引。但是不知道在文件上传时要通过的每个新索引在哪里更改并希望创建新索引。文件上传代码如下

任何人都可以帮我解决这个问题。

当前版本的 Haystack (deepset.ai) 支持 GPU，但它没有使用足够新的 CUDA 支持 (>= 11.1) 来与我的 RTX3090 一起工作。我可以卸载当前版本的 torch 并重新安装支持 cu111 吗？或者其他组件是否也与早期版本的 CUDA 库相关联？

我正在尝试为我的应用程序的问答部署一个干草堆模型作为 REST API /API。我想直接查询并得到我的答案，我需要尽快完成，所以我正在寻找一种在Algorithmia上完成的方法。感谢任何建议、教程、示例或任何帮助。谢谢！！

作为参考，这可能是一个示例模型。

我想使用 weaviate 作为 haystack 的数据库，使用：

但是每次它都会创建一个新类。如何连接到已经可用的类/模式？也是write_documents不行。。

有什么建议么？

在我的 env(colab) 中，我需要以下库。这是列表：

在我从 haystack 库中导入 FARMReader 和 TransformersReader 之后。这是代码

这给了我错误：

我试图重新安装其他版本的变压器，但这不起作用：