问题标签 [singlestore]

我需要首先指出我绝不是数据库专家。我确实知道如何使用需要数据库后端的多种语言编写应用程序，并且对 MySQL、Microsoft SQL Server 和现在的 MEMSQL 相对熟悉 - 但同样，我不是数据库专家，因此非常感谢您的意见。

我一直在开发一个必须交叉引用几个不同表的应用程序。我最近遇到的一个问题的一个非常简单的例子是，我必须：

1. 每天，将 600K 到 1M 的记录下拉到一个临时表中。
2. 比较新数据拉取和旧数据拉取之间的变化。将该信息记录在单独的表格中。
3. 用新记录重新填充表。

运行 #2 是一个类似于以下内容的查询：

在这种情况下，我将比较给定字段上的两个表，然后提取更改的信息。

在 MySQL (v5.6.26, x64) 中，我的查询超时。我正在运行 4 个 vCPU 和 8 GB RAM，但请注意，我的其余配置是默认配置（没有调整任何参数）。

在 MEMSQL（v5.5.8，x64）中，我的查询在第一次尝试时运行大约3 秒。我正在运行具有 4 个 vCPU 和 8 GB RAM 的完全相同的虚拟服务器配置，还要注意我的其余配置是默认配置（没有调整任何参数）。

此外，在 MEMSQL 中，我正在运行单节点配置。MySQL 也是如此。

我喜欢这样一个事实，即使用 MEMSQL 让我能够继续开发我的项目，并且我遇到了更大的跨表计算查询和可以运行的视图，这些查询和视图在 MEMSQL 上运行得非常好……但是，在理想的世界中，我会使用 MySQL。我已经遇到了这样一个事实，即我需要使用一组不同的工具来管理我的实例（即：MySQL Workbench 与 MEMSQL 服务器配合得相对较好，但我实际上需要使用开源 SQL Workbench 构建视图和表，并且mysql java 适配器。使用 Visual Studio MySQL 连接器也是如此，可以工作，但有时会很痛苦，由于某种原因，我可以添加查询但不能添加表适配器）...对不起，我将提交一个单独的问题:)

考虑到两台虚拟机的配置完全相同，并且支持 SSD，任何人都可以就如何调整我的 MySQL 实例以在 MySQL 上运行像上面那样的大查询给我任何建议吗？我知道我也可以创建一个内存数据库，但我已经读过这样做可能存在一些持久性问题，不确定。

谢谢！

我是 Docker 新手，并尝试通过本教程从 Docker 映像设置 MemSQL - http://docs.memsql.com/4.0/setup/docker/。我在 Mac 上，教程使用boot2docker的似乎已被弃用。

VM 需要 4GB 内存才能运行。本教程指定了如何执行此操作，boot2docker但我找不到使用 docker-machine/docker 工具箱执行此操作的方法。

这是我正在使用的命令，以及我只是尝试在不更改 boot2docker 配置的情况下完成教程时遇到的错误。

使用 Spark 1.4.0，我正在尝试使用 insertIntoJdbc() 将来自 Spark DataFrame 的数据插入到 MemSQL 数据库中（这应该与与 MySQL 数据库的交互完全相同）。但是，我不断收到 Runtime TableAlreadyExists 异常。

首先，我像这样创建 MemSQL 表：

然后我在 Spark 中创建一个简单的数据框并尝试像这样插入到 MemSQL 中：

当我今天尝试启动集群时，出现以下错误

MemSQL 节点 CCBA806E30C9A8E4430ADFEAF5DF435ED91B8F7F 无法启动：无法连接到 MemSQL 节点 CCBA806E30C9A8E4430ADFEAF5DF435ED91B8F7F：跟踪日志中没有错误

最糟糕的是我无法查询任何内容。每当我查询时，我都会收到此错误。

ERROR 1777 (HY000): 分区 memsqldb:0 没有主实例。

这里的确切问题是什么？

我正在使用 MemSQL。我想在发出 truncate table 命令后将 Auto increment id 重置为 1。我发出了以下命令：-

但是当我在之后插入行时，id 会根据之前的插入继续增加。

如何在 MemSQL 中将 id 重置为 1？

我编写了以下代码来将数据插入到 MEMSql 中，它的语法几乎与 MySQL 中的相似。

字段名称不能硬编码，因为它们可能会根据我从另一端获得的数据而改变。无论如何，它是我在这里迭代的字典。由于这个单次插入非常慢，我需要将批量大小作为变量，形成查询语句并相应地插入它。所以批量大小为 2 的查询将是INSERT INTO tablename col1, col2 VALUES ('a', 'b'),('c','d')

请帮我在这里介绍一下。

我一直在尝试运行 memsql 的单节点实例，但是被卡住了，不知道如何继续。我在谷歌上没有找到太多信息。

这就是我所做的：

1. 从http://download.memsql.com/memsql-ops-4.1.7/memsql-ops-4.1.7.ta​​r.gz下载了最新版本

2. tar xvf memsql-ops-4.1.7.ta​​r.gz

3. memsql-ops-4.1.7.ta​​r.gz/memsql-ops/memsql-ops 开始

我在这一步遇到了这个错误：

4. 打开此 url http://:9000 并要求添加 memsql 二进制文件，这是我通过以下命令完成的$memsql-ops file-add -t memsql memsqlbin_amd64.tar.gz

第 4 步仍然不成功，我无法添加二进制文件。我收到此错误：

检查了日志文件，并没有说太多关于错误的信息。

/memsql-ops 报告抛出此错误 --> KeyError: 'error_platform'

如何前进？

我正在尝试按照以下说明在 RHEL 6 机器上以离线模式安装 MemSQL 4.1.7：http: //docs.memsql.com/latest/setup/offline/

在第 3 步中，memsql-ops start 命令完成并显示以下错误消息

之后我可以访问 MemSQL Ops Web 界面，它抱怨“MemSQL Ops 无法连接到 MemSQL 下载服务器”并提示我添加二进制文件。因此，我按照说明指南的第 5 步操作并收到此错误

======================================

这是 memsql-ops.log

任何人都可以确认 MemSQL 4.1.7 是否适用于 RHEL 6 还是需要其他一些依赖项？

我有这个程序正在读取镶木地板文件并将其写入 MemSQL 表。我可以确认 Spark 正确读取文件

正确打印架构和数据。

当我查询表时，我得到了行的所有 NULL 值。表中的所有内容均为 NULL。我不确定这里出了什么问题。

将镶木地板文件写入 memsql 的代码

我有一个到 MemSQL 的数据加载作业（火花连接器），由于列名的长度超过允许的限制，它失败了。有没有办法来解决这个问题？我无法更改列名，因为它们是以编程方式生成的，我无法控制。

错误信息：

是否有配置设置可用于允许列名使用更多字符？

我正在将 parquet 文件中的数据直接加载到 MemSQL 表中