问题标签 [bigsql]

我在下面有这个示例表

我想使用 MySQL 将其更改（转置）以获得如下所示的结果

你能帮我解决这个问题吗？我已尝试使用此论坛的所有方法，但无法获得所需的结果，非常感谢您的帮助

我有一张桌子：

其中列类型为：

• id（bigint 非空主键自增）
• user_id（bigint 不为空）
• 评论（文字）

如何user_id按范围分区此表？我试图在 PHPMyAdmin 中按范围对该表进行分区，但不允许我这样做，因为user_id它不是主键。如果我有很多 100 亿用户并且每个用户都有无限量的评论，那么这个表将会非常大。我想像这样分区它：

等等。

我想在我拥有的查询中构建第三列，它是一个选择查询。

我尝试了一些这样的东西：

还想到了正则表达式......它适用于大数据，所以我关心的是效率。还有一个案例切换......我正在使用大查询顺便说一句。想法？？谢谢！

我正在尝试在表中查找行，这似乎在单元格值中有 DBCException。我似乎找不到一种快速的方法来找出具有此异常的唯一行。

存储在单元格中的错误：

DBCException：SQL 错误：[jcc][t4][1065][12306][4.18.60] 捕获 java.io.CharConversionException。详见附件 Throwable。错误代码=-4220，SQLSTATE=null

在搜索时，这是我在这个问题上遇到的唯一帮助链接： https ://www.ibm.com/support/pages/sqlexception-message-caught-javaiocharconversionexception-and-errorcode-4220

在这里作为诊断，它提到找到 Hex(col)。但是，我似乎无法缩小有错误的行，以便修复它。

我能够找出哪一列有错误。我的问题是，如何缩小行的范围？

我面临 pandas.to_sql() 的问题。

我的数据库：ibm db2 (bigsql)

table : 存储为 parquet 的 hadoop 表

我连接到 bigsql 并通过这样的熊猫从其他数据库加载一些数据。 read = pd.read_sql(text(item['load_sql']),session.bind) read.to_sql(table_,dst_session.bind,schema='dev',if_exists='append',chunksize=1424, index=False, method='multi')

当 chunksize 小于 1425 时一切正常，但是当它的 1425 或更高时出现错误：(ibm_db_dbi.ProgrammingError) ibm_db_dbi::ProgrammingError: Exception('Statement Execute Failed: [IBM][CLI Driver] 参数数量错误。 SQLSTATE=07001 SQLCODE=-99999')

我认为它与 sql 命令字符串大小无关，因为 chunksize=1424 甚至不是 1 mb。

使用 db2 / hadoop 是否对块大小有某种限制？有人知道为什么我会收到这个错误吗？

已解决？：我不再使用 to_sql() - 我将整个插入命令创建为字符串并将其发送到数据库。似乎该选项的唯一限制是字符串大小，但插入速度提高了，我可以在此命令中放入比之前允许的块大小更多的行。

我对 pandas、pyarrow 和 bigsql 有疑问。基本上我想读取 csv ，将其写入 parquet 并从 db 读取 parquet。但是从db读取文件时出现问题。Pandas dtype 和 db 数据类型不一样。

在 bigsql 中创建了一个表，例如：

我有 csv 文件并将其加载到熊猫中

纯 csv 看起来像这样

然后我尝试通过 pyarrow.parquet.ParquetWriter 从中写入镶木地板文件

所以我想将它 integer_column 转换为整数并摆脱浮点数，然后将其写入 hive/bigsql 能够读取的 parquet 中。当我像我显示的那样插入它时，会出现错误：

bigsql ：他的语句失败，因为 Big SQL 组件遇到错误。收到错误的组件：“BigSQL IO”。返回错误的组件：“未知”。SQLCODE=-5105，SQLSTATE=58040

hive : SQL 错误: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.io.DoubleWritable 不能转换为 org. apache.hadoop.io.IntWritable

我不能强制 pandas 或 pyarrow 正确地将 double 转换为整数。我知道它是双重的，因为有空值及其熊猫自然行为，但是我怎样才能将它作为具有空值的整数正确插入到 db 中？

唯一可行的解​​决方案是将 db 列更改为 double 类型或在此 pandas 列上制作 fillna(0).astype(np.int32) - 但我在这里丢失了信息。

如果您有任何想法，请分享您的知识。谢谢。

解决：pandas/pyarrow 升级和下面的代码有帮助。

csv['integer_column'] = csv['integer_column'].astype('Int64')

我想在输出中将浮点值 2.0 转换为 2.00。我怎样才能在 bigquery 中达到同样的效果？

例如，我将值 6412.7 作为输入。我想要像 6412.70 这样的输出。