问题标签 [snappy]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
4 回答
13801 浏览

apache-spark - pyspark如何加载压缩的snappy文件

我使用 python-snappy 压缩了一个文件并将其放在我的 hdfs 存储中。我现在正试图像这样阅读它,但我得到了以下回溯。我找不到如何读取文件的示例,因此我可以处理它。我可以很好地阅读文本文件(未压缩)版本。我应该使用 sc.sequenceFile 吗?谢谢!


ValueError Traceback (最近一次调用最后一次) in () ----> 1 a_file.first()

/home/user/Software/spark-1.3.0-bin-hadoop2.4/python/pyspark/rdd.pyc in first(self) 1244 if rs: 1245 return rs[0] -> 1246 raise ValueError("RDD is空") 1247 1248 def isEmpty(self):

值错误:RDD 为空

输出:u'##fileformat=VCFv4.1'

0 投票
2 回答
1603 浏览

pyspark - Spark - WARN LoadSnappy:未加载 Snappy 本机库

尝试从Spark 峰会 2014进行练习。在终端中运行命令时,我不断收到以下信息:

我在网上发现 MAC 上会出现第一个 NativeCodeLoader 警告。第二个呢?如何加载 Snappy?

谢谢!

编辑:按原样,代码运行,生成上述输出,仅此而已。

0 投票
0 回答
508 浏览

php - 使用 Knp Snappy 从局部视图生成 PDF 文件

我想从扩展另一个视图的部分视图树枝生成一个 pdf 文件。这就是我从局部视图生成 PDF 的方式:

它给了我这个错误:

选项“id”不存在。

0 投票
1 回答
1831 浏览

php - 使用 Snappy-Laravel 生成 PDF

所以,snappy 在为我的 Laravel 网站创建 PDF 方面做得非常出色。问题是登录。Snappy 可以在登录前 PDF 的所有页面,但如果我尝试 pdf 仅在登录后出现的页面的 url,那么它会 PDF 登录页面。它必须与会话或 Auth 功能有关。任何人都知道如何使用 Snappy 授权的 PDF 页面?

0 投票
1 回答
850 浏览

pdf - 在服务器上设置 HTML 到 PDF

我正在使用 Laravel 并尝试使用一个包来轻松地将 HTML 转换为 PDF。我目前正在尝试的是“活泼”:

https://github.com/barryvdh/laravel-snappy

我错过了在 MAMP 中进行本地配置的步骤吗?当我按照说明在 composer.json 中包含 snappy 并安装它时,一切都很好,但是当我尝试使用 pdf 函数时,它会引发各种我无法解决的错误。

我正在阅读有关需要 wkhtmltopdf 的信息,但是对如何实际执行此操作感到困惑,并且找不到任何简单的文章。

任何人都可以在这里提供任何指导吗?

0 投票
0 回答
515 浏览

php - 为 Snappy Laravel 包制作可执行的二进制文件

我正在尝试使用 Snappy 和 Laravel 从 HTML 生成 PDF 文档。我已经在我的 composer.json 文件中包含了这些包:

“barryvdh/laravel-snappy”:“0.2.x”,
“h4cc/wkhtmltopdf-amd64”:“0.12.x”

Composer 安装运行良好,但在尝试创建 pdf 时出现此错误:
退出状态代码 '126' 说出了点问题:stderr: "sh: /Applications/MAMP/htdocs/site.com/vendor/h4cc /wkhtmltopdf-amd64/bin/wkhtmltopdf‌​-amd64:无法执行二进制文件

我需要进行一些其他配置或权限更新吗?

0 投票
1 回答
4919 浏览

hadoop - 如何为配置单元中所有加载的数据启用快速压缩?

我的 Hive 仓库中有大约 TB 的数据,正在尝试为它们启用快速压缩。我知道我们可以使用启用配置单元压缩

在将数据加载到配置单元时,但是我如何压缩已经加载的数据。

0 投票
3 回答
1072 浏览

hadoop - mapreduce 作业未正确设置压缩编解码器

嗨,我有一个 MR2 作业,它将用 snappy 压缩的 avro 数据作为输入,对其进行处理并将数据输出到输出目录中以 avro 格式。期望这个输出的 avro 数据也应该被快速压缩,但事实并非如此。MR 作业是仅地图作业。

我在我的代码中设置了以下属性

conf.set("mapreduce.map.output.compress", "true"); conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");

但是输出仍然没有被快速压缩

0 投票
3 回答
9753 浏览

hive - 设置 parquet snappy 输出文件大小是 hive?

我正在尝试在 dfs.block.size 边界上拆分由 hive INSERT OVERWRITE TABLE... 创建的 parquet/snappy 文件,因为当分区中的文件大于块大小时,impala 会发出警告。

impala 记录以下警告:

代码:

至于INSERThql 脚本:

问题是文件没收无处不在:

无论dfs.block.size设置(和上述其他设置)增加到256M512M1G(对于不同的数据集),问题都是相同的。

有没有办法/设置来确保输出 parquet/snappy 文件的拆分刚好低于 hdfs 块大小?

0 投票
0 回答
1303 浏览

hadoop - 你如何用 hbase 配置 snappy

我正在尝试使用 snappy 配置 hbase。我安装了 snappy 和 hadoop 原生库:

当我尝试转到 hbase shell 时,我不断收到此错误:

2015-06-23 08:03:46,542 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类

也无法在 HBASE 上使用 SNAPPY 创建表。有人可以帮我用 hbase 配置 snappy 吗?

返回这些错误: