问题标签 [snappy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - pyspark如何加载压缩的snappy文件
我使用 python-snappy 压缩了一个文件并将其放在我的 hdfs 存储中。我现在正试图像这样阅读它,但我得到了以下回溯。我找不到如何读取文件的示例,因此我可以处理它。我可以很好地阅读文本文件(未压缩)版本。我应该使用 sc.sequenceFile 吗?谢谢!
ValueError Traceback (最近一次调用最后一次) in () ----> 1 a_file.first()
/home/user/Software/spark-1.3.0-bin-hadoop2.4/python/pyspark/rdd.pyc in first(self) 1244 if rs: 1245 return rs[0] -> 1246 raise ValueError("RDD is空") 1247 1248 def isEmpty(self):
值错误:RDD 为空
输出:u'##fileformat=VCFv4.1'
pyspark - Spark - WARN LoadSnappy:未加载 Snappy 本机库
尝试从Spark 峰会 2014进行练习。在终端中运行命令时,我不断收到以下信息:
我在网上发现 MAC 上会出现第一个 NativeCodeLoader 警告。第二个呢?如何加载 Snappy?
谢谢!
编辑:按原样,代码运行,生成上述输出,仅此而已。
php - 使用 Knp Snappy 从局部视图生成 PDF 文件
我想从扩展另一个视图的部分视图树枝生成一个 pdf 文件。这就是我从局部视图生成 PDF 的方式:
它给了我这个错误:
选项“id”不存在。
php - 使用 Snappy-Laravel 生成 PDF
所以,snappy 在为我的 Laravel 网站创建 PDF 方面做得非常出色。问题是登录。Snappy 可以在登录前 PDF 的所有页面,但如果我尝试 pdf 仅在登录后出现的页面的 url,那么它会 PDF 登录页面。它必须与会话或 Auth 功能有关。任何人都知道如何使用 Snappy 授权的 PDF 页面?
pdf - 在服务器上设置 HTML 到 PDF
我正在使用 Laravel 并尝试使用一个包来轻松地将 HTML 转换为 PDF。我目前正在尝试的是“活泼”:
https://github.com/barryvdh/laravel-snappy
我错过了在 MAMP 中进行本地配置的步骤吗?当我按照说明在 composer.json 中包含 snappy 并安装它时,一切都很好,但是当我尝试使用 pdf 函数时,它会引发各种我无法解决的错误。
我正在阅读有关需要 wkhtmltopdf 的信息,但是对如何实际执行此操作感到困惑,并且找不到任何简单的文章。
任何人都可以在这里提供任何指导吗?
php - 为 Snappy Laravel 包制作可执行的二进制文件
我正在尝试使用 Snappy 和 Laravel 从 HTML 生成 PDF 文档。我已经在我的 composer.json 文件中包含了这些包:
“barryvdh/laravel-snappy”:“0.2.x”,
“h4cc/wkhtmltopdf-amd64”:“0.12.x”
Composer 安装运行良好,但在尝试创建 pdf 时出现此错误:
退出状态代码 '126' 说出了点问题:stderr: "sh: /Applications/MAMP/htdocs/site.com/vendor/h4cc /wkhtmltopdf-amd64/bin/wkhtmltopdf-amd64:无法执行二进制文件
我需要进行一些其他配置或权限更新吗?
hadoop - 如何为配置单元中所有加载的数据启用快速压缩?
我的 Hive 仓库中有大约 TB 的数据,正在尝试为它们启用快速压缩。我知道我们可以使用启用配置单元压缩
在将数据加载到配置单元时,但是我如何压缩已经加载的数据。
hadoop - mapreduce 作业未正确设置压缩编解码器
嗨,我有一个 MR2 作业,它将用 snappy 压缩的 avro 数据作为输入,对其进行处理并将数据输出到输出目录中以 avro 格式。期望这个输出的 avro 数据也应该被快速压缩,但事实并非如此。MR 作业是仅地图作业。
我在我的代码中设置了以下属性
conf.set("mapreduce.map.output.compress", "true");
conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress.SnappyCodec");
但是输出仍然没有被快速压缩
hive - 设置 parquet snappy 输出文件大小是 hive?
我正在尝试在 dfs.block.size 边界上拆分由 hive INSERT OVERWRITE TABLE... 创建的 parquet/snappy 文件,因为当分区中的文件大于块大小时,impala 会发出警告。
impala 记录以下警告:
代码:
至于INSERT
hql 脚本:
问题是文件没收无处不在:
无论dfs.block.size
设置(和上述其他设置)增加到256M
,512M
或1G
(对于不同的数据集),问题都是相同的。
有没有办法/设置来确保输出 parquet/snappy 文件的拆分刚好低于 hdfs 块大小?
hadoop - 你如何用 hbase 配置 snappy
我正在尝试使用 snappy 配置 hbase。我安装了 snappy 和 hadoop 原生库:
当我尝试转到 hbase shell 时,我不断收到此错误:
2015-06-23 08:03:46,542 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类
也无法在 HBASE 上使用 SNAPPY 创建表。有人可以帮我用 hbase 配置 snappy 吗?
返回这些错误: