问题标签 [lzo]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
amazon-web-services - 无法将 lzop 压缩文件从 S3 加载到 Redshift
我正在尝试将 lzop 压缩文件从 S3 复制到 Redshift。该文件最初是通过使用带有--outputCodec lzo选项的 S3DistCp 生成的。
S3 文件似乎被正确压缩，因为我可以在命令行成功下载并膨胀它：
但是当我尝试将其加载到 Redshift 中时，出现错误：
关于可能导致负载失败的任何想法？
python - 如何使用 lzo-1.0.8 ( Python 2.7.9 ) 在 Python 中解压缩字节？
我有一个从网络接收到的压缩字节数组，它是 LZO 压缩的。我需要使用 LZO 对其进行解压缩。我已经python-lzo-1.0.8为 python 安装了包，并检查了 Python Shell，它已正确安装，但我找不到任何关于如何使用 LZO 解压缩或 python-lzo 文档的参考。有人可以帮我吗？
java - 文件处理中的 Apache Avro
Apache Avro 在文件处理中的用途是什么？任何人都可以向我解释一下，如果我需要处理 .LZO 格式的 TB 数据，它有用吗？
我可以在 C++ 和 Java 之间进行选择，什么更适合 Avro？
我的真正目的是读取压缩文件并根据某些标准将它们分类为新的不同文件。
先感谢您.... ：）
java - java.lang.UnsatisfiedLinkError: java.library.path 中没有 gplcompression
我得到了：java.lang.UnsatisfiedLinkError: no gplcompression in java.library.path所以我跟着：[ http://wiki.apache.org/hadoop/UsingLzoCompression]所以在运行之后
$ant compile-native
我收到很多错误：
帮助！
hadoop - 如何在不解压缩的情况下获得压缩在 lzo 文件中的文件大小？
我想获取hdfs中lzo文件中压缩文件的大小，但我不想解压缩文件。文件很大，下载到我的电脑需要很长时间。
scala - spark parquet - 如何加载 LZO 压缩的 parquet 文件
我在本地保存了镶木地板文件，由以下方式加载：
它识别架构，但每个查询或操作都返回相同的以下错误：
parquet.io.ParquetDecodingException：无法读取块 -1 中 0 处的值
linux - 未压缩的 .lzo 文件，然后删除 .lzo 文件
我在两个目录中有一个 LZO 压缩文件，我需要将其解压缩，然后删除所有 LZO 压缩文件。
所以我在/test01/primary文件夹中有 LZO 压缩文件，我需要解压缩它，然后删除所有.lzo文件。我也需要在/test02/secondary文件夹中做同样的事情。我将在两个文件夹中有大约 150 个 LZO 文件，因此总共大约 300 个文件。
从我这样运行的命令行解压缩一个文件lzop -d file_name.lzo。
解压缩所有 LZO 文件然后从两个文件夹中删除所有 .lzo 文件的最快方法是什么。
也许我们可以同时在两个文件夹中并行“解压缩 LZO 文件，然后删除所有 .lzo 文件”以加快进程。
hadoop - Hadoop SequenceFile 与可拆分 LZO
我们正在选择文件格式来存储我们的原始日志，主要要求是压缩和可拆分的。到目前为止，块压缩（无论哪种编解码器）SequenceFiles和Hadoop-LZO看起来最合适。
Map-Reduce 处理哪一个效率更高，整体上更容易处理？
java - 使用 lzo 压缩创建 Hive 表，无法找到扩展名为 .lzo 的文件
我通过在 hive 命令提示符下设置以下属性创建了一个 Hive 表：
创建表语句：
现在我去这个位置 /users/JOBDATA/comp 并找到一个名为 000000_0.deflate 的文件
我不确定这是压缩文件，但当我下载它时，它不可读。如果是，那么为什么它没有 .lzo 扩展名？
如果不是，我在哪里可以找到 .lzo 文件？
最后我如何使用java解压它？谢谢
hadoop - Lzo 文件没有在 Hive 作业中拆分
我们在 s3 中有 3 个 .lzo 文件和相应的 .index 文件。我们正在这些文件的目录上创建一个外部表。每个 lzo 文件的大小为 100MB+，每个文件的未压缩大小为 800+MB 块大小为 128MB。当我们运行 hive 查询时，不幸的是只生成了 3 个映射器，这表明没有发生拆分，这可能是什么问题？