问题标签 [tensorflow-transform]

我正在使用 tf.estimator 来训练和服务我的 tensorflow 模型。培训按预期完成，但未能服务。我将我的数据作为 TFRecordDataset 读取。我的解析函数将转换应用于特征“x2”。“x2”是一个被拆分的字符串。转换后的特征是“x3”。

我的服务功能是

过去，当我在解析函数中没有任何转换时，它总是有效，但现在它因错误而失败。

我想我必须在我的服务功能中将转换应用于“x2”，但我不知道如何。任何帮助将不胜感激

我正在尝试使用apache-beam (v2.15.0)和tensorflow-transform (v0.15.0)with运行一些预处理python 3.6。当我在我的 Mac 上本地运行它时，它工作正常，但是，当我尝试通过数据流运行它时，我不断收到我认为的依赖错误。

这些错误源自requirements.txt使用数据流时所需的文件，以便它知道需要安装哪些额外的 python 包。

我的requirements.txt文件只包含tensorflow-transform

我认为这很简单，因为它在我的笔记本电脑上没有任何问题。但是，尝试通过数据流运行它时遇到的错误是：

安装 tensorflow 2 和 tensorflow_transform 后，在导入 tensorflow_transform 时出现错误： from tensorflow.contrib.boosted_trees.python.ops import gen_quantile_ops ModuleNotFoundError: No module named 'tensorflow.contrib'

所以看来 tensorflow_transform 还没有在 tf2 上。有什么办法解决这个问题？谢谢

我正在使用 tensorflow 数据验证，并且正在尝试围绕我的数据集构建模式。我已经构建了初始模式，并且可以在记事本中查看/编辑它们，但是我很难找到一个资源来准确地显示我可以在文件中为给定数据类型设置什么样的参数（即最小值或最大值或数据形状）。

有谁知道我可以用来进一步编辑我的架构文件的好资源甚至是综合架构？

我有一个对特征进行操作的模型，其中一个是先前事件的时间戳数组。

我想为这个数组的每个元素计算每个时间戳的星期几（“星期一”到“星期日”或[0, 7）中的整数）

我想在图中这样做，因为我希望我的模型能够在我在设备上进行预测时复制这种转换。

星期几只是我想从时间戳中提取的信息之一，理想情况下我还会得到年、月等......到目前为止我发现的最接近的是tfa.parse_time ，它的作用几乎完全相反我想要达到的目标。

是否有这种运营商的现有实现？如果没有，考虑到闰年、时区、夏令时等，我该如何实施？

正如我从这里的文档中了解到的那样，我可以进行类似的调用tft.compute_and_apply_vocabulary(s)，以便将分类列转换为数值特征。

作为 tensorflow 的初学者，我想知道是否存在原始特征列到数值列的自定义映射？我已经看到这里描述的 hash_bucket 方法几乎可以完成我想要的工作。但是，我需要调用一个自定义映射函数，而不是条目的哈希，以便将分类列中的“m”个唯一元素映射到数字或字符串的“n”个唯一元素，其中 n < m。

用例。我在使用 KDD CUP 99 数据集进行实验时遇到了这个问题，其中训练集的目标类包含 23 种不同的攻击类型，需要将它们识别并分为四类攻击。如果有一个我可以使用的转换函数，那么目标类中的所有 23 个唯一元素都可以映射到编号为 [1,2,3,4] 的 4 类攻击。包括可以映射到 [0] 的正常连接，目标类将包含 5 个类，因此我可以直接训练多类分类模型。更多关于 KDD CUP 99 数据集的信息在这里

任何人都可以帮忙吗？

更新在这个线程 的帮助下解决了这个问题

在笔记本中，当我跑步时

!pip3 install tensorflow-transform==0.15.0

我收到一个错误：

这是在笔记本实例中运行时的错误。

注意我正在使用

通过 TensorFlow Transform，我们可以使用 Apache Beam 预处理数据。设置此类管道时的要求之一是定义一个DatasetMetadata对象，该对象包含具有将数据从其磁盘或内存格式解析为张量所需的信息的模式。

在官方文档中，我们给出了一个表单示例：

如果您的原始数据是以下形式的字典，这一切都很好：

但是，在为SequenceExample定义模式时，我有些迷茫。更具体地说，考虑我的数据具有以下格式：

上面我有一个带有 2 个序列的句子：

• ner-tag序列，将用作模型的标签
• 将用作模型特征的原始序列

如何为此类示例创建 TFT 数据模式？

这个文档有点缺席。非常感谢任何帮助！

如何在我的 TFX 管道的 preprocessing_fn 中使用 tf.Transform 分析器变量？

我正在使用 tft.max 函数来计算整个数据集的最大值，该数据集被定义为查看源代码的分析器。我想在下面的函数调用中使用这个分析器的结果，但是得到以下错误：

变换函数

错误

我怎样才能使用这个值？我尝试了许多不同的方法来使用这个值，但似乎没有任何效果。

我们的数据

在我们的交互式管道中

相关版本

我们正在尝试构建一个管道，该管道从 BigQuery 获取数据，通过 TensorFlow Transform 运行，然后在 TensorFlow 中进行训练。

管道已启动并正在运行，但我们在 BigQuery 中处理空值时遇到了困难。

我们使用 Beam 从 BigQuery 加载：

我正在使用数据集元数据，尝试FixedLenFeature各种VarLenFeature列：

正如预期的那样，如果您尝试将 BigQuery NULL 输入到 aFixedLenFeature中，它会中断。

但是，当我尝试输入字符串或整数 aVarLenFeature时，它也会中断。这似乎是因为 VarLenFeature 需要一个列表，但 BigQuerySource 提供了一个 Python 原语。它中断的确切点在这里（错误来自我尝试使用整数时）：

当我使用我的字符串输入（例如“UK”）尝试 VarLenFeature 时，输出是这样的 SparseTensor：

因此，似乎我需要将一个列表传递给 VarLenFeature 才能使其正常工作，但 BigQuerySource 默认情况下不这样做。

有没有一种简单的方法可以实现这一目标？还是我完全错过了从 BigQuery 读取可空列的标记？

非常感谢您！