12

我是 tensorflow.js 和 tensorflow 的新手

上下文:我们已经训练了一个模型,使用自定义视觉从图像中识别,头发长度:短、中、长。该模型已导出,我们希望在本地与 tensorflow js 一起使用。从自定义视觉导出的文件是 *.pb 文件和 labels.txt 文件。

我使用了 tensorflowjs_converter python 脚本,这是我用来将冻结模型 *.pb 转换为 json 模型的命令:

tensorflowjs_converter --input_format=tf_frozen_model --output_node_names='model_outputs' --output_json OUTPUT_JSON C:\python\tf_models\hairlength\model.pb C:\python\tf_models\exports\

然后我将这个 model.json 和碎片粘贴到我的 Angular 客户端的 assets 文件夹中。然后我尝试加载模型并给他一个图像来获得预测,但我得到的只是索引值,因为我只需要 0:长,1:中,2:短头发长度。这是控制台的捕获 预测列表

这是我在客户端(打字稿)中用于预测的类:

import * as tf from '@tensorflow/tfjs';

// import {HAIRLENGTH_LABELS} from './hairlength';
import { FrozenModel } from '@tensorflow/tfjs';

const MODEL = 'assets/models/hairlength/model.json';
const INPUT_NODE_NAME = 'model_outputs';
const OUTPUT_NODE_NAME = 'model_outputs';
const PREPROCESS_DIVISOR = tf.scalar(255 / 2);

export class MobileNetHairLength {

  private model: FrozenModel;
  private labels = ['long', 'mid', 'short'];

  constructor() {}

  async load(){
    this.model = await tf.loadGraphModel(MODEL);
  }

  dispose() {
    if (this.model) {
      this.model.dispose();
    }
  }

  /**
   * Infer through MobileNet. This does standard ImageNet pre-processing before
   * inferring through the model. This method returns named activations as well
   * as softmax logits.
   *
   * @param input un-preprocessed input Array.
   * @return The softmax logits.
   */
  predict(input) {
    const preprocessedInput = tf.div(
        tf.sub(input, PREPROCESS_DIVISOR),
        PREPROCESS_DIVISOR);
    const reshapedInput =
        preprocessedInput.reshape([1, ...preprocessedInput.shape]);
    // tslint:disable-next-line:no-unused-expression
    return this.model.execute({[INPUT_NODE_NAME]: reshapedInput}, OUTPUT_NODE_NAME);
  }

  getTopKClasses(logits, topK: number) {
    const predictions = tf.tidy(() => {
      return tf.softmax(logits);
    });

    const values = predictions.dataSync();
    predictions.dispose();

    let predictionList = [];
    for (let i = 0; i < values.length; i++) {
      predictionList.push({value: values[i], index: i});
    }
    predictionList = predictionList
                         .sort((a, b) => {
                           return b.value - a.value;
                         })
                         .slice(0, topK);

    console.log(predictionList);
    return predictionList.map(x => {
      return {label: this.labels[x.index], value: x.value};
    });
  }
}

这是调用上述类的类,我只给出了 canvas 元素:

import 'babel-polyfill';
import * as tf from '@tensorflow/tfjs';
import { MobileNetHairLength } from './mobilenet-hairlength';

export class PredictionHairLength {

  constructor() {}

  async predict(canvas) {
    const mobileNet = new MobileNetHairLength();
    await mobileNet.load();
    const pixels = tf.browser.fromPixels(canvas);

    console.log('Prediction');
    const result = mobileNet.predict(pixels);
    const topK = mobileNet.getTopKClasses(result, 3);

    topK.forEach(x => {
      console.log( `${x.value.toFixed(3)}: ${x.label}\n` );
    });

    mobileNet.dispose();
  }
}

我的问题是:

转换 python 命令是否正确?

我是否错过了客户中的某些内容以获得正确的索引?

感谢您的时间和回答

如果您需要更多信息,我很乐意将它们提供给您

2019 年 10 月 3 日更新

我确实使用 npm 将 tensorflowjs 更新到 1.0.0

我看到 FrozenModel 现在已弃用

导出我的自定义视觉模型会给我一个 model.pb 和 labels.txt 文件,如下所示: 自定义视觉导出

我已经尝试将这些文件与 python 一起使用,一切正常......我现在想将此 model.pb 文件转换为 model.json 文件以将其与 tensorflowjs 一起使用,为此我需要使用 tensorflowjs_converter,问题是该文件转换此保存模型的结构无效,请参阅:https ://www.tensorflow.org/guide/saved_model#structure_of_a_savedmodel_directory

唯一有效的是,如果我在转换器中使用 freeze_model 格式并给出输出节点名称:损失...像这样tensorflowjs_converter --input_format=tf_frozen_model --output_node_names='loss' --output_json OUTPUT_JSON C:\python\tf_models\hairlength\model.pb C:\python\tf_models\exports\

这些是我在运行上述命令时得到的输出: 输出文件 然后我加载模型,这是我使用导出的 json 模型加载和预测的代码(我使用了 predict() 并像你建议的那样删除了输入和输出节点) :

import * as tf from '@tensorflow/tfjs';
import { GraphModel } from '@tensorflow/tfjs';

const MODEL = 'assets/models/hairlength/model.json';
// const INPUT_NODE_NAME = 'Placeholder';
// const OUTPUT_NODE_NAME = 'loss';
const PREPROCESS_DIVISOR = tf.scalar(255 / 2);

export class MobileNetHairLength {

  private model: GraphModel;
  private labels = ['long', 'mid', 'short'];

  constructor() {}

  async load() {
    this.model = await tf.loadGraphModel(MODEL);
  }

  dispose() {
    if (this.model) {
      this.model.dispose();
    }
  }

  /**
   * Infer through MobileNet. This does standard ImageNet pre-processing before
   * inferring through the model. This method returns named activations as well
   * as softmax logits.
   *
   * @param input un-preprocessed input Array.
   * @return The softmax logits.
   */
  predict(input: tf.Tensor<tf.Rank>) {
    const preprocessedInput = tf.div(
      tf.sub(input.asType('float32'), PREPROCESS_DIVISOR),
      PREPROCESS_DIVISOR);
    const reshapedInput =
      preprocessedInput.reshape([...preprocessedInput.shape]);
    return this.model.predict(reshapedInput);
  }

  getTopKClasses(logits, topK: number) {
    const predictions = tf.tidy(() => {
      return tf.softmax(logits);
    });

    const values = predictions.dataSync();
    predictions.dispose();

    let predictionList = [];
    for (let i = 0; i < values.length; i++) {
      predictionList.push({value: values[i], index: i});
    }
    predictionList = predictionList
                         .sort((a, b) => {
                           return b.value - a.value;
                         })
                         .slice(0, topK);

    console.log(predictionList);
    return predictionList.map(x => {
      return {label: this.labels[x.index], value: x.value};
    });
  }
}

调用类是这个:

import 'babel-polyfill';
import * as tf from '@tensorflow/tfjs';
import { MobileNetHairLength } from './mobilenet-hairlength';

export class PredictionHairLength {

  constructor() {}

  async predict(canvas) {
    // Convert to tensor
      const mobileNet = new MobileNetHairLength();
      await mobileNet.load();
      const imgTensor = tf.browser.fromPixels(canvas);
      console.log(imgTensor);
      // Init input with correct shape
      const input = tf.zeros([1, 224, 224, 3]);
      // Add img to input
      input[0] = imgTensor;

      console.log('Prediction');
      const result = mobileNet.predict(input);
      console.log(result);

      const topK = mobileNet.getTopKClasses(result, 3);

      topK.forEach(x => {
        console.log( `${x.value.toFixed(3)}: ${x.label}\n` );
      });

      mobileNet.dispose();
  }
}

然后发送从网络摄像头流中获取的画布元素会给我这个错误: js错误

由于文件结构错误,如何使用“已保存模型”格式运行转换器命令?

为什么我会收到“无法编译片段着色器错误,无穷大:tf-core.esm 中未声明的标识符”?

感谢您的时间和回答

4

2 回答 2

1

我认为这是您代码中的一个简单错误:const INPUT_NODE_NAME = 'model_outputs';可能应该是'model_inputs'或实际上是什么。在这里,您将输出设置为输入图像,然后在不预测任何内容的情况下将其读回。

于 2019-03-06T18:14:50.940 回答
0

还碰到了编译失败的着色器。在其他功能更强大的计算机上运行它,问题就消失了。

在我看来,chrome没有足够的资源来成功

于 2019-03-27T14:46:00.643 回答