问题标签 [cost-based-optimizer]

与线性回归和逻辑回归不同，人工神经网络的成本函数不是凸的，因此容易受到局部最优的影响。谁能提供一个直觉，说明为什么人工神经网络会出现这种情况以及为什么不能修改假设以产生凸函数？

我正在研究基于 Tensorflow 的成本敏感型神经网络。但是由于Tensorflow的静态图结构。一些NN结构我自己无法实现。

我的损失函数（成本）、成本矩阵和计算过程描述如下，我的目标是计算总成本，然后优化 NN：

近似计算进度：

• 这y_是具有形状的 CNN 的最后一个全连接输出(1024,5)
• they是一个张量，其形状为 (1024)，表示x[i]
• 表示被分类的y_soft[i] [j]概率x[i]j

我如何在 Tensorflow 中实现这一点？

我试图解决的优化模型有点混乱。它是一个小型模型，可最大限度地减少两个单元的成本。我刚刚开始优化，我不确定我是否将问题很好地解释为 AMPL。特别是关于最小化约束及其界限。

我必须将两个决策变量作为模型中的单位。u1 的成本是 10，u2 是 13。u1 的限制是你不能制造超过 100 个单位，而 u2 是 50 个单位。通过反转这个最小化问题的界限，我得到了不同的结果。谁能帮我解释发生了什么？

变量 u1 >=0; 变量u2>=0；

最小化单位成本：10*u1 +13*u2；

服从unit1：0 <= u1 <= 100；服从unit2：0 <= u2 <= 50；

有了上述约束，我的输出为：

CPLEX 12.8.0.0：最优解；目标 0 0 双重单纯形迭代（第一阶段为 0） 目标是：0.000000 : _varname _var := 1 u1 0 2 u2 0 ;

: _objname _obj := 1 costofunits 0 ;

: _conname _con := 1 单元 1 0 2 单元 2 0

;

反转约束：

以unit1为准：100 <= u1 <= 0；服从unit2：50 <= u2 <= 0；

输出为：

约束单元 1 的边界不一致：下限 = 100 > 上限 = 0

约束单元 2 的边界不一致：下限 = 50 > 上限 = 0 由预求解确定的不可行约束。目标是： 825.000000 : _varname _var := 1 u1 50 2 u2 25 ;

: _objname _obj := 1 costofunits 825 ;

: _conname _con := 1 单元 1 10 2 单元 2 13 ;

我正在构建一个卷积神经网络来对 MNIST 数据进行分类。我使用 2 个卷积层和 2 个全连接层。

（将此代码放在堆栈溢出时可能会出现一些缩进错误）

当我使用 AdamOptimizer 时，我的准确率 > 95%。 AdamOptimizer 的准确性

但是当我使用 GradientDescentOptimizer 时，我得到了 10% 的准确度。 GradientDescentOptimizer 的准确性

如果我想使用 GradientDescentOptimizer，你知道为什么我会得到这么低的精度以及如何解决这个问题。

谢谢

logloss如果我们选择一个常数预测，二元分类器是什么f=0.5？

等式的这种发展是否正确？

首先，这是我的第一篇文章，我会尽量具体，但我确信需要更多信息。随时问我细节，我会编辑这篇文章。

关于这个问题：

我已经定义了一个将 3 个变量作为输入的成本函数。我试图根据 Python 3.5 中的这 3 个变量来最小化这个成本函数。这个问题需要我做出足够好的初始猜测（以保证全局最小值或至少是我感兴趣的局部最小值），但我不确定在那之后使用哪种优化方法。

有任何想法吗？

提前致谢

我想使用 python Min-Cost Flow 求解器来构建新的网络。这意味着我有一个初始完整图，顶点是供应商或有需求。使用该算法应该告诉我，根据他们的成本，将使用哪些边来解决所有需求。与现有问题不同的是，一条边在使用时的成本不仅用单位成本来描述，而且还有与流量无关的这条边的投资。我一直在研究 networkx 和 or-tools 的源代码，但无法弄清楚如何调整它们以实现边缘的投资成本。有人有更好的主意或可以帮助我调整代码吗？

最好的问候贾斯图斯

我是这个社区的新手，我确实搜索过这个问题。抱歉，如果我问的是以前有人问过的问题。

我正在研究具有事实表和维度的维度数据仓库。这是一个 Oracle 12 数据库。维度有一个代理键列，这也是事实表中出现的内容，然后是一个具有业务价值的列，它与代理键（以及其他属性列）一一对应。事实表有许多外键，然后是一些要聚合的列。这些外键中的一些具有非常不均匀分布的数据，因此我们在事实表中的这些列上生成了直方图，因此基于成本的优化器知道何时选择了一个非常常见的值作为它不会非常有选择性的标准。例如，我们的一个维度值在我们的事实数据中大约 85% 的时间是“空白”的，但其他 15% 的行有 20,000 个不同的值。我们的维度表中有一行带有代理键，它表示该维度值的“空白”，以及其他 20,000 个值的行。如果没有直方图，优化器会认为这 20,000 个值是均匀分布的，因此当有人指定空白值时，它可能会做出非常糟糕的选择。

当我使用事实表上指定的条件运行查询时，这可以正常工作。优化器识别直方图统计数据并提供正确的基数估计。但是，如果我在连接的维度侧指定业务键的条件，则不会使用统计信息，并且基数估计会偏离。

解释计划基数估计：5300 万行（大约正确）。事实表中总共有大约 6500 万行，其中大约 5300 万行表示该属性为空白的数据。

但是，如果我过滤用户实际执行的业务密钥，那么基数估计就很差了。

解释计划基数估计：14,000 行（甚至不接近）

当在维度表（而不是连接列）上指定条件时，如何让 CBO 使用直方图？

谢谢你。

我有一个 ODE 方程系统，我试图将其拟合到生成的数据、合成数据或实验室。我感兴趣的最终产品是参数和它的估计误差。我们将 R 包FME与modCost和一起使用modFit。例如，可以将 ODE 系统定义为：

带参数k1和k2变量A,P和PA. 我导入数据（未显示）并定义使用的成本函数modFit

我用一个向量设置了一些初始条件，parms然后用

然后我做一个决赛ode来获得最佳参数的生成拟合，鲍勃是你的叔叔，以及繁荣的估计参数。输入的数字无关紧要，我希望我的流程大纲对于使用这个包的人来说是清晰的。

我的问题和疑问集中在两件事上：我是一名科学家，一名物理学家，并且报告估计参数的误差很重要。我能否以某种方式从 MFE 生成估计错误，或者是否有单独的包用于这种返回？

我正在访问 Databricks 网站上发布的关于 Spark 2.2 中引入的基于成本的优化器 (CBO)的博客。

它提到查询计划的成本是根据以下公式计算的：

我的假设是基数是基于连接的，大小是返回的总行数。

例如，如果在 spark 中运行以下查询：

输出：

我们应该如何计算查询计划的成本？我们应该一起总结中间步骤的统计数据还是只取最后一步的统计数据并计算它？

火花版本：2.3.0