我正在使用不同的分类器来解决由两个类组成的分类问题。当然，我必须调整我想作为优化问题处理的超参数。成本函数是（交叉验证的）准确度。我有以下三个不同的优化问题：
连续参数 + 1-2 个整数值参数进行优化（也许整数值参数可以被删除和单独优化） 参数的边界约束（下界和上限） 一些参数的等式约束 => sum(w(i) ) = 1 对于权重参数 w(i)，其中 0 <= w(i) <= 1。权重用于 SVM 的加权 RBF 内核。
仅连续参数 对参数的约束
仅限整数值参数 对参数的约束
我已经使用 Matlab 的 fminsearch 函数开始使用 Nelder-Mead 了，但这对于 1. 和 3 来说似乎不是最佳的。对于这三种类型，您建议使用哪些优化程序？一种可能性是使用 Matlab 的 ga 函数进行混合整数编程，但根据文档，等式约束可能是一个问题。
另外，我有一个距离度量参数，它是一个字符串（例如欧几里德距离等）。我应该在优化过程中将其视为整数吗？例如，将欧几里得映射到 1，将马氏映射到 2 等。
最重要的是，另一个问题是局部最小值。如何有效地解决这个问题（不使用有点耗时的随机重启）？