什么是ALM、ADMM等优化问题中的separable？辅助变量个数怎么确定？

在优化中一般要先引入辅助变量，但一直不知道引入几个辅助变量。有什么准则吗？今天看论文的时候提到原优化函数不具有separable，这个可分离性是什么意思啊。

这个问题并不复杂，理清头绪即可。

首先，在优化中并不是一定要先引入辅助变量，如果优化问题本身就比较容易求解，那就不用引入辅助变量。引入辅助变量通常是为了让问题变成separable的，这样可以很方便的用BCD或者ADMM求解。

其次，separable指的是（不是特别严格的讲）：假如你的问题有很多种变量，比如说x，y和z，在约束上，这些变量只存在加减关系；在目标函数上，每个目标函数只含一种变量（这个说法并不是特别严格，但是初学阶段是可以这样理解的）。

为什么要强调separable？原因在于，在BCD和ADMM里，我们是逐个求解子问题，separable保证了每个子问题只含一种变量，这样比较容易求解。

“可分离”指的是目标函数是由几个可以分离的函数 求和组成，每个函数 的变量是单独的 ，即 ，而不同函数之间不共享函数变量。满足这种结构的函数可能是本来优化模型天生具备，也可以通过引入一些新的变量来构造。