凸函数：曲线上任意两点连线上的点对应的函数值不大于该两点对应的函数值得连线上的值，例如y=x^2；
非凸函数：曲线上任意两点连线上的点对应的函数值既有大于该两点对应的函数值得连线上的值的部分也有小于的部分，例如：y=sinx。
机器学习中的凸与非凸：引用来源：【深度学习】凸/非凸区别

凸：沿着梯度下降的方向找到的一定是最优解，大部分传统机器学习问题是凸的。
非凸：沿着梯度下降方向找到的最优只能保证是局部最优，不能保证是全局最优，深度学习以及小部分传统机器学习问题是非凸的。
凸集：集合内任意两点的连线都在集合内。如下图：
左边为凸集，集合内任意两点的连线都仍在集合内，右边为非凸集，集合内两点连线会有在集合外的部分。

非凸集：不是凸集的就是非凸集。