起步

非线性回归是线性回归的延伸，线性就是每个变量的指数都是 1，而非线性就是至少有一个变量的指数不是 1。生活中，很多现象之间的关系往往不是线性关系。选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验。常用的曲线类型有 幂函数，指数函数，抛物线函数，对数函数和S型函数 。

起步

在神经网络的理论篇中，神经元在对权重进行求和后，需要进行一个非线性转化，即作为参数传入激活函数去。这个激活函数是一个 S 型函数( Sigmoid )。

虽然理论篇给了一个函数，但事实上，S 函数不是指某个函数，而是一类函数，那篇只是给了这类中的一个，S 函数详细可以看维基上的： https://zh.wikipedia.org/wiki/S函数 。下面有两个函数满足这样的S 函数：

• 双曲函数（ tanh ）；
• 逻辑函数（logistic function ）

起步

本次会有多个例子来说明如何使用 sklearn 中的支持向量机。

起步

本章介绍如何自行构造 KNN 分类器，这个分类器的实现上算是比较简单的了。不过这可能需要你之前阅读过这方面的知识。

前置阅读

分类算法之邻近算法:KNN（理论篇）

分类算法之邻近算法:KNN（应用篇）

起步

这次使用的训练集由 sklearn 模块提供，关于虹膜（一种鸢尾属植物）的数据。