0
点赞
收藏
分享

微信扫一扫

支持向量机 SVM | 线性可分:公式推导

sklearn分类模型汇总(一)

文章目录

Support Vector Machine algorithms

svm.LinearSVC函数参数:

  • penalty:{‘l1’, ‘l2’}, default=’l2’,正则化方法。
  • loss:{‘hinge’, ‘squared_hinge’}, default=’squared_hinge’,loss函数。
  • dual:“auto” or bool, default=True,选择算法来解决对偶或原始优化问题。
  • tol:default=1e-4,tolerance for stopping criteria。
  • C:float, default=1.0,正则化大小。
  • multi_class:{‘ovr’, ‘crammer_singer’}, default=’ovr’
  • fit_intercept:bool, default=True
  • intercept_scaling:float, default=1.0,”b“的大小。
  • class_weight:dict or ‘balanced’, default=None,标签权重列表。
  • verbose:default=0,启用详细输出。
  • random_state:随机数种子, default=None
  • max_iterint:default=1000,要运行的最大迭代次数。

svm.NuSVC函数参数:

  • nu:default=0.5,边际误差分数的上限和支持向量分数的下限,应在区间 (0, 1] 内。
  • kernel:{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’} or callable, default=’rbf’,核函数。
  • degree:default=3,多项式核函数的次数(‘poly’),必须是非负数。其他内核忽略。
  • coef0:default=0.0,核函数中的独立项。它仅在“poly”和“sigmoid”中有意义。
  • shrinking:default=True,是否使用收缩启发式。
  • probability:default=False,是否启用概率估计。
  • cache_size:default=200,指定内核缓存的大小(以 MB 为单位)。
  • tol:default=1e-4,tolerance for stopping criteria。
  • class_weight:dict or ‘balanced’, default=None,标签权重列表。
  • verbose:default=0,启用详细输出。
  • random_state:随机数种子, default=None
  • max_iterint:default=1000,要运行的最大迭代次数。
  • decision_function_shape:{‘ovo’, ‘ovr’}, default=’ovr’。

svm.SVC函数参数:

  • C:float, default=1.0,正则化大小。
  • kernel:{‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’} or callable, default=’rbf’,核函数。
  • degree:default=3,多项式核函数的次数(‘poly’),必须是非负数。其他内核忽略。
  • gamma:{‘scale’, ‘auto’} or float, default=’scale’,“rbf”、“poly”和“sigmoid”的核系数。
  • coef0:default=0.0,核函数中的独立项。它仅在“poly”和“sigmoid”中有意义。
  • shrinking:default=True,是否使用收缩启发式。
  • probability:default=False,是否启用概率估计。
  • cache_size:default=200,指定内核缓存的大小(以 MB 为单位)。
  • tol:default=1e-4,tolerance for stopping criteria。
  • class_weight:dict or ‘balanced’, default=None,标签权重列表。
  • verbose:default=0,启用详细输出。
  • random_state:随机数种子, default=None
  • max_iterint:default=1000,要运行的最大迭代次数。
  • decision_function_shape:{‘ovo’, ‘ovr’}, default=’ovr’。

Decision tree-based models

tree.DecisionTreeClassifier函数参数:

  • criterion:{“gini”, “entropy”, “log_loss”}, default=”gini”,衡量分割质量的函数。
  • splitter:{“best”, “random”}, default=”best”,用于在每个节点选择分裂的策略。
  • min_samples_split:int or float, default=2,分裂内部节点所需的最小样本数。
  • min_samples_leaf:int or float, default=1,叶节点所需的最小样本数。任何深度的分割点只有在左右分支中至少留下 min_samples_leaf 训练样本时才会被考虑。这可能具有平滑模型的效果,尤其是在回归中。
  • min_weight_fraction_leaf:default=0.0,叶节点处所需的(所有输入样本的)权重总和的最小加权分数。当未提供sample_weight时,样本具有相同的权重。
  • max_features:int, float or {“sqrt”, “log2”}, default=None,寻找最佳分割时要考虑的特征数量。
  • random_state:随机数种子, default=None。
  • max_leaf_nodes:int, default=None。
  • min_impurity_decrease:float, default=0.0,如果分裂导致杂质减少大于或等于该值,则节点将被分裂。
  • class_weight:dict or ‘balanced’, default=None,标签权重列表。
  • ccp_alpha:non-negative float, default=0.0,用于最小成本复杂性修剪的复杂性参数。将选择成本复杂度最大且小于 ccp_alpha 的子树。默认情况下,不执行修剪。
  • monotonic_cst:array-like of int of shape (n_features), default=None,表示对每个特征执行的单调性约束。

tree.ExtraTreeClassifier函数参数:

  • criterion:{“gini”, “entropy”, “log_loss”}, default=”gini”,衡量分割质量的函数。
  • splitter:{“best”, “random”}, default=”best”,用于在每个节点选择分裂的策略。
  • max_depthint, default=None,树的最大深度。如果没有,则扩展节点,直到所有叶子都是纯的或直到所有叶子包含少于 min_samples_split 样本。
  • min_samples_split:int or float, default=2,分裂内部节点所需的最小样本数。
  • min_samples_leaf:int or float, default=1,叶节点所需的最小样本数。任何深度的分割点只有在左右分支中至少留下 min_samples_leaf 训练样本时才会被考虑。这可能具有平滑模型的效果,尤其是在回归中。
  • min_weight_fraction_leaf:default=0.0,叶节点处所需的(所有输入样本的)权重总和的最小加权分数。当未提供sample_weight时,样本具有相同的权重。
  • max_features:int, float or {“sqrt”, “log2”}, default=None,寻找最佳分割时要考虑的特征数量。
  • random_state:随机数种子, default=None。
  • max_leaf_nodes:int, default=None。
  • min_impurity_decrease:float, default=0.0,如果分裂导致杂质减少大于或等于该值,则节点将被分裂。
  • class_weight:dict or ‘balanced’, default=None,标签权重列表。
  • ccp_alpha:non-negative float, default=0.0,用于最小成本复杂性修剪的复杂性参数。将选择成本复杂度最大且小于 ccp_alpha 的子树。默认情况下,不执行修剪。
  • monotonic_cst:array-like of int of shape (n_features), default=None,表示对每个特征执行的单调性约束。

Neural network models

neural_network.BernoulliRBM函数参数:

  • n_components:int, default=256,二进制隐藏单元的数量。
  • learning_rate:float, default=0.1。
  • batch_size:int, default=10。
  • n_iter:int, default=10。
  • verbose:int, default=0。
  • random_state:int, RandomState instance or None, default=None。

neural_network.MLPClassifier函数参数:

  • hidden_layer_sizes:array-like of shape(n_layers - 2,), default=(100,)。
  • activation:{‘identity’, ‘logistic’, ‘tanh’, ‘relu’}, default=’relu’,隐藏层的激活函数。
  • solver:{‘lbfgs’, ‘sgd’, ‘adam’}, default=’adam’,用于权重优化的求解器。
  • alpha:float, default=0.0001,L2 正则化项的强度。添加到损失时,L2 正则化项除以样本大小。
  • batch_size:int, default=’auto’。
  • learning_rate:{‘constant’, ‘invscaling’, ‘adaptive’}, default=’constant’。
  • learning_rate_init:float, default=0.001。
  • power_t:float, default=0.5,逆缩放学习率的指数。当learning_rate设置为“invscaling”时,它用于更新有效学习率。仅当solver=’sgd’时使用。
  • max_iter:int, default=200。
  • shuffle:bool, default=True,是否在每次迭代中对样本进行打乱。仅当solver=’sgd’或’adam’时使用。
  • random_state:int, RandomState instance or None, default=None。
  • tol:float, default=1e-4,优化的容忍度。如果连续迭代 n_iter_no_change,损失或得分都没有至少提高 tol,除非 learning_rate 设置为 “自适应”,否则就会认为已经达到收敛,并停止训练。
  • verbose:bool, default=False
  • warm_start:bool, default=False,当设置为 True 时,重用先前调用的解来拟合作为初始化,否则,只需擦除先前的解。
  • momentum:float, default=0.9,梯度下降更新的动量。应介于 0 和 1 之间。仅当solver=’sgd’时使用。
  • nesterovs_momentum:bool, default=True,是否使用涅斯捷罗夫动量。仅在求解器='sgd’且动量大于 0 时使用。
  • early_stopping:bool, default=False。
  • validation_fraction:float, default=0.1,留作早期停止验证集的训练数据比例。必须介于 0 和 1 之间。仅在 Early_stopping 为 True 时使用。
  • beta_1:float, default=0.9。
  • beta_2:float, default=0.999。
  • epsilon:float, default=1e-8。
  • n_iter_no_change:int, default=10。
  • max_fun:int, default=15000,仅当solver=’lbfgs’时使用。损失函数调用的最大次数。求解器迭代直至收敛(由“tol”确定)、迭代次数达到 max_iter 或损失函数调用次数。请注意,损失函数调用的次数将大于或等于 MLPClassifier 的迭代次数。
举报

相关推荐

0 条评论