0
点赞
收藏
分享

微信扫一扫

Python 异常值处理 箱线图、3σ原则 (机器学习)


🌠 『精品学习专栏导航帖』

  • 🐳​​最适合入门的100个深度学习实战项目​​🐳
  • 🐙​​【PyTorch深度学习项目实战100例目录】项目详解 + 数据集 + 完整源码​​🐙
  • 🐶​​【机器学习入门项目10例目录】项目详解 + 数据集 + 完整源码​​🐶
  • 🦜​​【机器学习项目实战10例目录】项目详解 + 数据集 + 完整源码​​🦜
  • 🐌​​Java经典编程100例​​🐌
  • 🦋​​Python经典编程100例​​🦋
  • 🦄​​蓝桥杯历届真题题目+解析+代码+答案​​🦄
  • 🐯​​【2023王道数据结构目录】课后算法设计题C、C++代码实现完整版大全​​🐯

文章目录

  • ​​✌ 查看数据异常值​​
  • ​​1、✌ 箱线图​​
  • ​​✌ 下四分位数Q1:​​
  • ​​✌ 中位数Q2:​​
  • ​​✌ 上四分位数Q3:​​
  • ​​✌ 四分位距IQR:​​
  • ​​✌ 下限:​​
  • ​​✌ 上限​​
  • ​​2、✌ 3σ原则​​
  • ​​3、✌ 代码测试​​
  • ​​3.1 ✌ 导库​​
  • ​​3.2 ✌ 创建数据​​
  • ​​3.3 ✌ 箱线图​​
  • ​​3.4 ✌ 3σ原则​​

✌ 查看数据异常值

1、✌ 箱线图

Python 异常值处理 箱线图、3σ原则 (机器学习)_数据分析

✌ 下四分位数Q1:

数据的1/4位置,Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的项数。
例如100个数据,Q1所在位置=(100+1)/ 4
Q1=0.25×Q1位置+0.75×(Q1位置+1)

✌ 中位数Q2:

Q2所在位置=2 *(100+1)/ 4
位于数据的中间位置
Q1=0.5×Q2位置+0.5×(Q2位置+1)

✌ 上四分位数Q3:

Q3所在位置=3 *(100+1)/ 4
Q3=0.75×Q3位置+0.25×(Q3位置+1)
位于数据的3/4位置

✌ 四分位距IQR:

IQR=Q3-Q1

✌ 下限:

下限是非异常范围内的最小值。
下限=Q1-1.5IQR

✌ 上限

上限是非异常范围内的最大值。
上限=Q3+1.5IQR

2、✌ 3σ原则

Python 异常值处理 箱线图、3σ原则 (机器学习)_大数据_02

在正态分布中
σ代表标准差,μ代表均值,x=μ即为图像的对称轴
3σ原则为
数值分布在(μ-σ,μ+σ)中的概率为0.6826
数值分布在(μ-2σ,μ+2σ)中的概率为0.9544
数值分布在(μ-3σ,μ+3σ)中的概率为0.9974
可以认为,Y 的取值几乎全部集中在(μ-3σ,μ+3σ)]区间内,超出这个范围的可能性仅占不到0.3%。
所以可以利用该性质剔除异常值

3、✌ 代码测试

3.1 ✌ 导库

import pandas as pd
import numpy as np

3.2 ✌ 创建数据

x=np.random.randint(10,100,(100000,10))
x=pd.DataFrame(x)
rows=np.random.randint(1,100000,100)
cols=np.random.randint(0,10,100)
x.iloc[rows,cols]=1000
(x==99999999).sum()

Python 异常值处理 箱线图、3σ原则 (机器学习)_人工智能_03

3.3 ✌ 箱线图

x.boxplot()

Python 异常值处理 箱线图、3σ原则 (机器学习)_数据_04

3.4 ✌ 3σ原则

a=pd.DataFrame()
for i in x.columns:
z=(x[i]-x[i].mean())/x[i].std()
a[i]=abs(z)>3
a.sum()

Python 异常值处理 箱线图、3σ原则 (机器学习)_数据分析_05


举报

相关推荐

0 条评论