python数据分析基础02——pandas相关操作

文章目录

• • • pandas高级操作
    • • 替换操作
      • 映射操作
      • 运算工具
      • 排序实现的随机抽样
      • 数据的分类处理
      • 高级数据聚合
      • 数据加载
      • 透视表
      • 交叉表

pandas高级操作

import pandas as pd
import numpy as np
from pandas import DataFrame

替换操作

• 替换操作可以同步作用于Series和DataFrame中

• 单值替换

  • 普通替换： 替换所有符合要求的元素:to_replace=15,value=‘e’
  • 按列指定单值替换： to_replace={列标签：替换值} value=‘value’

• 多值替换

  • 列表替换: to_replace=[] value=[]
  • 字典替换（推荐） to_replace={to_replace:value,to_replace:value}

df = DataFrame(data=np.random.randint(0,20,size=(8,5)))
df

#全局替换
df.replace(to_replace=1,value='one')

#多值替换：将多个值替换成指定形式
df.replace(to_replace={1:'one',3:'three'})

#指定列的替换:字典的key表示指定的列索引，字典的value值就是要替换的元素
df.replace(to_replace={3:17},value='one')

映射操作

• 概念：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定（给一个元素值提供不同的表现形式）

• 创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名

dic = {
    'name':['张三','李四','王五','张三'],
    'salary':[5000,6000,5500,5000]
}
df = DataFrame(data=dic)
df

#映射关系表
dic = {
    '李四':'Jerry',
    '王五':'Jack',
    '张三':'Tom'
}
e_name = df['name'].map(dic)
df['e_name'] = e_name
df

• map是Series的方法，只能被Series调用

运算工具

• 超过3000部分的钱缴纳50%的税，计算每个人的税后薪资

def after_sal(s):
    return s - (s-3000)*0.5
after_salary = df['salary'].map(after_sal)
df['after_salary'] = after_salary
df

• Series的方法apply也可以像map一样充当运算工具
  • apply充当运算工具效率要远远高于map

def after_sal(s):
    return s - (s-3000)*0.5
after_salary = df['salary'].apply(after_sal)
after_salary

0    4000.0
1    4500.0
2    4250.0
3    4000.0
Name: salary, dtype: float64

排序实现的随机抽样

• take()
• np.random.permutation(n)：返回0-（n-1）之间的随机序列

df = DataFrame(data=np.random.random(size=(100,3)),columns=['A','B','C'])
df.head()

#将行打乱
df.take(np.random.permutation(100),axis=0)

100 rows × 3 columns

#将行列打乱
df.take(np.random.permutation(100),axis=0).take(indices=np.random.permutation(3),axis=1)

100 rows × 3 columns

#将行列打乱,然后进行随机抽样
df.take(np.random.permutation(100),axis=0).take(indices=np.random.permutation(3),axis=1)[0:5]

数据的分类处理

• 数据分类处理的核心：

  • groupby()函数
  • groups属性查看分组情况

df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
                'price':[4,3,3,2.5,4,2],
               'color':['red','yellow','yellow','green','green','green'],
               'weight':[12,20,50,30,20,44]})
df

df.groupby(by='item')#返回了DataFrameGroupBy对象，分组的结果都存储在了该对象中

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x7fea8c556460>

#groups查看分组详情
df.groupby(by='item').groups

{'Apple': [0, 5], 'Banana': [1, 3], 'Orange': [2, 4]}

#计算每种水果的平均价格
df.groupby(by='item').mean()
df.groupby(by='item').mean()['price'] #不推荐:浪费了算力

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

df.groupby(by='item')['price'].mean()#推荐方式

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

#多个分组条件
df.groupby(by=['item','color'])
df.groupby(by=['color','item']).sum()

#需求：计算出每种水果的平均价格，然后将平均价格汇总到原始的表格中
mean_price_s = df.groupby(by='item')['price'].mean()
mean_price_s

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

dic = mean_price_s.to_dict() #映射关系表
df['mean_price'] = df['item'].map(dic)
df

#每种颜色水果的平均重量
mean_weight_s = df.groupby(by='color')['weight'].mean()
dic = mean_weight_s.to_dict()
mean_weight = df['color'].map(dic)
df['mean_weight'] = mean_weight
df

高级数据聚合

• 使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算
• df.groupby(‘item’)[‘price’].sum() <==> df.groupby(‘item’)[‘price’].apply(sum)
• transform和apply都会进行运算，在transform或者apply中传入函数即可
• transform和apply也可以传入一个lambda表达式

def my_mean(p):
    sum = 0
    for i in p:
        sum += i
    return sum / len(p)

# 每种水果的平均价格值，不需要做映射就可汇总到原始表
df.groupby(by='item')['price'].transform(my_mean)

0    3.00
1    2.75
2    3.50
3    2.75
4    3.50
5    3.00
Name: price, dtype: float64

# 每种水果的平均价格值，需要做映射才能汇总到原始表
df.groupby(by='item')['price'].apply(my_mean)

item
Apple     3.00
Banana    2.75
Orange    3.50
Name: price, dtype: float64

数据加载

• 读取type-.txt文件数据

df = pd.read_csv('./data/type-.txt')
df

df = pd.read_csv('./data/type-.txt',sep='-')
df

df = pd.read_csv('./data/type-.txt',sep='-',header=None)
df

#\s+表示一个或者多个空格
df = pd.read_csv('./data/test.txt',sep='\s+',header=None)
df

#修改列索引
df.columns = ['a','b','c']
df

df.rename(index={0:'a1',1:'a2',2:'a3'})

#参数names可以在读取数据的时候直接修改列索引
df = pd.read_csv('./data/test.txt',sep='\s+',header=None,names=['A','B','C'])
df

透视表

• 透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。

• 透视表的优点：

  • 灵活性高，可以随意定制你的分析计算要求
  • 脉络清晰易于理解数据
  • 操作性强，报表神器

df = pd.read_csv('./data/透视表-篮球赛.csv')
df.head()

pivot_table有四个最重要的参数index、values、columns、aggfunc

• index参数：分类汇总的分类条件
  • 每个pivot_table必须拥有一个index。如果想查看哈登对阵每个队伍的得分则需要对每一个队进行分类并计算其各类得分的平均值：

df.pivot_table(index='胜负')

• 想看看哈登对阵同一对手在不同主客场下的数据，分类条件为对手和主客场

df.pivot_table(index=['对手','主客场'])

• values参数：需要对计算的数据进行筛选
  • 如果我们只需要哈登在主客场和不同胜负情况下的得分、篮板与助攻三项数据：

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])

• Aggfunc参数：设置我们对数据聚合时进行的函数操作

  • 当我们未设置aggfunc时，它默认aggfunc='mean’计算均值。

• 还想获得james harden在主客场和不同胜负情况下的总得分、总篮板、总助攻时：

df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'],aggfunc='sum')

df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'sum','篮板':'mean','助攻':'min'})

• Columns:可以设置列层次字段
  • 对values字段进行分类

#获取所有队主客场的总得分
df.pivot_table(index='主客场',values='得分',aggfunc='sum')

#查看主客场下的总得分的组成元素是谁
df.pivot_table(index='主客场',values='得分',aggfunc='sum',columns='对手',fill_value=0)

交叉表

• 是一种用于计算分组的特殊透视图,对数据进行汇总
• pd.crosstab(index,colums)
  • index:分组数据，交叉表的行索引
  • columns:交叉表的列索引

import pandas as pd
from pandas import DataFrame

df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],
               'age':[15,23,25,17,35,57,24,31,22],
               'smoke':[True,False,False,True,True,False,False,True,False],
               'height':[168,179,181,166,173,178,188,190,160]})
df

• 求出各个性别抽烟的人数

#分组
df.groupby(by='sex')['smoke'].sum()
#透视
df.pivot_table(index='sex',values='smoke',aggfunc='sum')

pd.crosstab(df.smoke,df.sex)

pd.crosstab(df.sex,df.smoke)

• 求出各个年龄段抽烟人情况

pd.crosstab(df.smoke,df.age)