Pandas——练习题一

文章目录

• ​​练习一：(使用jupyter notebook 工具)​​

• ​​Step 1. 给定的原始数据集​​
• ​​Step 2. 创建一个DataFrame，并赋值给变量army​​
• ​​Step 3. 指定列为索引：设定数据中的origin字段为索引​​
• ​​Step 4. 筛选出列 regiments 的值不为"Dragns"的所有数据​​
• ​​Step 5. 获取指定行与列，区域行与区域列（单独切片--连续切片）​​

• ​​练习二：在校生饮酒消费数据分析​​

• ​​Step 1. 导入相关的模块​​
• ​​Step 2. 导入数据，并赋值给变量df​​
• ​​Step 3. 连续切片（获取[school:guardian]两列以及中间的所有数据）​​
• ​​Step 4. 将数据列 Mjob 和 Fjob中所有数据实现首字母大写​​
• ​​Step 5.创建一个名为majority函数，并根据age列数据返回一个布尔值添加到新的数据列，列名为 legal_drinker (根据年龄这一列数据，大于17岁为合法饮酒)​​

• ​​练习三：身份证数据筛选​​

• ​​1. 导入数据并筛选出不同类型的身份证数据​​
• ​​2 筛选身份证所有字段​​

练习一：(使用jupyter notebook 工具)

import pandas as pd
import numpy as np
from pandas import Series,DataFrame

Step 1. 给定的原始数据集

raw_data = {'regiment':['Nighks','Nighks','Nighks','Nighks','Dragns','Dragns','Dragns','Dragns','Scts','Scts','Scts','Scts'],
            'company': ['1st', '1st', '2nd', '2nd', '1st', '1st', '2nd', '2nd','1st', '1st', '2nd', '2nd'],
            'deaths': [523, 52, 25, 616, 43, 234, 523, 62, 62, 73, 37, 35],
            'battles': [5, 42, 2, 2, 4, 7, 8, 3, 4, 7, 8, 9],
            'size': [1045, 957, 1099, 1400, 1592, 1006, 987, 849, 973, 1005, 1099, 1523],
            'veterans': [1, 5, 62, 26, 73, 37, 949, 48, 48, 435, 63, 345],
            'readiness': [1, 2, 3, 3, 2, 1, 2, 3, 2, 1, 2, 3],
            'armored': [1, 0, 1, 1, 0, 1, 0, 1, 0, 0, 1, 1],
            'deserters': [4, 24, 31, 2, 3, 4, 24, 31, 2, 3, 2, 3],
            'origin':['Arizona','Calif','Texas','Florida','Maine','Iowa','Alaska','Washiton','Oregon','Wyoming','Louina','Gegia']}

Step 2. 创建一个DataFrame，并赋值给变量army

army = DataFrame(raw_data)
army.head()

Step 3. 指定列为索引：设定数据中的origin字段为索引

army1 = army.set_index(["origin"])
army1.head()

Step 4. 筛选出列 regiments 的值不为"Dragns"的所有数据

army1.loc[army1["regiment"] != "Dragns"]

Step 5. 获取指定行与列，区域行与区域列（单独切片–连续切片）

1. 筛选出 第 3–6行，第3列、 第7列这两列的所有数据（如下左侧表）
2. 筛选出 第 3–6行，第3–6列的所有数据（如下中部表）
3. 筛选出 第 3、5、7、9行，第3、7列这两列的所有数据（自由切片、如下右侧表）

army1.iloc[2:6,[2,6]]       # 1.筛选出 第 3-6行，第3列、 第7列这两列的所有数据
army1.iloc[2:6,2:6]         # 2.筛选出 第 3--6行，第3--6列的所有数据
army1.iloc[[2,4,6,8],[2,6]] # 2.筛选出 第 3、5、7、9行，第3列、第7列的所有数据

练习二：在校生饮酒消费数据分析

Step 1. 导入相关的模块

import pandas as pd
import numpy as np
from pandas import Series,DataFrame

Step 2. 导入数据，并赋值给变量df

df = pd.read_csv("./datasets/Student_Alcohol.csv") 
df.head()

395 rows × 33 columns

Step 3. 连续切片（获取[school:guardian]两列以及中间的所有数据）

df.iloc[:,0:12]

395 rows × 12 columns

Step 4. 将数据列 Mjob 和 Fjob中所有数据实现首字母大写

data2 = df.iloc[:,[8,9]]                         #获取 "Mjob"，"Fjob" 两列
data21 = Series(data2["Mjob"])                   #将两列转成Series格式
data22 = Series(data2["Fjob"])
df["Mjob"] =data21.map(lambda x:x.capitalize())  #将"Mjob"列所有值 首字母大写
df["Fjob"] =data22.map(lambda x:x.capitalize())  #将"Fjob"列所有值 首字母大写
df         #查看执行效果

395 rows × 12 columns

Step 5.创建一个名为majority函数，并根据age列数据返回一个布尔值添加到新的数据列，列名为 legal_drinker (根据年龄这一列数据，大于17岁为合法饮酒)

majority = lambda x:["合法" if x>17 else "不合法"] 
df["legal_drinker"] = df["age"].map(majority)
df.head()

练习三：身份证数据筛选

正则测试网站：https://c.runoob.com/front-end/854

1. 导入数据并筛选出不同类型的身份证数据

import pandas as pd
import re
import numpy as np
from pandas import DataFrame,Series


excel_path = '././hehe_re_id_card2.xls'
All_data = pd.read_excel(excel_path)
idcard_face = All_data[All_data.type == "身份证人像面"]
idcard_back = All_data[All_data.type == "身份证国徽面"]
idcard_face_back = All_data[All_data.type == "身份证正反两面"]
idcard_face_back.head()

2 筛选身份证所有字段

# 姓名: 长度[2,4]的中文（无其它任意字符）
def Name(idcard_face):
    idcard_face = idcard_face[(idcard_face.name.str.len()>=2) & (idcard_face.name.str.len()<=4)]
    idcard_face['name_zh'] = idcard_face.name.str.findall('[\u4e00-\u9fa5]')
    idcard_face['name_zh'] = idcard_face['name_zh'].str.join("")
    idcard_face = idcard_face.loc[idcard_face['name_zh'].str.len()==idcard_face['name'].str.len()]
    return idcard_face

# 出生：符合正则：\d{4}年\d{1,2}月\d{1,2}日
def Birthday(idcard_face):
    idcard_face = idcard_face[(idcard_face.birthday.str.len() >= 9) & (idcard_face.birthday.str.len() <= 11)]
    re_date = re.compile("\d{4}年\d{1,2}月\d{1,2}日")
    idcard_face = idcard_face.loc[idcard_face["birthday"].str.match(re_date)]
    return idcard_face

# 性别：男或女
def Sex(idcard_face):
    return idcard_face.loc[(idcard_face.sex == '男') | (idcard_face.sex == '女')]

# 民族：属于peoples 列表中的五十六个民族
def Peoples(idcard_face):
    peoples = ['汉', '蒙古', '回', '藏', '维吾尔', '苗', '彝', '壮', '布依', '朝鲜', '满', '侗', '瑶',\
               '白', '土家', '哈尼', '哈萨克', '傣', '黎', '傈僳', '佤', '畲', '高山', '拉祜', '水',\
               '东乡', '纳西', '景颇', '柯尔克孜', '土', '达斡尔', '仫佬', '羌', '布朗', '撒拉', '毛南',\
               '仡佬', '锡伯', '阿昌', '普米', '塔吉克', '怒', '乌孜别克', '俄罗斯', '鄂温克', '德昂',\
               '保安', '裕固', '京', '塔塔尔', '独龙', '鄂伦春', '赫哲', '门巴', '珞巴', '基诺族']
    return idcard_face[idcard_face.people.isin(peoples)]

def re_adress(x):
    pattern = re.compile(r'^([\u4E00-\u9FA5A-Z0-9]+(省|市|区|县|乡|镇|村|路|弄|街|楼|户|房|号|组|队|室)){2,}$')
    result = pattern.search(x)
    if result!=None:
        return result.group()
    else:
        return ""

def Address(idcard_face):
    idcard_face = idcard_face[(idcard_face.address.str.len() >= 11)]
    idcard_face["address"] = idcard_face["address"].apply(re_adress)
    idcard_face = idcard_face[(idcard_face.address.str.len() >= 9)]

    idcard_face["address_pro"] = idcard_face['address'].str.extract("([\u4E00-\u9FA5]+)省", expand=False)
    idcard_face_pro = idcard_face[idcard_face["address_pro"].str.len() >= 1]
    provice = ['河北', '山西', '辽宁', '吉林', '黑龙江', '江苏', '浙江', '安徽',\
               '福建', '江西', '山东', '河南', '湖北', '湖南', '广东', '海南',\
               '四川', '贵州', '云南', '陕西', '甘肃', '青海']
    idcard_face_pro_ok = idcard_face_pro[idcard_face_pro.address_pro.isin(provice)]

    idcard_face_pro = idcard_face_pro.append(idcard_face_pro_ok)
    idcard_face_pro = idcard_face_pro.append(idcard_face_pro_ok)
    idcard_face_diff = idcard_face_pro.drop_duplicates(subset=['filename', 'type', 'name', 'sex', 'people', \
                                                               'birthday', 'address', 'id_number', 'issue_authority', \
                                                               'validity', 'error_msg', 'eep_id', 'address_pro'],
                                                       keep=False)
    idcard_face = idcard_face.append(idcard_face_diff)
    idcard_face = idcard_face.append(idcard_face_diff)
    idcard_face = idcard_face.drop_duplicates(subset=['filename', 'type', 'name', 'sex', 'people',\
                                                      'birthday', 'address', 'id_number', 'issue_authority',\
                                                      'validity', 'error_msg', 'eep_id'], keep=False)
    return idcard_face




def Id_number(idcard_face):
    idcard_face = idcard_face.loc[idcard_face["id_number"].str.len() == 18]
    idcard_face["id_number_start"] = idcard_face.id_number.str[:17]
    idcard_face["id_number_end"] = idcard_face.id_number.str[-1]
    x_number = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'X']
    idcard_face = idcard_face[(idcard_face.id_number_start.str.isdigit()) & \
                              (idcard_face.id_number_end.isin(x_number))]
    return idcard_face


def Issue_authority(idcard_back):
    idcard_back = idcard_back[(idcard_back.issue_authority.str.len() >= 5) & \
                              (idcard_back.issue_authority.str.len() <= 15)]
    idcard_back['issue_authority_zh'] = idcard_back.issue_authority.str.findall('[\u4e00-\u9fa5]')
    idcard_back['issue_authority_zh'] = idcard_back['issue_authority_zh'].str.join("")
    idcard_back = idcard_back.loc[idcard_back['issue_authority_zh'].str.len() ==\
                                  idcard_back['issue_authority'].str.len()]
    idcard_back = idcard_back[(idcard_back.issue_authority.str.endswith("分局")) | \
                              (idcard_back.issue_authority.str.endswith("公安局"))]
    return idcard_back


def Validity(idcard_back):
    re_valid1 = re.compile("\d{4}.\d{2}.\d{2}-\d{4}.\d{2}.\d{2}")
    re_valid2 = re.compile("\d{4}.\d{2}.\d{2}-长期")
    idcard_back = idcard_back.loc[(idcard_back["validity"].str.match(re_valid1)) | \
                                  (idcard_back["validity"].str.match(re_valid2))]
    return idcard_back


def Idcard_face(idcard_face):
    idcard_face = Id_number(idcard_face)
    idcard_face = Birthday(idcard_face)
    idcard_face = Sex(idcard_face)
    idcard_face = Name(idcard_face)
    idcard_face = Peoples(idcard_face)
    idcard_face = Address(idcard_face)
    return idcard_face

def Idcard_back(idcard_back):
    idcard_back = Issue_authority(idcard_back)
    idcard_back = Validity(idcard_back)
    return