爬虫-requests和Selenium

1. Pandas绘图

• Series和DataFrame都有一个用于生成各类图表的plot方法
• Pandas的绘图时基于Matplotlib，可以快速实现基本图形的绘制，复杂的图形还是需要用Matplotlib

# 导包
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

2. 折线图

2.1 Series图表

s = pd.Series([100,250,300,200,150,100])
s
s.plot()

<Axes: >

• 画正弦曲线

# sin曲线
x = np.arange(0,2*np.pi,0.1)
x

y = np.sin(x)

s = pd.Series(data=y,index=x)
s

s.plot()

<Axes: >

2.2 DataFrame图表

• 图例的位置可能会随着数据的不同而不同

data = np.random.randint(50,100,size=(5,6))
index =["1st","2nd","3th","4th","5th"]
columns = ["Jeff","Jack","Rose","Luck","Lily","Bob"]
df = pd.DataFrame(data=data,index=index,columns=columns)
df

# 每一列一根线
df.plot()

<Axes: >

# 每一行一根线
df.T.plot()

<Axes: >

3. 柱状图和条形图

3.1 Series柱状图示例，kind = ‘bar’/‘barh’

s = pd.Series(data=[100,200,300,200])
s.index = ["Lily","Lucy","Jack","Rose"]
"""
kind : str
    The kind of plot to produce:

    - 'line' : line plot (default)
    - 'bar' : vertical bar plot
    - 'barh' : horizontal bar plot
    - 'hist' : histogram
    - 'box' : boxplot
    - 'kde' : Kernel Density Estimation plot
    - 'density' : same as 'kde'
    - 'area' : area plot
    - 'pie' : pie plot
    - 'scatter' : scatter plot (DataFrame only)
    - 'hexbin' : hexbin plot (DataFrame only)
"""
# 柱状图
s.plot(kind="bar")

<Axes: >

# 条形图
s.plot(kind="barh")

<Axes: >

df = pd.DataFrame(data=np.random.rand(10,4))
# 第一种方式
df.plot(kind="bar")

<Axes: >

# 第二种方式
df.plot.bar()

<Axes: >

# 是否堆叠
df.plot.bar(stacked=True)

<Axes: >

3.2 DataFrame柱形图示例

data = np.random.randint(0,100,size=(4,3))
index = list("ABCD")
columns = ["Python","NumPy","Pandas"]
df = pd.DataFrame(data=data,index=index,columns=columns)
df

df.plot(kind="bar")

<Axes: >

df.plot(kind="barh")

<Axes: >

3.3 聚会规模可视化项目

• 读取文件 tips.csv，查看每天各种聚会规模的比例
• 求和 df.sum()，注意灵活使用 axis
• df.div()：获取数 DataFrame 和其他元素的浮点除法

tips = pd.read_csv("11_Pandas绘图_tips.csv")
tips

把day作为行索引

tips2 = tips.set_index("day")
tips2

求每天的聚会规模

day_sum = tips2.sum(axis=1)
day_sum

day
Fri     19
Stat    87
Sun     76
Thur    62
dtype: int64

每天各种聚会规模的比例

tips3 = tips2.div(day_sum,axis=0)
tips3

tips3.plot(kind="bar")

<Axes: xlabel='day'>

4. 直方图

4.1rondom生成随机百分比直方图，调用hist方法

• 柱高表示数据的频数，柱宽表示各组数据的组距
• 参数bins可以设置直方图方柱的个数上限，越大柱宽小，数据分组越细致
• 设置density参数为True，可以把频数转换为概率

s = pd.Series([1,2,2,2,2,2,2,3,3,4,5,5,5,6,6])
s.plot(kind="hist")

<Axes: ylabel='Frequency'>

# bins=5 表示分为5组
s.plot(kind="hist",bins=5)

<Axes: ylabel='Frequency'>

# density：频数转换为概率
s.plot(kind="hist",bins=5,density=True)

<Axes: ylabel='Frequency'>

4.2 kde图：核密度估计，用于弥补直方图由于参数bins设置的不合理导致的精度缺失问题

# kde图：核密度估计
s.plot(kind="hist",bins=5,density=True)
# 可以结合上面的直方图一起显示，效果更好
s.plot(kind="kde")

<Axes: ylabel='Density'>

4. 饼图

• 主要是用来描述占比

df = pd.DataFrame(data=np.random.rand(4,2),
                  index=list("ABCD"),
                  columns=["Python","Java"]
                 )
df

# 画饼图，autopct：显示百分比占比
df["Python"].plot(kind="pie",autopct="%.1f%%")

<Axes: ylabel='Python'>

# subplots：子图
df.plot.pie(subplots=True,figsize=(8,8))

array([<Axes: ylabel='Python'>, <Axes: ylabel='Java'>], dtype=object)

• pandas画图：快速画简单的图
• 复杂的图可以用matplotlib

5. 散点图

• 散点图是观察两个一维数据列之间的关系有效方法，DataFrame对象可用

data = np.random.normal(size=(1000,2))
data

df = pd.DataFrame(data=data,columns=list("AB"))
df.head()

# 一般用于显示两列数据
df.plot(kind="scatter",x="A",y="B")

<Axes: xlabel='A', ylabel='B'>

# 方式二
# x="A"：使用A列作为X轴
# y="B"：使用B列作为Y轴
df.plot.scatter(x="A",y="B")

<Axes: xlabel='A', ylabel='B'>

6. 面积图

df = pd.DataFrame(data=np.random.rand(10,4),columns=list("ABCD"))
df

df.plot(kind="area")

<Axes: >

# 堆叠
df.plot.area(stacked=True)

<Axes: >

7. 箱型图

df = pd.DataFrame(data=np.random.rand(10,4),columns=list("ABCD"))
df

df.plot(kind="box")

<Axes: >

# 数据显示位置：最大值、75%、50%、25%、最小值
# 圆点：离群点表示异常值
df.plot.box()

<Axes: >