python pandas csv 大文件 DataFrame转换为List

python 将大文件读取为 ​​DataFrame​​ 时，直接对整个文件进行读取会比较耗时，甚至内存还会不足。

​​https://pandas.pydata.org/pandas-docs/stable/user_guide/io.html#reading-multiple-files-to-create-a-single-dataframe​​

这里使用指定 ​​chunksize​​ 指定分块大小，也就是分批读取。

import pandas as pd

# pandas 读取csv大文件，指定分块大小
csv_data = pd.read_csv('2021-11.csv', chunksize=1)

for item in csv_data:
    # DataFrame 转换为 List
    data = item.values.tolist()
    print(data)
    break

# [[657397242, 4287.48, 0.238, 1020.42024, 1635724800369, False, True]]

遍历 ​​csv_data​​​ 时，每个 ​​item​​​ 将会是你分块元素的大小，如果需要将 ​​Dataframe​​​ 转换成列表，可以直接使用 ​​Dataframe.values.tolist()​​ 转换成列表