一、说明
在大量数据的今天,存储的数据量的增长已经远远超过了随机存储内存(RAM)的能力,通常处理的数据不超过GB的大小,对Python以及其科学计算库,例如NumPy, pandas和PyTables来说是很合适的。这样规模的数据集合也可以在内存中进行分析(归因于目前比较快的CPU和GPU),但是即使是在内存中处理,也需要将数据从磁盘上读入,结果再写回磁盘,这都是需要I/O操作的。
二、将对象写入磁盘
1、pickle模块
pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。pickle模块只能在python中使用,python中几乎所有的数据类型(列表,字典,集合,类等)都可以用pickle来序列化,pickle序列化后的数据,人一般无法识别。pickle模块对于错误或恶意构造的数据是不安全的。
import pickle
if __name__=='__main__':
path='test1'
f