0
点赞
收藏
分享

微信扫一扫

Python-玩转数据-I/O操作小结

谷中百合517 2022-03-13 阅读 57

一、说明

在大量数据的今天,存储的数据量的增长已经远远超过了随机存储内存(RAM)的能力,通常处理的数据不超过GB的大小,对Python以及其科学计算库,例如NumPy, pandas和PyTables来说是很合适的。这样规模的数据集合也可以在内存中进行分析(归因于目前比较快的CPU和GPU),但是即使是在内存中处理,也需要将数据从磁盘上读入,结果再写回磁盘,这都是需要I/O操作的。

二、将对象写入磁盘

1、pickle模块

pickle提供了一个简单的持久化功能。可以将对象以文件的形式存放在磁盘上。pickle模块只能在python中使用,python中几乎所有的数据类型(列表,字典,集合,类等)都可以用pickle来序列化,pickle序列化后的数据,人一般无法识别。pickle模块对于错误或恶意构造的数据是不安全的。

import pickle

if __name__=='__main__':
    path='test1'
    f 
举报

相关推荐

0 条评论