🌟数据处理概述
数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。当下数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度,极大地影响了人类社会发展的进程。数据处理也是大数据,数据分析等后续科学的基本环节。
🌟基本概念
数据 : 能够输入到计算机中并被识别处理的信息集合。
数据存储的发展阶段:
- 人工管理阶段:人为管理,没有固定的格式和存储方法,容易混乱。
- 文件管理阶段 :数据可以长期保存,存储数据量大,使用简单。
- 数据库管理阶段:高效,可以存储更大量数据,便于管理,更加专业。
🌟文件处理
⭐️概述
文件是保存在持久化存储设备(硬盘、U盘、光盘…)上的一段数据,一个文本,一个py文件,一张图片,视频音频等这些都是文件。主要有以下两种类别:
- 文本文件:打开后会自动解码为字符,如txt文件,word文件,py程序文件。
- 二进制文件:内部编码为二进制码,无法通过文字编码解析,如压缩包,音频,视频,图片等。
在python3中引入了 字节串 的概念,与str不同,字节串以字节序列值表达数据,更方便用来处理二进程数据。
⭐️文件读写操作
使用程序操作文件,无外乎对文件进行读或者写
- 读 :即从文件中获取内容
- 写 :即修改文件中的内容
对文件实现读写的基本操作步骤为:打开文件,读写文件,关闭文件。
✨打开文件
打开模式 | 效果 |
---|---|
r | 以只读方式打开,文件必须存在 |
w | 以只写方式打开,文件不存在则创建,存在清空原有内容 |
a | 以 (只) 追加模式打开,文件不存在则创建,存在则继续进行写操作 |
r+ | 以读写模式打开,文件必须存在 |
w+ | 以读写模式打开文件,不存在则创建,存在清空原有内容 |
a+ | 追加并可读模式,文件不存在则创建,存在则继续进行写操作 |
rb | 以二进制读模式打开 同r |
wb | 以二进制写模式打开 同w |
ab | 以二进制追加模式打开 同a |
rb+ | 以二进制读写模式打开 同r+ |
wb+ | 以二进制读写模式打开 同w+ |
ab+ | 以二进制读写模式打开 同a+ |
文件打开代码示例:open_file.py
# 读方式打开文件
file = open("../day02/2.txt","r")
# 写方法打开
file = open("file.txt","w") # 清除原来内容
file = open("file.txt","a") # 不会清除原来内容
# 操作文件
···
# 关闭
file.close()
✨读取文件
-
方法1
-
方法2
-
方法3
-
方法4
✨写入文件
-
方法1
-
方法2
✨关闭文件
打开一个文件后我们就可以通过文件对象对文件进行操作了,当操作结束后可以关闭文件操作
file_object.close()
- 可以销毁对象节省资源,(当然如果不关闭程序结束后对象也会被销毁)。
- 防止后面对这个对象的误操作。
✨with操作
python中的with语句也可以用于访问文件,在语句块结束后会自动释放资源。
with context_expression [as obj]:
with-body
with访问文件。语句块结束后会自动释放f所以不再需要close().
with open('file','r+') as f:
f.read()
✨读写缓冲区
-
定义
系统自动的在内存中为每一个正在使用的文件开辟一个空间,在对文件读写时都是先将文件内容加载到缓冲区,再进行读写。 -
作用
- 减少和磁盘的交互次数,保护磁盘。
- 提高了对文件的读写效率。(次次从硬盘读写,速度太慢了)
-
缓冲区设置
类型 设置方法 注意事项 系统自定义 buffering=-1 行缓冲 buffering=1 当遇到\n时会刷新缓冲 指定缓冲区大小 buffering=[>1] 必须以二进制方式打开 -
刷新缓冲区条件
- 缓冲区被写满
- 程序执行结束或者文件对象被关闭
- 程序中调用flush()函数,主动刷新缓冲区。
file_obj.flush()
✨文件偏移量
-
定义
打开一个文件进行操作时系统会自动生成一个记录,记录每次读写操作时所处的文件位置,每次文件的读写操作都是从这个位置开始进行的。
注意:
- r或者w方式打开,文件偏移量在文件开始位置
- a方式打开,文件偏移量在文件结尾位置
-
文件偏移量控制
⭐️os模块
os模块是Python标准库模块,包含了大量的文件处理函数。
-
获取文件大小
os.path.getsize(file) 功能: 获取文件大小 参数: 指定文件 返回值: 文件大小
-
查看文件列表
os.listdir(dir) 功能: 查看文件列表 参数: 指定目录 返回值:目录中的文件名列表
-
判断文件是否存在
os.path.exists(file) 功能: 判断文件是否存在 参数: 指定文件 返回值: 布尔值
-
删除文件
os.remove(file) 功能: 删除文件 参数: 指定文件