提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

Python 基础课程第十天

• 第八章文件操作(IO 技术)
• • 文本文件和二进制文件
  • 文件操作相关模块概述
  • 创建文件对象open()
  • 文本文件的写入
  • • 基本的文件写入操作
    • 常用编码介绍
    • • ASCII
      • ISO8859-1
      • GB2312,GBK,GB18030
      • Unicode
      • UTF-8
    • 中文乱码问题
    • write()/writelines()写入数据
    • close()关闭文件流
    • with 语句(上下文管理器)
  • 文本文件的读取
  • 二进制文件的读取和写入
  • 文件对象的常用属性和方法
  • 使用pickle 序列化
  • CSV 文件的操作
  • • csv.reader 对象和csv 文件读取
    • csv.writer 对象和csv 文件写入
  • os 和os.path 模块
  • • os 模块-调用操作系统命令
    • os 模块-文件和目录操作
    • os.path 模块
    • walk()递归遍历所有文件和目录
  • shutil 模块(拷贝和压缩)
  • 递归算法

第八章文件操作(IO 技术)

一个完整的程序一般都包括数据的存储和读取；我们在前面写的程序数据都没有进行实际的存储，因此python 解释器执行完数据就消失了。实际开发中，我们经常需要从外部存储介质（硬盘、光盘、U 盘等）读取数据，或者将程序产生的数据存储到文件中，实现“持久化”保存。
有基础的同学知道，很多软件系统是将数据存储的数据库中；数据库实际也是基于文件形式存储的，本章我们就学习文件的相关操作。

文本文件和二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件
   文本文件存储的是普通“字符”文本，python 默认为unicode 字符集（两个字节表示一个字符，最多可以表示：65536 个），可以使用记事本程序打开。但是，像word 软件编辑的文档不是文本文件。

2. 二进制文件
   二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

文件操作相关模块概述

Python 标准库中，如下是文件操作相关的模块，我们会陆续给大家介绍。

创建文件对象open()

open()函数用于创建文件对象，基本语法格式如下：

	open(文件名[,打开方式])

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。示例如下：

	f = open(r"d:\b.txt","w")

打开方式有如下几种：

文本文件对象和二进制文件对象的创建：
如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”。

文本文件的写入

基本的文件写入操作

文本文件的写入一般就是三个步骤：

1. 创建文件对象
2. 写入数据
3. 关闭文件对象

我们首先创建一个小程序，体验一下文本文件的写入操作。
【操作】文本写入操作简单测试

f=open(r"b.txt","a")
s="itbaizhan\nsxt\n"
f.write(s)
f.close()

运行结果：
itbaizhan
sxt

常用编码介绍

在操作文本文件时，经常会操作中文，这时候就经常会碰到乱码问题。为了让大家有能力解决中文乱码问题，这里简单介绍一下各种编码之间的关系。

ASCII

全称为American Standard Code for Information Interchange，美国信
息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。
ASCII 码用7 位表示，只能表示128 个字符。只定义了27=128 个字符，用
7bit 即可完全编码，而一字节8bit 的容量是256，所以一字节ASCII 的编码最
高位总是0。

ISO8859-1

ISO-8859-1 又称Latin-1，是一个8 位单字节字符集，它把ASCII 的最高
位也利用起来，并兼容了ASCII，新增的空间是128，但它并没有完全用完。
在ASCII 编码之上又增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语
对应的文字符号，它是向下兼容ASCII 编码

GB2312,GBK,GB18030

·GB2312
GB2312 全称为信息交换用汉字编码字符集，是中国于1980 年发布，主要
用于计算机系统中的汉字处理。GB2312 主要收录了6763 个汉字、682 个符号。
GB2312 覆盖了汉字的大部分使用率，但不能处理像古汉语等特殊的罕用字，所以后来出现了像GBK、GB18030 这种编码。

GB2312 完全兼容ISO8859-1。

·GBK
全称为Chinese Internal Code Specification，即汉字内码扩展规范，于1995 年制定。它主要是扩展了GB2312，在它的基础上又加了更多的汉字，它一共收录了21003 个汉字
·GB18030
现在最新的内码字集于2000 年发布，并于2001 年强制执行，包含了中国大部分少数民族的语言字符，收录汉字数超过70000 余个。
它主要采用单字节、双字节、四字节对字符编码，它是向下兼容GB2312 和GBK 的，虽然是我国的强制使用标准，但在实际生产中很少用到，用得最多的反而是GBK 和GB2312

Unicode

Unicode 编码设计成了固定两个字节，所有的字符都用16 位(2^16=65536)
表示，包括之前只占8 位的英文字符等，所以会造成空间的浪费，UNICODE 在很长的一段时间内都没有得到推广应用。
Unicode 完全重新设计，不兼容iso8859-1，也不兼容任何其他编码。

UTF-8

对于英文字母，unicode 也需要两个字节来表示。所以unicode 不便
于传输和存储。因此而产生了UTF 编码，UTF-8 全称是（8-bit Unicode
Transformation Format）。
UTF 编码兼容iso8859-1 编码，同时也可以用来表示所有语言的字符，
不过，UTF 编码是不定长编码，每一个字符的长度从1-4 个字节不等。其中，英文字母都是用一个字节表示，而汉字使用三个字节。

中文乱码问题

windows 操作系统默认的编码是GBK，Linux 操作系统默认的编码是UTF-8。当我们用open()时，调用的是操作系统打开的文件，默认的编码是GBK。

【示例】通过指定文件编码解决中文乱码问题

f=open(r"c.txt","w",encoding="utf-8")
s="百战程序员\n尚学堂\n"
f.write(s)
f.close()

运行结果：
百战程序员
尚学堂

write()/writelines()写入数据

write(a)：把字符串a 写入到文件中
writelines(b)：把字符串列表写入文件中，不添加换行符

close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用close()方法关闭文件对象。当调用close()方法时，首先会把缓冲区数据写入文件(也可以直接调用flush()方法)，再关闭文件，释放文件对象。
为了确保打开的文件对象正常关闭，一般结合异常机制的finally 或者with 关键字实现无论何种情况都能关闭打开的文件对象。

程序调用文件示意图：

【操作】结合异常机制finally 确保关闭文件对象

# 使用异常机制管理文件对象的关闭操作

try:
    f=open(r"c.txt","a")
    strs=["zhangsan\n","lisi\n","wangwu\n"]
    f.writelines(strs)
except BaseException as e:
    print(e)
finally:
    f.close()

运行结果：
百战程序员
尚学堂
zhangsan
zhangsan
lisi
wangwu

with 语句(上下文管理器)

with 关键字（上下文管理器）可以自动管理上下文资源，不论什么原因跳出with 块，都能确保文件正确的关闭，并且可以在代码块执行完毕后自动还原进入该代码块时的现场。

【操作】使用with 管理文件写入操作

# 测试with语句

s=["zhangsan\n","lisi\n","wangwu\n"]
with open(r"d.txt","w") as f:
    f.writelines(s)

运行结果：
zhangsan
lisi
wangwu

文本文件的读取

文件的读取一般使用如下三个方法：

1. read([size])
   从文件中读取size 个字符，并作为结果返回。如果没有size 参数，则读取整个文件。
   读取到文件末尾，会返回空字符串。
2. readline()
   读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
3. readlines()
   文本文件中，每一行作为一个字符串存入列表中，返回该列表

【操作】文件较小，一次将文件内容读入到程序中

# 测试文件读取

with open(r"e.txt","r",encoding="utf-8") as f:
    str=f.read()
    print(str)

运行结果：

高love u
尚学堂
12345
Process finished with exit code 0

【操作】使用迭代器（每次返回一行）读取文本文件

with open(r"e.txt","r",encoding="utf-8") as f:
    for a in f:
        print(a,end="")

运行结果：

高love u
尚学堂
12345
Process finished with exit code 0

【操作】为文本文件每一行的末尾增加行号

#a=["高love u\n","尚学堂\n","12345\n"]
#b=enumerate(a)
#print(a)
#print(list(b))

with open(r"e.txt","r",encoding="utf-8") as f:
    lines=f.readlines()
    lines=[line.rstrip()+" #"+str(index+1)+"\n" for index,line in enumerate(lines)]
with open(r"e.txt","w",encoding="utf-8") as f:
    f.writelines(lines)

运行结果：

高love u #1
尚学堂 #2
12345 #3
SXTSXT #4

二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指定二进制模式，从而创建出二进制文件对象。例如：

f = open(r"d:\a.txt", ‘wb’) #可写的、重写模式的二进制文件对象
f = open(r"d:\a.txt", ‘ab’) #可写的、追加模式的二进制文件对象
f = open(r"d:\a.txt", ‘rb’) #可读的二进制文件对象

创建好二进制文件对象后，仍然可以使用write()、read()实现文件的读写操作。

【操作】读取图片文件，实现文件的拷贝

with open(r"aa.gif","rb") as f:
    with open(r"aa_copy.gif","wb") as w:
        for line in f.readlines():
            w.write(line)
print("图片拷贝完成！！！")

文件对象的常用属性和方法

文件对象封装了文件相关的操作。在前面我们学习了通过文件对象对文件进行读写操作。本节我们详细列出文件对象的常用属性和方法，并进行说明。

文件对象的属性

文件对象的打开模式

文件对象的常用方法

【示例】seek()移动文件指针示例

with open(r"e.txt","r",encoding="utf-8") as f:
    print("文件名是：{0}".format(f.name))
    print(f.tell())
    print("读取的内容：{0}".format(str(f.readline())))
    print(f.tell())
    f.seek(3)
    print(f.tell())
    print("读取的内容：{0}".format(str(f.readline())))
    print(f.tell())

运行结果：

文件名是：e.txt
0
读取的内容：高love u #1

14
3
读取的内容：love u #1

14

Process finished with exit code 0

使用pickle 序列化

序列化我们使用：

pickle.dump(obj, file) obj 就是要被序列化的对象，file 指的是存储的文件
pickle.load(file) 从file 读取数据，反序列化成对象

【操作】将对象序列化到文件中

import pickle
a1="高琪"
a2=234
a3=[10,20,30,40]

with open(r"data.dat","wb") as f:
    pickle.dump(a1,f)
    pickle.dump(a2, f)
    pickle.dump(a3, f)

with open(r"data.dat","rb") as w:
    b1 = pickle.load(w)
    b2 = pickle.load(w)
    b3 = pickle.load(w)

    print(b1);print(b2);print(b3)

运行结果：

高琪
234
[10, 20, 30, 40]

Process finished with exit code 0

CSV 文件的操作

csv(Comma Separated Values)是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出
Python 标准库的模块csv 提供了读取和写入csv 格式文件的对象。

csv.reader 对象和csv 文件读取

【操作】csv.reader 对象于从csv 文件读取数据

with open("dd.csv","r") as f:
    a_csv=csv.reader(f)
    #print(list(a_csv))

    for row in a_csv:
        print(row)

运行结果：

['ID', '姓名', '年龄', '薪资']
['1001', '高淇', '18', '50000']
['1002', '高八', '19', '30000']
['1003', '高九', '20', '20000']

csv.writer 对象和csv 文件写入

【操作】csv.writer 对象写一个csv 文件

import csv

with open("ee.csv","w") as w:
    b_csv=csv.writer(w)
    b_csv.writerow(["ID","姓名","年龄"])
    b_csv.writerow(["1001", "高琪", "18"])
    c=[["1002","张三","20"],["1003","李四","23"]]
    b_csv.writerows(c)

运行结果：

ID,姓名,年龄

1001,高琪,18

1002,张三,20

1003,李四,23

os 和os.path 模块

os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os 模块-调用操作系统命令

·os.system 可以帮助我们直接调用系统的命令
·os.startfile：直接调用可执行文件

import os
#os.system("notepad.exe")
#os.system("regedit")
#os.system("ping www.baidu.com")
#os.system("cmd")

#直接调用可执行的文件
os.startfile(r"C:\Users\Lenovo\AppData\Roaming\baidu\BaiduNetdisk\BaiduNetdisk.exe")

os 模块-文件和目录操作

我们可以通过前面讲的文件对象实现对于文件内容的读写操作。如果，还需要对文件和目录做其他操作，可以使用os 和os.path 模块。

os 模块下常用操作文件的方法

os 模块下关于目录操作的相关方法，汇总如下：

#coding=utf-8

import os
##############获取文件和文件夹相关信息######################
print(os.name)  #windows->nt linux 和unix->posix
print(os.sep)   #windows->\ linux 和unix->/
print(repr(os.linesep)) #windows->\r\n linux-->\n\
print(os.stat("my02.py"))

###############关于工作目录的操作#######################
#print(os.getcwd())
#os.chdir("c:")  #改变当前的工作目录为：c:盘根目录
#os.mkdir("书籍")
################创建目录、创建多级目录、删除#############
#os.rmdir("书籍") #相对路径都是相对于当前的工作目录
#os.makedirs("电影/港台/周星驰")
#os.rmdir("电影/港台/周星驰")   #只能删除空目录

#os.makedirs("../音乐/香港/周星驰")
#os.rename("电影","Movie")

dirs=os.listdir("movie")
print(dirs)

运行结果：

nt
\
'\r\n'
os.stat_result(st_mode=33206, st_ino=11540474045147788, st_dev=4204661902, st_nlink=1, st_uid=0, st_gid=0, st_size=823, st_atime=1644859569, st_mtime=1644858124, st_ctime=1644853267)
['港台']

Process finished with exit code 0

os.path 模块

os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作

#测试os.path 常用方法

import os
import os.path

#################获得目录、文件基本信息
print(os.path.isabs("c:/a.txt"))    #是否绝对路径
print(os.path.isdir("c:/a.txt"))    #是否目录
print(os.path.isfile("c:/a.txt"))   #是否文件
print(os.path.exists("a.txt"))  #文件是否存在

print(os.path.getsize("c:/a.txt"))  #文件大小
print(os.path.abspath("a.txt")) #输出绝对路径
print(os.path.dirname("c:/a.txt")) #输出所在目录

########获得创建时间、访问时间、最后修改时间##########
print(os.path.getctime("a.txt")) #返回创建时间
print(os.path.getatime("a.txt")) #返回最后访问时间
print(os.path.getmtime("a.txt")) #返回最后修改时间

################对路径进行分割、连接操作####################
path = os.path.abspath("a.txt") #返回绝对路径
print(os.path.split(path)) #返回元组：目录、文件
print(os.path.splitext(path)) #返回元组：路径、扩展名
print(os.path.join("aa","bb","cc")) #返回路径：aa/bb/cc

运行结果：

True
False
True
True
378
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\a.txt
c:/
1644858775.5383203
1644858794.551535
1644858793.554584
('C:\\Users\\Lenovo\\PycharmProjects\\mypro_io\\test_os', 'a.txt')
('C:\\Users\\Lenovo\\PycharmProjects\\mypro_io\\test_os\\a', '.txt')
aa\bb\cc

Process finished with exit code 0

【示例】列出指定目录下所有的.py 文件，并输出文件名

#coding=utf-8
#列出指定目录下所有的.py 文件，并输出文件名

import os
import os.path

path=os.getcwd()
file_list=os.listdir(path)

for filename in file_list:
    pos=filename.rfind(".")
    if filename[pos+1:]=="py":
        print(filename,end="\t")

print("\n##################")

file_list2=[filename for filename in os.listdir(path) if filename.endswith("py")]
for filename in file_list2:
    print(filename,end="\t")

运行结果：

my01.py	my02.py	my03.py	my04.py	
##################
my01.py	my02.py	my03.py	my04.py	
Process finished with exit code 0

walk()递归遍历所有文件和目录

os.walk()方法：
返回一个3 个元素的元组，(dirpath, dirnames, filenames),

dirpath：要列出指定目录的路径
dirnames：目录下的所有文件夹
filenames：目录下的所有文件

【示例】使用walk()递归遍历所有文件和目录

#walk()递归遍历所有的文件和目录

import os

all_files=[]

path=os.getcwd()
list_files=os.walk(path)

for dirpath,dirnames,filenames in list_files:
    for dir in dirnames:
        all_files.append(os.path.join(dirpath,dir))
    for name in filenames:
        all_files.append(os.path.join(dirpath,name))

for file in all_files:
    print(file)

#print(path)
#print(list(list_files))

运行结果：

C:\ANACONDA\python.exe C:/Users/Lenovo/PycharmProjects/mypro_io/test_os/my05.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\a.txt
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\my01.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\my02.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\my03.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\my04.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\my05.py
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie\大陆
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie\日本
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie\港台
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie\港台\周星驰
C:\Users\Lenovo\PycharmProjects\mypro_io\test_os\Movie\港台\周星驰\gongdu.mp4

Process finished with exit code 0

shutil 模块(拷贝和压缩)

shutil 模块是python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。
os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些os 模块都没有提供。

【示例】实现文件的拷贝
【示例】实现递归的拷贝文件夹内容(使用shutil 模块)

#测试shutil模块的用法：拷贝，压缩
# 拷贝

import shutil
import zipfile

shutil.copyfile("1.txt","1_copy.txt")  #将1.txt拷贝为1_copy.txt

shutil.copytree("movie/港台","电影")    #将"movie/港台"下文件拷贝到"电影"下；#“电影”目录不存在时才可以正常拷贝

shutil.copytree("movie/港台","电影",ignore=shutil.ignore_patterns("*.txt","*.html")) #把后缀是txt和html的文件过滤掉

【示例】实现将文件夹所有内容压缩(使用shutil 模块)
【示例】实现将压缩包解压缩到指定文件夹(使用shutil 模块)

#压缩，解压缩
shutil.make_archive("电影/gg","zip","Movie/港台") 	#将Movie/港台文件夹下文件内容压缩到"电影"文件夹下生产gg.zip 文件

#z1=zipfile.ZipFile("abc.zip","w")
#z1.write("1.txt")
#z1.write("1_copy.txt")
#z1.close()

#z2=zipfile.ZipFile("abc.zip","r")
#z2.extractall("电影") #设置解压的地址
#z2.close()

递归算法

递归是一种常见的解决问题的方法，即把问题逐渐简单化。递归的基本思想就是“自己调用自己”，一个使用递归技术的方法将会直接或者间接的调用自己。
利用递归可以用简单的程序来解决一些复杂的问题。比如：斐波那契数列的计算、汉诺塔、快排等问题。

递归结构包括两个部分：
 定义递归头。解答：什么时候不调用自身方法。如果没有头，将陷入死循环，也就是递归的结束条件。
 递归体。解答：什么时候需要调用自身方法。

【示例3-22】使用递归求n!

#使用递归计算n的阶乘（5！=5*4*3*2*1）

def factorial(n):
    if n==1:
        return n
    else:
        return n*factorial(n-1)

print(factorial(5))
运行结果：
120

【示例】使用递归算法遍历目录下所有文件

#递归打印所有的目录和文件

import os
all_file=[]
def getALLFiles(path,level):
    childFiles=os.listdir(path)
    for file in childFiles:
        filepath=os.path.join(path,file)
        if os.path.isdir(filepath):
            getALLFiles(filepath,level+1)
        all_file.append("\t"*level+filepath)

getALLFiles("test_os",0)

for f in reversed(all_file):
    print(f)

运行结果：

C:\ANACONDA\python.exe C:/Users/Lenovo/PycharmProjects/mypro_io/file14.py
test_os\my05.py
test_os\my04.py
test_os\my03.py
test_os\my02.py
test_os\my01.py
test_os\Movie
	test_os\Movie\港台
		test_os\Movie\港台\周星驰
			test_os\Movie\港台\周星驰\gongdu.mp4
	test_os\Movie\日本
	test_os\Movie\大陆
test_os\a.txt

Process finished with exit code 0