0
点赞
收藏
分享

微信扫一扫

大文件读取的实现-PYTHON


当前一个大文件大小,比当前的机器的内存大,先读取某个文件里的一部分。

文件遍历

因为文件保存了很多字符和行,因此也是循环常见的典型使用案例,最原始的方法可以调用文件对象的read方法,把文件内容一次性加载至字符串对象

file = open('myfile.txt', 'r')
print(file.read())

hello text file
goodbyt text file
Hahahahah

或者for读取这样的文件:

for方法一、

with open(file) as f:
list_of_lines = f.readlines()

或者

for line in open('myfile.txt','r').readlines():
print(line, end='')

for方法二、

f = open(file)
for line in file:
#do something

第一种方法通过readlines方法,会首先一次性把文件载入到行字符串列表中,然后再对这个字符串列表进行迭代;
第二种方法运行的原理则有所不同,他并非一次性将全部的文件内容载入到内存中,而是在迭代的时候,循环到了哪一行才将哪一行读入到内存。这里涉及到一个新的概念----迭代器(open函数返回的那个就是文件迭代器)。

上面的方式都不适合或者不是最优解。

解决方案

您想要的是逐行读取文件,而忽略除某些行(例如,行[17,34))以外的所有行。

​enumerate​​遍历文件时,尝试使用跟踪行号。这是一种基于生成器的方法,该方法yield一次只输出一条有趣的行:

def read_only_lines(f, start, finish):
for ii,line in enumerate(f):
if ii>=start and ii<finish:
yield line
elif ii>=finish:
return

f = open("big text file.txt", "r")
for line in read_only_lines(f, 17, 34):
print line

此​​read_only_lines​​​函数基本上是​​itertools.islice​​从标准库重新实现的,因此您可以使用它来实现更紧凑的实现:

from itertools import islice
for line in islice(f, 17, 34):
print line

如果要在列表中而不是在生成器中捕获感兴趣的行,只需将它们转换为列表即可:

from itertools import islice
lines_of_interest = list( islice(f, 17, 34) )

do_something_awesome( lines_of_interest )
do_something_else( lines_of_interest )


举报

相关推荐

0 条评论