Python读取大文件

1. 前言

前几天在做日志分析系统，需要处理几十G的文件，我尝试用原来的for line in open(filepath).readlines()处理，但停顿好久也没变化，可见占用不小的内存。在网上搜索了下，找到了两种方法来读取大文件。

2. with读取大文件

with读取是非常Pythonic的方法，示例如下：

with open(filepath) as f: for line in f:  <do something with line>

原文转载：http://www.shaoqun.com/a/489376.html

indiegogo：https://www.ikjzd.com/w/265

壹米滴答：https://www.ikjzd.com/w/2314

拍怕：https://www.ikjzd.com/w/2205

1.前言前几天在做日志分析系统，需要处理几十G的文件，我尝试用原来的forlineinopen(filepath).readlines()处理，但停顿好久也没变化，可见占用不小的内存。在网上搜索了下，找到了两种方法来读取大文件。2.with读取大文件with读取是非常Pythonic的方法，示例如下：withopen(filepath)asf:forlineinf:<dosomethingw
www.made-in-china.com：https://www.ikjzd.com/w/2777
立刻网：https://www.ikjzd.com/w/2323
恩平岑洞峡谷漂流怎么样？恩平岑洞峡谷漂流好玩吗？：http://tour.shaoqun.com/a/2273.html
那些选择不在亚马逊上销售的品牌，还能靠什么获得成功？：https://www.ikjzd.com/home/8240
揭阳望天湖有羊驼吗？望天湖羊驼庄园收费吗？：http://tour.shaoqun.com/a/23537.html