在内存中读取
读取文件行的标准方式是在内存中读取,Guava 和Apache Commons IO都提供了以下所示快速读取文件行的方法:
Files.readLines(new File(path), Charsets.UTF_8);
FileUtils.readLines(new File(path));
这类方法带来的问题是文件的所有行都被寄存在内存中,当文件足够大时很快就会致使程序抛出OutOfMemoryError 异常。
读取1个大约1G的文件
public void readFiles() throws IOException {
String path = "...";
Files.readLines(new File(path), Charsets.UTF_8);
}
这类方式刚开始只占用了很少许的内存,但是,当文件全部读入内存后,我们可以看到,占用了大量的内存(约2个G)
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb
这意味着这1进程消耗了大约2.1G的内存,由于文件的所有行都被存储在了内存中,把文件所有的内容都放在内存中很快会耗尽可用内存――不论实际可用内存有多大,这点是不言而喻的。
另外,我们通常不需要把文件的所有行1次性地放入内存中――相反,我们只需要遍历文件的每行,然后做相应的处理,处理完以后把它扔掉。所以,这正是我们将要做的――通过行迭代,而不是把所有行都放在内存中。
文件流
现在我们来看看下面这类解决方法,我们用Java.util.Scanner 扫描文件的每行,1行1行连续的读取:
FileInputStream inputStream = null;
Scanner sc = null;
try {
inputStream = new FileInputStream(path);
sc = new Scanner(inputStream, "UTF⑻");
while (sc.hasNextLine()) {
String line = sc.nextLine();
// System.out.println(line);
}
// note that Scanner suppresses exceptions
if (sc.ioException() != null) {
throw sc.ioException();
}
} finally {
if (inputStream != null) {
inputStream.close();
}
if (sc != null) {
sc.close();
}
}
这类方案会遍历文件中的所有行,允许对每行进行处理,而不保持对它的援用,总之没有把他们寄存在内存中,我们可以看到,大约消耗了150MB内存。
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 Mb
Apache Commons IO流
一样可使用Commons IO流,利用该库提供的自定义 LineIterator类:
LineIterator it = FileUtils.lineIterator(theFile, "UTF⑻");
try {
while (it.hasNext()) {
String line = it.nextLine();
// do something with line
}
} finally {
LineIterator.closeQuietly(it);
}
一样也消耗了相当少的内存,大约150M:
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb