加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

Java利用poi导出excel出现内存溢出的问题解决方法

(2016-05-21 16:52:14)

POI3.8的SXSSF包是XSSF的一个扩展版本,支持流处理,在生成大数据量的电子表格且堆空间有限时使用。SXSSF通过限制内存中可访问的记录行数来实现其低内存利用,当达到限定值时,新一行数据的加入会引起老一行的数据刷新到硬盘。

       比如内存中限制行数为100,当行号到达101时,行号为0的记录刷新到硬盘并从内存中删除,当行号到达102时,行号为1的记录刷新到硬盘,并从内存中删除,以此类推。

       rowAccessWindowSize代表指定的内存中缓存记录数,默认为100,此值可以通过

new SXSSFWorkbook(int rowAccessWindowSize)或SXSSFSheet.setRandomAccessWindowSize(intwindowSize)来设置。

       SXSSF在把内存数据刷新到硬盘时,是把每个SHEET生成一个临时文件,这个临时文件可能会很大,有可以会达到G级别,如果文件的过大对你来说是一个问题,你可以使用下面的方法让SXSSF来进行压缩,当然性能也会有一定的影响。

               SXSSFWorkbook wb new SXSSFWorkbook();               wb.setCompressTempFiles(true); // temp files will be gzipped

 

例子:

生成三个SHEET,每个SHEET有6000行记录,共18万行记录

 

importjava.io.FileOutputStream;

 

importorg.apache.poi.ss.usermodel.Cell;

importorg.apache.poi.ss.usermodel.Row;

importorg.apache.poi.ss.usermodel.Sheet;

importorg.apache.poi.ss.util.CellReference;

importorg.apache.poi.xssf.streaming.SXSSFSheet;

importorg.apache.poi.xssf.streaming.SXSSFWorkbook;

 

public classSXSSFWorkBookUtil {

    public voidtestWorkBook() {

       try{

           longcurr_time=System.currentTimeMillis();

 

           introwaccess=100;//内存中缓存记录行数

           

           SXSSFWorkbook wb newSXSSFWorkbook(rowaccess); 

 

           intsheet_num=3;//生成3个SHEET

           for(inti=0;i

              Sheet sh wb.createSheet();

              //每个SHEET有60000ROW

              for(intrownum 0; rownum 60000; rownum++) {

                  Row row sh.createRow(rownum);

                  //每行有10个CELL

                  for(intcellnum 0; cellnum 10; cellnum++) {

                     Cell cell row.createCell(cellnum);

                     String address newCellReference(cell).formatAsString();

                     cell.setCellValue(address);

                  }

 

                  //每当行数达到设置的值就刷新数据到硬盘,以清理内存

                  if(rownum%rowaccess==0){

                     ((SXSSFSheet)sh).flushRows();

                  }

              }

           }

 

           

           FileOutputStream os newFileOutputStream("d:/data/poi/biggrid.xlsx");    

           wb.write(os);

           os.close();

 

           

           System.out.println("耗时:"+(System.currentTimeMillis()-curr_time)/1000);

       catch(Exception e) {

           e.printStackTrace();

       }

    }

}

 

对于不同的rowAccessWindowSize值,用上面的例子进行耗时测试,结果如下:

 

rowAccessWindowSize    Time(s)

5000    293

1000    69

500    43

100    20

50    18

10    16

   15

 

以上测试结果是在个人笔记本电脑上进行的,配置为:

Dual-Core CPU T4400 2.2GHz 2.19GHz

Memory 1.86GB

以上测试过程只是进行了一次,并没有多次测试求平均值,数据也只想表达当设置不同的rowAccessWindowSize值,耗时的一种趋势。

可见一般情况下,使用默认值100即可。

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有