使用HSSF的Apache POI比XSSF快得多 - 下一步是什么？

2 回答

• 2

  我遇到了同样的问题，使用Apache POI阅读庞大的.xlsx文件，我遇到了

  excel-streaming-reader-github

  该库充当流式API的包装器，同时保留了标准POI API的语法

  该库可以帮助您读取大文件 .

  回复于 2024-04-29T05:10:29+08:00
• 5

  我工作的平均XLSX板材大约是18-22张750,000行，13-20列 . 这在具有许多其他功能的Spring Web应用程序中正在旋转 . 我给了整个应用程序而不是那么多内存： -Xms1024m -Xmx4096m - 它很棒！

  首先是转储代码：在内存中加载每个数据行并开始转储它是错误的 . 在我的情况下（从PostgreSQL数据库报告）我重写数据转储程序使用 RowCallbackHandler 写入我的XLSX，在此期间我达到750000行的"my limit"，我创建新表 . 并且使用50行的可见性窗口创建工作簿 . 通过这种方式，我可以转储大量的卷：XLSX文件的大小约为1230Mb .

  写一些代码表：

  jdbcTemplate.query(
          new PreparedStatementCreator() {
              @Override
              public PreparedStatement createPreparedStatement(Connection connection) throws SQLException {
                  PreparedStatement statement = connection.prepareStatement(finalQuery, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
                  statement.setFetchSize(100);
                  statement.setFetchDirection(ResultSet.FETCH_FORWARD);
                  return statement;
              }
          }, new RowCallbackHandler() {
              Sheet sheet = null;
              int i = 750000;
              int tableId = 0;
  
              @Override
              public void processRow(ResultSet resultSet) throws SQLException {
                  if (i == 750000) {
                      tableId++;
                      i = 0;
                      sheet = wb.createSheet(sheetName.concat(String.format("%02d%n", tableId)));
  
  
                      Row r = sheet.createRow(0);
  
                      Cell c = r.createCell(0);
                      c.setCellValue("id");
                      c = r.createCell(1);
                      c.setCellValue("Дата");
                      c = r.createCell(2);
                      c.setCellValue("Комментарий");
                      c = r.createCell(3);
                      c.setCellValue("Сумма операции");
                      c = r.createCell(4);
                      c.setCellValue("Дебет");
                      c = r.createCell(5);
                      c.setCellValue("Страхователь");
                      c = r.createCell(6);
                      c.setCellValue("Серия договора");
                      c = r.createCell(7);
                      c.setCellValue("Номер договора");
                      c = r.createCell(8);
                      c.setCellValue("Основной агент");
                      c = r.createCell(9);
                      c.setCellValue("Кредит");
                      c = r.createCell(10);
                      c.setCellValue("Программа");
                      c = r.createCell(11);
                      c.setCellValue("Дата начала покрытия");
                      c = r.createCell(12);
                      c.setCellValue("Дата планового окончания покрытия");
                      c = r.createCell(13);
                      c.setCellValue("Периодичность уплаты взносов");
                  }
                  i++;
  
                  PremiumEntity e = PremiumEntity.builder()
                      .Id(resultSet.getString("id"))
                      .OperationDate(resultSet.getDate("operation_date"))
                      .Comments(resultSet.getString("comments"))
                      .SumOperation(resultSet.getBigDecimal("sum_operation").doubleValue())
                      .DebetAccount(resultSet.getString("debet_account"))
                      .Strahovatelname(resultSet.getString("strahovatelname"))
                      .Seria(resultSet.getString("seria"))
                      .NomPolica(resultSet.getLong("nom_polica"))
                      .Agentname(resultSet.getString("agentname"))
                      .CreditAccount(resultSet.getString("credit_account"))
                      .Program(resultSet.getString("program"))
                      .PoliciStartDate(resultSet.getDate("polici_start_date"))
                      .PoliciPlanEndDate(resultSet.getDate("polici_plan_end_date"))
                      .Periodichn(resultSet.getString("id_periodichn"))
                      .build();
  
                  Row r = sheet.createRow(i);
                  Cell c = r.createCell(0);
                  c.setCellValue(e.getId());
  
                  if (e.getOperationDate() != null) {
                      c = r.createCell(1);
                      c.setCellStyle(dateStyle);
                      c.setCellValue(e.getOperationDate());
                  }
  
                  c = r.createCell(2);
                  c.setCellValue(e.getComments());
  
                  c = r.createCell(3);
                  c.setCellValue(e.getSumOperation());
  
                  c = r.createCell(4);
                  c.setCellValue(e.getDebetAccount());
  
                  c = r.createCell(5);
                  c.setCellValue(e.getStrahovatelname());
  
                  c = r.createCell(6);
                  c.setCellValue(e.getSeria());
  
                  c = r.createCell(7);
                  c.setCellValue(e.getNomPolica());
  
                  c = r.createCell(8);
                  c.setCellValue(e.getAgentname());
  
                  c = r.createCell(9);
                  c.setCellValue(e.getCreditAccount());
  
                  c = r.createCell(10);
                  c.setCellValue(e.getProgram());
  
                  if (e.getPoliciStartDate() != null) {
                      c = r.createCell(11);
                      c.setCellStyle(dateStyle);
                      c.setCellValue(e.getPoliciStartDate());
                  }
                  ;
  
                  if (e.getPoliciPlanEndDate() != null) {
                      c = r.createCell(12);
                      c.setCellStyle(dateStyle);
                      c.setCellValue(e.getPoliciPlanEndDate());
                  }
  
                  c = r.createCell(13);
                  c.setCellValue(e.getPeriodichn());
              }
          });
  

  在重新编写将数据转储到XLSX的代码后，我遇到了问题，它需要64位的Office才能打开它们 . 因此，我需要将包含大量工作表的工作簿拆分为单独的XLSX文件，使其在单个工作表上可读 . 我再次使用小型可见性窗口和流处理，并保持整个应用程序运行良好，没有任何OutOfMemory的景点 .

  一些代码来读取和拆分表：

  OPCPackage opcPackage = OPCPackage.open(originalFile, PackageAccess.READ);
  
  
          ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(opcPackage);
          XSSFReader xssfReader = new XSSFReader(opcPackage);
          StylesTable styles = xssfReader.getStylesTable();
          XSSFReader.SheetIterator iter = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
          int index = 0;
          while (iter.hasNext()) {
              InputStream stream = iter.next();
              String sheetName = iter.getSheetName();
  
              DataFormatter formatter = new DataFormatter();
              InputSource sheetSource = new InputSource(stream);
  
              SheetToWorkbookSaver saver = new SheetToWorkbookSaver(sheetName);
              try {
                  XMLReader sheetParser = SAXHelper.newXMLReader();
                  ContentHandler handler = new XSSFSheetXMLHandler(
                      styles, null, strings, saver, formatter, false);
                  sheetParser.setContentHandler(handler);
                  sheetParser.parse(sheetSource);
              } catch(ParserConfigurationException e) {
                  throw new RuntimeException("SAX parser appears to be broken - " + e.getMessage());
              }
  
              stream.close();
  
              // this creates new File descriptors inside storage
              FileDto partFile = new FileDto("report_".concat(StringUtils.trimToEmpty(sheetName)).concat(".xlsx"));
              File cloneFile = fileStorage.read(partFile);
              FileOutputStream cloneFos = new FileOutputStream(cloneFile);
              saver.getWb().write(cloneFos);
              cloneFos.close();
          }
  

  和

  public class SheetToWorkbookSaver implements XSSFSheetXMLHandler.SheetContentsHandler {
  
      private SXSSFWorkbook wb;
      private Sheet sheet;
      private CellStyle dateStyle ;
  
  
      private Row currentRow;
  
      public SheetToWorkbookSaver(String workbookName) {
          this.wb = new SXSSFWorkbook(50);
          this.dateStyle = this.wb.createCellStyle();
          this.dateStyle.setDataFormat(this.wb.getCreationHelper().createDataFormat().getFormat("dd.mm.yyyy"));
  
          this.sheet = this.wb.createSheet(workbookName);
  
      }
  
      @Override
      public void startRow(int rowNum) {
          this.currentRow = this.sheet.createRow(rowNum);
      }
  
      @Override
      public void endRow(int rowNum) {
  
      }
  
      @Override
      public void cell(String cellReference, String formattedValue, XSSFComment comment) {
          int thisCol = (new CellReference(cellReference)).getCol();
          Cell c = this.currentRow.createCell(thisCol);
          c.setCellValue(formattedValue);
          c.setCellComment(comment);
      }
  
      @Override
      public void headerFooter(String text, boolean isHeader, String tagName) {
  
      }
  
  
      public SXSSFWorkbook getWb() {
          return wb;
      }
  }
  

  所以它读写数据 . 我想在你的情况下你应该将你的代码重写为相同的模式：在内存中只保留少量数据 . 所以我建议阅读创建自定义 SheetContentsReader ，它将数据推送到某个数据库，在那里可以轻松处理，聚合等 .

  回复于 2024-04-29T05:10:29+08:00