开发前端软件素材源码教程下载网站

全部
网站模板
网页特效
网站源码
素材资源
建站学院
软件工具
mysql mysql 微信 微信 小程序 dedecms 苹果 修真图
当前位置：首页 > 建站学院 > 其他教程 >  mybatisplus批量更新太慢该怎么解决

mybatisplus批量更新太慢该怎么解决

其他教程   发布日期：2023年08月04日   浏览次数：466次

这篇文章主要讲解了“mybatisplus批量更新太慢该怎么解决”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“mybatisplus批量更新太慢该怎么解决”吧！

最近使用mybatis-plus的 saveOrUpdateBath 和saveBath接口执行特别慢，数据量大时往往需要十几分钟，打开日志查看原来批量操作也是循环单条数据插入的，那有没有批量更新的办法呢？？

mybatis-plus 提供了一个自定义方法sql注入器DefaultSqlInjector我们可以通过继DefaultSqlInjector来加入自定义的方法达到批量插入的效果。

  1. import com.baomidou.mybatisplus.core.injector.AbstractMethod;
  2. import com.baomidou.mybatisplus.core.injector.DefaultSqlInjector;
  3. import org.springframework.stereotype.Component;
  4.  
  5. import java.util.List;
  6.  
  7. /**
  8.  * @Description: 自定义方法SQL注入器
  9.  * @Title: CustomizedSqlInjector
  10.  * @Package com.highgo.edu.common.batchOperation
  11.  * @Author:
  12.  * @Copyright 
  13.  * @CreateTime: 2022/11/3 16:21
  14.  */
  15. @Component
  16. public class CustomizedSqlInjector  extends DefaultSqlInjector {
  17.     /**
  18.      * 如果只需增加方法，保留mybatis plus自带方法，
  19.      * 可以先获取super.getMethodList()，再添加add
  20.      */
  21.     @Override
  22.     public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
  23.         List<AbstractMethod> methodList = super.getMethodList(mapperClass);
  24.         methodList.add(new InsertBatchMethod());
  25.        // methodList.add(new UpdateBatchMethod());
  26.         methodList.add(new MysqlInsertOrUpdateBath());
  27.         methodList.add(new PGInsertOrUpdateBath());
  28.         return methodList;
  29.     }
  30.  
  31. }

同时我们需要继承BaseMapper<T> 定义

  1.  import com.baomidou.mybatisplus.core.mapper.BaseMapper;
  2. import org.apache.ibatis.annotations.Param;
  3.  
  4. import java.util.List;
  5. /**
  6.  * @description:自定义接口覆盖BaseMapper，解决mybatis-plus 批量操作慢的问题
  7.  * @author:
  8.  * @date: 2022/11/3 15:14
  9.  * @param: null
  10.  * @return:
  11.  **/
  12. public interface RootMapper<T> extends BaseMapper<T> {
  13.     /**
  14.      * @description:批量插入
  15.      * @author:
  16.      * @date: 2022/11/3 15:13
  17.      * @param: [list]
  18.      * @return: int
  19.      **/
  20.     int insertBatch(@Param("list") List<T> list);
  21.     /**
  22.      * @description:批量插入更新
  23.      * @author:
  24.      * @date: 2022/11/3 15:14
  25.      * @param: [list]
  26.      * @return: int
  27.      **/
  28.     int mysqlInsertOrUpdateBatch(@Param("list") List<T> list);
  29.  
  30.     int pgInsertOrUpdateBatch(@Param("list") List<T> list);
  31. }

在需要使用批量更新插入的mapper上使用自定义的RootMapper

如下图

  1. import com.XX.edu.common.batchOperation.RootMapper;
  2. import com.XX.edu.exam.model.TScore;
  3. import org.springframework.stereotype.Repository;
  4.  
  5. /**
  6.  * @Entity com.XX.edu.exam.model.TScore
  7.  */
  8. @Repository
  9. public interface TScoreMapper extends RootMapper<TScore> {
  10.  
  11. }

下面我们来定义批量插入的方法：

  1. package com.XX.edu.common.batchOperation;
  2.  
  3. import com.baomidou.mybatisplus.annotation.IdType;
  4. import com.baomidou.mybatisplus.core.enums.SqlMethod;
  5. import com.baomidou.mybatisplus.core.injector.AbstractMethod;
  6. import com.baomidou.mybatisplus.core.metadata.TableInfo;
  7. import com.baomidou.mybatisplus.core.metadata.TableInfoHelper;
  8. import org.apache.commons.lang3.StringUtils;
  9. import org.apache.ibatis.executor.keygen.Jdbc3KeyGenerator;
  10. import org.apache.ibatis.executor.keygen.KeyGenerator;
  11. import org.apache.ibatis.executor.keygen.NoKeyGenerator;
  12. import org.apache.ibatis.mapping.MappedStatement;
  13. import org.apache.ibatis.mapping.SqlSource;
  14. import org.slf4j.Logger;
  15. import org.slf4j.LoggerFactory;
  16.  
  17. /**
  18.  * @Description: 批量插入的方法
  19.  * @Title: InsertBatchMethod
  20.  * @Package com.XX.edu.common.batchOperation
  21.  * @Author:
  22.  * @CreateTime: 2022/11/3 15:16
  23.  */
  24. public class InsertBatchMethod extends AbstractMethod {
  25.     Logger logger = LoggerFactory.getLogger(getClass());
  26.  
  27.     @Override
  28.     public MappedStatement injectMappedStatement(Class<?> mapperClass, Class<?> modelClass, TableInfo tableInfo) {
  29.         final String sql = "<script>insert into %s %s values %s</script>";
  30.         final String fieldSql = prepareFieldSql(tableInfo);
  31.         final String valueSql = prepareValuesSql(tableInfo);
  32.         final String sqlResult = String.format(sql, tableInfo.getTableName(), fieldSql, valueSql);
  33.         logger.debug("sqlResult----->{}", sqlResult);
  34.         SqlSource sqlSource = languageDriver.createSqlSource(configuration, sqlResult, modelClass);
  35.         KeyGenerator keyGenerator = new NoKeyGenerator();
  36.         SqlMethod sqlMethod = SqlMethod.INSERT_ONE;
  37.         String keyProperty = null;
  38.         String keyColumn = null;
  39.         // 表包含主键处理逻辑,如果不包含主键当普通字段处理
  40.         if (StringUtils.isNotEmpty(tableInfo.getKeyProperty())) {
  41.             if (tableInfo.getIdType() == IdType.AUTO) {
  42.                 /* 自增主键 */
  43.                 keyGenerator = new Jdbc3KeyGenerator();
  44.                 keyProperty = tableInfo.getKeyProperty();
  45.                 keyColumn = tableInfo.getKeyColumn();
  46.             } else {
  47.                 if (null != tableInfo.getKeySequence()) {
  48.                     keyGenerator = TableInfoHelper.genKeyGenerator(sqlMethod.getMethod(),tableInfo, builderAssistant);
  49.                     keyProperty = tableInfo.getKeyProperty();
  50.                     keyColumn = tableInfo.getKeyColumn();
  51.                 }
  52.             }
  53.         }
  54.         // 第三个参数必须和RootMapper的自定义方法名一致
  55.         return this.addInsertMappedStatement(mapperClass, modelClass, "insertBatch", sqlSource, keyGenerator, keyProperty, keyColumn);
  56.     }
  57.  
  58.     /**
  59.      * @description: 拼接字段值
  60.      * @author:
  61.      * @date: 2022/11/3 15:20
  62.      * @param: [tableInfo]
  63.      * @return: java.lang.String
  64.      **/
  65.     private String prepareValuesSql(TableInfo tableInfo) {
  66.         final StringBuilder valueSql = new StringBuilder();
  67.         valueSql.append("<foreach collection="list" item="item" index="index" open="(" separator="),(" close=")">");
  68.         //valueSql.append("#{item.").append(tableInfo.getKeyProperty()).append("},");
  69.         tableInfo.getFieldList().forEach(x -> valueSql.append("#{item.").append(x.getProperty()).append("},"));
  70.         valueSql.delete(valueSql.length() - 1, valueSql.length());
  71.         valueSql.append("</foreach>");
  72.         return valueSql.toString();
  73.     }
  74.  
  75.     /**
  76.      * @description:拼接字段
  77.      * @author:
  78.      * @date: 2022/11/3 15:20
  79.      * @param: [tableInfo]
  80.      * @return: java.lang.String
  81.      **/
  82.     private String prepareFieldSql(TableInfo tableInfo) {
  83.         StringBuilder fieldSql = new StringBuilder();
  84.         //fieldSql.append(tableInfo.getKeyColumn()).append(",");
  85.         tableInfo.getFieldList().forEach(x -> {
  86.             fieldSql.append(x.getColumn()).append(",");
  87.         });
  88.         fieldSql.delete(fieldSql.length() - 1, fieldSql.length());
  89.         fieldSql.insert(0, "(");
  90.         fieldSql.append(")");
  91.         return fieldSql.toString();
  92.     }
  93. }

继续定义批量插入更新的抽象方法

  1. package com.XX.edu.common.batchOperation;
  2.  
  3. import com.baomidou.mybatisplus.core.injector.AbstractMethod;
  4. import com.baomidou.mybatisplus.core.metadata.TableInfo;
  5. import org.apache.ibatis.executor.keygen.NoKeyGenerator;
  6. import org.apache.ibatis.mapping.MappedStatement;
  7. import org.apache.ibatis.mapping.SqlSource;
  8.  
  9. /**
  10.  * @Description: 批量插入更新
  11.  * @Title: InsertOrUpdateBath
  12.  * @Package com.XX.edu.common.batchOperation
  13.  * @Author:
  14.  * @Copyright 
  15.  * @CreateTime: 2022/11/3 15:23
  16.  */
  17. public abstract class InsertOrUpdateBathAbstract extends AbstractMethod {
  18.     @Override
  19.     public MappedStatement injectMappedStatement(Class<?> mapperClass, Class<?> modelClass, TableInfo tableInfo) {
  20.         final  SqlSource sqlSource = prepareSqlSource(tableInfo, modelClass);
  21.         // 第三个参数必须和RootMapper的自定义方法名一致
  22.         return this.addInsertMappedStatement(mapperClass, modelClass, prepareInsertOrUpdateBathName(), sqlSource, new NoKeyGenerator(), null, null);
  23.  
  24.     }
  25.  
  26.     protected abstract SqlSource prepareSqlSource(TableInfo tableInfo, Class<?> modelClass);
  27.     
  28.     protected abstract String prepareInsertOrUpdateBathName();
  29.  
  30. }

继承上面的抽象类----mysql版本（本版本未测试 根据自己需求修改）

  1. package com.XX.edu.common.batchOperation;
  2.  
  3. import com.baomidou.mybatisplus.core.metadata.TableInfo;
  4. import org.apache.ibatis.mapping.SqlSource;
  5. import org.springframework.util.StringUtils;
  6.  
  7. /**
  8.  * @Description: 批量插入更新
  9.  * @Title: InsertOrUpdateBath
  10.  * @Package com.XX.edu.common.batchOperation
  11.  * @Author:
  12.  * @Copyright 
  13.  * @CreateTime: 2022/11/3 15:23
  14.  */
  15. public class MysqlInsertOrUpdateBath extends InsertOrUpdateBathAbstract {
  16.  
  17.     @Override
  18.     protected SqlSource prepareSqlSource(TableInfo tableInfo, Class<?> modelClass) {
  19.         final String sql = "<script>insert into %s %s values %s ON DUPLICATE KEY UPDATE %s</script>";
  20.         final String tableName = tableInfo.getTableName();
  21.         final String filedSql = prepareFieldSql(tableInfo);
  22.         final String modelValuesSql = prepareModelValuesSql(tableInfo);
  23.         final String duplicateKeySql = prepareDuplicateKeySql(tableInfo);
  24.         final String sqlResult = String.format(sql, tableName, filedSql, modelValuesSql, filedSql, duplicateKeySql);
  25.         //String.format(sql, tableName, filedSql, modelValuesSql, duplicateKeySql);
  26.         //System.out.println("savaorupdatesqlsql="+sqlResult);
  27.         return languageDriver.createSqlSource(configuration, sqlResult, modelClass);
  28.     }
  29.  
  30.  
  31.     @Override
  32.     protected String prepareInsertOrUpdateBathName() {
  33.         return "mysqlInsertOrUpdateBath";
  34.     }
  35.  
  36.     String prepareDuplicateKeySql(TableInfo tableInfo) {
  37.         final StringBuilder duplicateKeySql = new StringBuilder();
  38.         if (!StringUtils.isEmpty(tableInfo.getKeyColumn())) {
  39.             duplicateKeySql.append(tableInfo.getKeyColumn()).append("=values(").append(tableInfo.getKeyColumn()).append("),");
  40.         }
  41.  
  42.         tableInfo.getFieldList().forEach(x -> {
  43.             duplicateKeySql.append(x.getColumn())
  44.                     .append("=values(")
  45.                     .append(x.getColumn())
  46.                     .append("),");
  47.         });
  48.         duplicateKeySql.delete(duplicateKeySql.length() - 1, duplicateKeySql.length());
  49.         return duplicateKeySql.toString();
  50.     }
  51.  
  52.     String prepareModelValuesSql(TableInfo tableInfo) {
  53.         final StringBuilder valueSql = new StringBuilder();
  54.         valueSql.append("<foreach collection="list" item="item" index="index" open="(" separator="),(" close=")">");
  55.         if (!StringUtils.isEmpty(tableInfo.getKeyProperty())) {
  56.             valueSql.append("#{item.").append(tableInfo.getKeyProperty()).append("},");
  57.         }
  58.         tableInfo.getFieldList().forEach(x -> valueSql.append("#{item.").append(x.getProperty()).append("},"));
  59.         valueSql.delete(valueSql.length() - 1, valueSql.length());
  60.         valueSql.append("</foreach>");
  61.         return valueSql.toString();
  62.     }
  63.  
  64.     /**
  65.      * @description:准备属性名
  66.      * @author:
  67.      * @date: 2022/11/3 15:25
  68.      * @param: [tableInfo]
  69.      * @return: java.lang.String
  70.      **/
  71.     String prepareFieldSql(TableInfo tableInfo) {
  72.         StringBuilder fieldSql = new StringBuilder();
  73.         fieldSql.append(tableInfo.getKeyColumn()).append(",");
  74.         tableInfo.getFieldList().forEach(x -> {
  75.             fieldSql.append(x.getColumn()).append(",");
  76.         });
  77.         fieldSql.delete(fieldSql.length() - 1, fieldSql.length());
  78.         fieldSql.insert(0, "(");
  79.         fieldSql.append(")");
  80.         return fieldSql.toString();
  81.     }
  82. }

继承上面的抽象类----postgresql版本（已测试完成，其中id使用序列自增）

  1. package com.XX.edu.common.batchOperation;
  2.  
  3. import com.baomidou.mybatisplus.core.metadata.TableInfo;
  4. import org.apache.ibatis.mapping.SqlSource;
  5. import org.slf4j.Logger;
  6. import org.slf4j.LoggerFactory;
  7. import org.springframework.util.StringUtils;
  8.  
  9. /**
  10.  * @Description: 批量插入更新
  11.  * @Title: InsertOrUpdateBath
  12.  * @Package com.XX.edu.common.batchOperation
  13.  * @Author:
  14.  * @Copyright 
  15.  * @CreateTime: 2022/11/3 15:23
  16.  */
  17. public class PGInsertOrUpdateBath extends InsertOrUpdateBathAbstract {
  18.     Logger logger = LoggerFactory.getLogger(getClass());
  19.     @Override
  20.     protected SqlSource prepareSqlSource(TableInfo tableInfo, Class<?> modelClass) {
  21.         final String sql = "<script>insert into %s %s values %s on conflict (id)  do update set %s </script>";
  22.         final String tableName = tableInfo.getTableName();
  23.         final String filedSql = prepareFieldSql(tableInfo);
  24.         final String modelValuesSql = prepareModelValuesSql(tableInfo);
  25.         final String duplicateKeySql = prepareDuplicateKeySql(tableInfo);
  26.         final String sqlResult = String.format(sql, tableName, filedSql, modelValuesSql, duplicateKeySql);
  27.         logger.info("sql=={}",sqlResult);
  28.         return languageDriver.createSqlSource(configuration, sqlResult, modelClass);
  29.     }
  30.  
  31.  
  32.     @Override
  33.     protected String prepareInsertOrUpdateBathName() {
  34.         return "pgInsertOrUpdateBatch";
  35.     }
  36.  
  37.  
  38.     private String prepareDuplicateKeySql(TableInfo tableInfo) {
  39.         final StringBuilder duplicateKeySql = new StringBuilder();
  40.         if (!StringUtils.isEmpty(tableInfo.getKeyColumn())) {
  41.             duplicateKeySql.append(tableInfo.getKeyColumn()).append("=excluded.").append(tableInfo.getKeyColumn()).append(",");
  42.         }
  43.  
  44.         tableInfo.getFieldList().forEach(x -> {
  45.             duplicateKeySql.append(x.getColumn())
  46.                     .append("=excluded.")
  47.                     .append(x.getColumn())
  48.                     .append(",");
  49.         });
  50.         duplicateKeySql.delete(duplicateKeySql.length() - 1, duplicateKeySql.length());
  51.         return duplicateKeySql.toString();
  52.     }
  53.  
  54.     private String prepareModelValuesSql(TableInfo tableInfo) {
  55.         final StringBuilder valueSql = new StringBuilder();
  56.         valueSql.append("<foreach collection="list" item="item" index="index" open="(" separator="),(" close=")">");
  57.         if (!StringUtils.isEmpty(tableInfo.getKeyProperty())) {
  58.             valueSql.append("#{item.").append(tableInfo.getKeyProperty()).append("},");
  59.         }
  60.         tableInfo.getFieldList().forEach(x -> valueSql.append("#{item.").append(x.getProperty()).append("},"));
  61.         valueSql.delete(valueSql.length() - 1, valueSql.length());
  62.         valueSql.append("</foreach>");
  63.         return valueSql.toString();
  64.     }
  65.  
  66.     /**
  67.      * @description:准备属性名
  68.      * @author:
  69.      * @date: 2022/11/3 15:25
  70.      * @param: [tableInfo]
  71.      * @return: java.lang.String
  72.      **/
  73.     private String prepareFieldSql(TableInfo tableInfo) {
  74.         StringBuilder fieldSql = new StringBuilder();
  75.         if (!StringUtils.isEmpty(tableInfo.getKeyProperty())) {
  76.             fieldSql.append(tableInfo.getKeyColumn()).append(",");
  77.         }
  78.  
  79.         tableInfo.getFieldList().forEach(x -> {
  80.             fieldSql.append(x.getColumn()).append(",");
  81.         });
  82.         fieldSql.delete(fieldSql.length() - 1, fieldSql.length());
  83.         fieldSql.insert(0, "(");
  84.         fieldSql.append(")");
  85.         return fieldSql.toString();
  86.     }
  87. }

到此定义结束，下面开始使用

  1. @Service
  2. public class TNewExerciseServiceImpl extends ServiceImpl<TNewExerciseMapper, TNewExercise>
  3.         implements TNewExerciseService {
  4.     Logger logger = LoggerFactory.getLogger(getClass());
  5. //引入mapper 
  6. @Autowired
  7. TScoreMapper scoreMapper;
  8. //这样就可以批量新增更新操作了
  9. public void test(List<TScore> collect){
  10.  scoreMapper.pgInsertOrUpdateBatch(collect);
  11. }
  12.  
  13. }

但是如果collect数据量太大会出现异常
“Tried to send an out-of-range integer as a 2-byte value: 87923”
是因为pg对于sql语句的参数数量是有限制的，最大为32767。

看pg源码

  1. public void sendInteger2(int val) throws IOException {
  2.         if (val >= -32768 && val <= 32767) {
  3.             this.int2Buf[0] = (byte)(val >>> 8);
  4.             this.int2Buf[1] = (byte)val;
  5.             this.pgOutput.write(this.int2Buf);
  6.         } else {
  7.             throw new IOException("Tried to send an out-of-range integer as a 2-byte value: " + val);
  8.         }
  9.     }

从源代码中可以看到pgsql使用2个字节的integer，故其取值范围为[-32768, 32767]。

这意味着sql语句的参数数量，即行数*列数之积必须小于等于32767.

比如，总共有17个字段，因为最大是32767，这样最多允许32767/ 17 大约是1 927个，所以要分批操作，或有能力的童鞋可以自己修改pg的驱动呦

分批插入代码如下：

  1.     /**
  2.      * @description:
  3.      * @author:
  4.      * @date: 2022/11/4 14:57
  5.      * @param: [list, fieldCount:列数]
  6.      * @return: void
  7.      **/
  8.     public void detachSaveOrUpdate_score(List<TScore> list, int fieldCount) {
  9.         int numberBatch = 32767; //每一次插入的最大数
  10.         //每一次插入的最大行数 ， 向下取整
  11.         int v = ((Double) Math.floor(numberBatch / (fieldCount * 1.0))).intValue();
  12.         double number = list.size() * 1.0 / v;
  13.         int n = ((Double) Math.ceil(number)).intValue(); //向上取整
  14.         for (int i = 0; i < n; i++) {
  15.             int end = v * (i + 1);
  16.             if (end > list.size()) {
  17.                 end = list.size(); //如果end不能超过最大索引值
  18.             }
  19.             scoreMapper.pgInsertOrUpdateBatch(list.subList(v * i, end)); //插入数据库
  20.             logger.info("更新一次~~~{}-{}", v * i, end);
  21.         }
  22.     }

以上就是mybatisplus批量更新太慢该怎么解决的详细内容，更多关于mybatisplus批量更新太慢该怎么解决的资料请关注九品源码其它相关文章！

相关热词： mybatisplus批量更新太慢解决
上一篇：讲一讲如何在一个页面中使用多个百度分享按钮，分享不同的文章
下一篇：Go语言与阿里云接口对接的性能优化技巧

文章分类

IT资讯 CMS教程 服务器 数据库 前端开发 后端开发 工具使用 其他教程

最后更新

热门排行

网站首页 | 关于我们 | 免责声明 | 网站建设 | 在线工具 | 网站地图

版权声明：本站发布的资源部分自互联网，所有资源版权归原作者所有。如果有侵犯到您的权益，请联系本站删除，谢谢合作！

Copyright 2018-2025 ©19jp.com All Rights Reserved. 陕ICP备16002142号-1