mybatis操作数据库流程

本篇文章给大家分享mybatis大数据处理，以及mybatis操作数据库流程对应的知识点，希望对各位有所帮助。

简述信息一览：

• 1、怎么让Mybatis执行sql速度快些
• 2、Java的批量插入30W的数据竟然可以这么快?
• 3、Mybatis这几个方法的参数是什么?
• 4、mybatis批量插入一次能插入1万条数据吗
• 5、mybatis大数据查询优化:fetchSize

怎么让Mybatis执行sql速度快些

提升Mybatis执行SQL速度的一个有效策略是优化SQL语句本身。例如，将多次查询合并为一次查询，可以显著减少数据库交互次数，从而提高执行效率。这种优化不仅限于简单的合并查询，还可以通过合理使用索引、减少不必要的列加载以及优化JOIN操作等方式实现。在编写SQL时，确保查询中使用的表和字段都恰当地利用了索引。

首先，分页查询通过设置limit的offset和size来实现。其次，预置SQL查询字段通过引用columns实现。一对多级联查询使用mybatis的collection标签，通过queryparaminstancelist级联查询关联表数据。一对一级联查询则使用association标签实现。

批处理的原理基于减少网络通信时间和优化 SQL 语句执行。JDBC 在执行 SQL 时，会通过网络请求发送 SQL 语句和参数，这种单条语句的执行方式会增加网络通信负担，降低效率。批处理则允许客户端缓存多条 SQL 语句，批量发送到数据库执行，以此降低通信损耗，提高性能。

commit方***在执行后自动清空本地缓存，因此无需在commit后重复调用clearCache。此外，flushStatements用于将执行过的SQL语句真正刷新到数据库中，而clearCache清空了缓存数据，与flushStatements功能有重叠。为了解决上述问题，文章提出了版本2的改进方案。

首先，理解MySQL JDBC连接中的rewriteBatchedStatements参数至关重要。默认情况下，驱动会拆分executeBatch中的SQL语句，导致批量插入性能低下。为了实现真正的批量插入，需要确保数据库连接的url中包含rewriteBatchedStatements=true，且使用的驱动版本需在13以上。

Java的批量插入30W的数据竟然可以这么快?

1、首先，验证了使用MyBatis、JDBC等技术插入30万条数据的可行性与效率。通过定义实体类、mapper、配置文件等，设计了验证数据库表结构。尝试不分批次直接插入30万条数据，发现MyBatis一次性批量插入时，超出最大数据包限制，提示通过调整max_allowed_packet变量来提高传输内容上限。

2、直接使用MyBatis批量插入30万条数据，代码如下：控制台输出显示了异常：超过最大数据包限制（27759038 yun 4194304），可以通过调整max_allowed_packet参数在服务器端解决，但30万数据量超出较多，因此这种方式不可行。既然直接***不行，尝试逐条循环插入。

3、Java实现批量插入：使用ojdbcjar包连接Oracle数据库。关闭自动提交功能：这可以减少每次插入后的磁盘I/O操作，提高插入效率。利用PreparedStatement预编译SQL语句：这可以避免SQL语句的重复解析，提高效率。使用addBatch和executeBatch方法：将多条数据添加到批次中，然后一次性执行，可以显著提高插入速度。

4、优化1：先查询全部数据，缓存到map中，插入前再进行判断，这样可以显著提高速度。优化2：对于大文件，可以***用异步+多线程读取若干行并分批入库。优化3：对于文件数量过多的情况，可以将每个Excel异步读取与插入，形成双异步操作。通过这些优化，从191秒优化至2秒，效率惊人。

5、在MyBatis中，批量插入数据可以使用两种高效的方法：foreach标签和ExecutorType.BATCH。foreach标签主要用于构建IN条件语句。它可以在SQL语句中迭代一个***，实现批量插入。foreach元素需要指定item、index、collection、open、separator和close属性。

Mybatis这几个方法的参数是什么?

在使用Mybatis时，通过RowBounds可以灵活地控制查询的起始位置和查询的数量。offset参数则代表了从数据表中的哪一行开始取数据，也就是说，它指定了分页查询的起始位置。limit参数则是指定了每页显示的数据条数，也就是限制了查询返回的结果集大小。

IN参数 说明：IN参数是输入参数，用于向存储过程传递数据。 配置方法：在Mybatis的XML配置文件中，直接在、insert、update或delete标签内使用#{parameterName， mode=IN， jdbcType=数据类型}的形式来配置IN参数。但通常，对于IN参数，可以省略mode=IN部分，因为IN是默认模式。

Mybatis的参数传递方式主要包括传递单个参数、Map、Java对象，以及多个参数。下面分别解析这些方法的使用和特点。传递单个参数时，Mapper接口方法中只有一个参数，例如：使用该方法时，可以直接引用如#{name}、#{val}、${x}等参数值，操作简便。

Mybatis传递多个参数有四种常见方式，分别是：顺序传参法：描述：通过在SQL语句中的#{}中指定数字来对应参数的顺序。优缺点：这种方式在参数较少时可能较为简单，但在参数较多时易混淆，且调整顺序可能导致错误，因此不推荐使用。

mybatis批量插入一次能插入1万条数据吗

在探讨 Mybatis 批量插入数据的上限时，我们首先提到过，理论上通过 Mybatis 批量插入数据可以实现一次插入多条数据，比如 1 万条。然而，实际效果受到 MySQL 数据库自身参数的限制。我们通过搭建一个 SpringBoot + Mybatis 的项目进行测试。

首先，考虑使用批量插入来提升效率。这种方式相较于逐条插入，能够显著提高数据处理速度，实测效果可达每秒35000条。实现方式分为两种： **循环插入**：利用for循环，将数据逐条插入数据库。这种方式简单直观，但性能可能受限于SQL执行效率和并发限制。

三种方法简介： 循环单次插入：此方法耗时长，性能低，容易引起误解。 MyBatis Plus 批量插入：通过 MP 框架实现，性能提升明显，代码结构清晰。 原生批量插入：借助 MyBatis 的 foreach 标签一次性执行 SQL，性能高，但易引发 SQL 大小限制问题。

mybatis大数据查询优化:fetchSize

在使用MyBatis查询大量数据时，面临一个普遍问题就是内存溢出（OOM）。本文将详细阐述如何通过流式查询解决这一问题，避免数据量过大导致的内存问题。首先，需要在`Mapper.xml`配置文件中对`select`语句进行优化，添加`fetchSize`属性。

面对数据量庞大的查询需求，MyBatis提供了流式查询方式，以避免内存溢出（OOM）问题。首先在Mapper.xml中，通过在SQL语句中增加`fetchSize`属性，实现分页式查询。

首先，理解流式查询，它通过提供数据获取管道，客户端按需从管道读取，保持连接，避免一次性加载大量数据到内存。流式查询有基于注解和xml两种方式，选择ResultSetType为` Scrollable`以减少内存占用。

自己写SQL快。mybatisselectList返回结果集比较大时FETCHSIZE设置接近结果集大小一般会影响查询的速度，没有自己写SQL快。影响速度的原因大概就是这些mybatis预加载，拼接SQL慢，数据类型不一致导致无法用索引，结果集太大，交互次数多导致时间变长。

关于mybatis大数据处理，以及mybatis操作数据库流程的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。