编程日记 批量导入数据
1.用可视化界面：适合一次性导入，数据量可控
2.写程序：for循环，建议分批，不要一把梭哈（可以用接口控制），要保证可控、幂等，注意线上环境和测试环境是有区别的
导入1000w条，for i 1000w
(不能再main方法里面写，会报空指针异常，userMapper无法注入)
缺点是.class并不是一个spring的bean，他没有被spring托管，无法使用@resounces注解
3.执行SQL语句，适用于小数据量
编写一次性任务
for循环插入数据的问题：
1.建立和释放数据库链接（批量查询解决）
@Resourceprivate UserService userService;/*** 批量插入用户*/@Test//fixedDelay就是每隔5s执行一次public void doInsertUsers() {StopWatch stopWatch = new StopWatch();stopWatch.start();final int INSERT_NUM = 100000;List<User> userList = new ArrayList<>();for (int i = 0; i < INSERT_NUM; i++) {User user = new User();user.setUsername("原_创 【鱼_皮】https://t.zsxq.com/0emozsIJh");user.setUserAccount("fakeyupi");user.setAvatarUrl("https://636f-codenav-8grj8px727565176-1256524210.tcb.qcloud.la/img/logo.png");user.setGender(0);user.setUserPassword("12345678");user.setPhone("123");user.setEmail("123@qq.com");user.setTags("[]");user.setUserStatus(0);user.setUserRole(0);user.setPlanetCode("11111111");userList.add(user);}// 20 秒 10 万条userService.saveBatch(userList, 1000);stopWatch.stop();System.out.println(stopWatch.getTotalTimeMillis());}
2.for循环是绝对线性的（并发）
并发要注意执行的先后顺序无所谓
@Resourceprivate UserService userService;/*** 并发批量插入用户*/
@Testpublic void doConcurrencyInsertUsers() {StopWatch stopWatch = new StopWatch();stopWatch.start();// 分十组int batchSize = 5000;int j = 0;List<CompletableFuture<Void>> futureList = new ArrayList<>();for (int i = 0; i < 100; i++) {List<User> userList = new ArrayList<>();while (true) {j++;User user = new User();user.setUsername("假鱼皮");user.setUserAccount("fakeyupi");user.setAvatarUrl("https://636f-codenav-8grj8px727565176-1256524210.tcb.qcloud.la/img/logo.png");user.setGender(0);user.setUserPassword("12345678");user.setPhone("123");user.setEmail("123@qq.com");user.setTags("[]");user.setUserStatus(0);user.setUserRole(0);user.setPlanetCode("11111111");userList.add(user);if (j % batchSize == 0) {break;}}// 异步执行CompletableFuture<Void> future = CompletableFuture.runAsync(() -> {System.out.println("threadName: " + Thread.currentThread().getName());userService.saveBatch(userList, batchSize);}, executorService);futureList.add(future);}CompletableFuture.allOf(futureList.toArray(new CompletableFuture[]{})).join();// 20 秒 10 万条stopWatch.stop();System.out.println(stopWatch.getTotalTimeMillis());}
注意第38行代码：
这段代码是使用Java的CompletableFuture类来等待一组CompletableFuture对象全部执行完毕。
CompletableFuture.allOf(...)，是一个静态方法，它接收一个CompletableFuture数组作为参数，并返回一个新的CompletableFuture对象。这个新的CompletableFuture对象会在参数中所有的CompletableFuture对象都执行完毕之后完成，即它会等待传入的所有CompletableFuture对象完成，才会执行下一条语句。
array.toArray(new CompletableFuture[]{})，这段代码是将一个List集合(array)转换成一个数组，并作为参数传递给CompletableFuture.allOf()方法。这是通过将List集合转换为一个空的CompletableFuture数组来实现的。
.join()，是CompletableFuture对象的一个方法，会阻塞当前线程，直到该CompletableFuture对象完成，并返回对象的结果值。
此代码CompletableFuture.allOf(array.toArray(new CompletableFuture[]{})).join()的意思是等待List集合(array)中的所有CompletableFuture对象都执行完毕，并阻塞当前线程直到所有CompletableFuture对象都完成。
