如何批量插入Mysql并取得各自的递增ID-CFANZ编程社区

批量插入Mysql并取得各自的递增ID

项目背景

在许多应用程序中，我们经常需要批量插入大量数据到Mysql数据库中，并且需要获取每条数据的递增ID。在这种情况下，传统的逐条插入数据的方式效率较低，因此需要寻找更加高效的批量插入方法。

项目目标

本项目的目标是提供一个方案，能够实现批量插入大量数据到Mysql数据库中，并能够获取每条数据的递增ID。

技术方案

1. 数据库表结构

首先，我们需要创建一个数据库表来存储需要插入的数据。表结构可以根据具体的业务需求来设计，这里以一个简单的示例为例：

CREATE TABLE `data` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `name` VARCHAR(100) NOT NULL,
  `age` INT(11) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

2. 数据准备

在实际应用中，我们通常会从外部数据源（如文件、API接口等）获取需要插入的数据。这里使用一个示例数据的数组作为数据准备：

data = [
    {'name': 'John', 'age': 25},
    {'name': 'Alice', 'age': 30},
    {'name': 'Bob', 'age': 35},
    # 更多数据...
]

3. 批量插入数据

为了提高数据插入的效率，我们可以使用Mysql的LOAD DATA INFILE语句来批量插入数据。首先，将数据写入到一个临时文件中：

import csv

filename = 'data.csv'

with open(filename, 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(data[0].keys())  # 写入表头
    for row in data:
        writer.writerow(row.values())  # 写入数据

然后，使用LOAD DATA INFILE语句将数据文件导入到数据库中，并通过LAST_INSERT_ID()函数获取每条数据的递增ID：

import pymysql

connection = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    database='test'
)

cursor = connection.cursor()

sql = f'''
LOAD DATA INFILE '{filename}' INTO TABLE data
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\\n'
IGNORE 1 ROWS;
'''

cursor.execute(sql)
connection.commit()

cursor.execute('SELECT LAST_INSERT_ID();')
ids = cursor.fetchall()

cursor.close()
connection.close()

# 输出每条数据的递增ID
for i, row in enumerate(data):
    print(f'Data: {row}, ID: {ids[i][0]}')