我正在参与「掘金启航计划」

学python，操作数据库是必不可少的，不光要会写python代码，还要会写SQL句子，本篇文章主要讲如何把本地txt文件中的数据读取出来并写入到对应的数据库中，一起将数据库单个表中的数据读出来保存在本地txt文件中。

话不多说，咱们开始吧！

读取文件数据写入到数据库

读取文件数据并封装

有两个txt文件，一个是普通文本格局，一个是json格局，部分数据截图见本篇文章的最后附录部分。一个是2011年的1月份出售数据，一个是2011年的2月份出售数据，咱们需求分别读出这两个文件的数据并写入同一个表中。

1月份数据是普通文本，运用逗号分割数据记录，早年到后分别是(日期，订单id，出售额，出售省份)；

2月份数据是JSON数据，同样包含 (日期，订单id，出售额，出售省份)

依据面向目标的思想，咱们能够规划一个FileReader类，进行数据的读取，咱们读取到的数据也能够封装到一个类里边，叫做数据封装类，也便是每一条数据都能够得到一个详细的类目标；

（1）数据界说的类

规划一个类，完成数据封装，新建一个python文件，名为：data_define.py，依据数据的剖析，成员变量包含 date, order_id, money, province

# 数据界说的类
class Record:
    def __init__(self, date, order_id, money, province):
        self.date = date    # 订单日期
        self.order_id = order_id    # 订单ID
        self.money = money      # 订单金额
        self.province = province    # 出售省份
    def __str__(self):
        return f"{self.date}, {self.order_id}, {self.money}, {self.province}"

（2）界说文件相关的类

规划一个笼统类，界说文件读取的相关功用，并运用子类完成详细功用，由于文件的数据格局不同，咱们读取文件的详细完成逻辑也不一样，所以界说一个笼统类，经过子类去完成详细数据的详细读取办法。

新建一个python文件，名为：file_define.py,先界说一个笼统类FileRecord用来做顶层规划，承认有哪些功用（read_data办法）需求完成，并分别界说TextFileRecord类和JsonFileRecord类，继承FileRecord类，复写父类的read_data办法，

详细代码如下：

from data_define import Record
import json
# 先界说一个笼统类用来做顶层规划，承认有哪些功用需求完成
class FileRecord:
    def read_data(self) -> list[Record]:
        # 读取文件的数据，读到的每一条数据都转换为Record目标，将他们都封装到List内并回来即可
        pass
class TextFileRecord(FileRecord):
    def __init__(self, path):
        self.path = path  # 界说成员变量记录文件途径
    # 复写（完成笼统办法）父类的办法
    def read_data(self) -> list[Record]:
        f = open(self.path, "r", encoding="UTF-8")
        record_list: list[Record] = []
        for line in f.readlines():
            line = line.strip()  # 消除读取到的每一行数据中的\n
            data_list = line.split(",")
            record = Record(data_list[0], data_list[1], int(data_list[2]), data_list[3])
            record_list.append(record)
        # print(record_list)
        f.close()
        return record_list
class JsonFileRecord(FileRecord):
    def __init__(self, path):
        self.path = path  # 界说成员变量记录文件途径
    # 复写（完成笼统办法）父类的办法
    def read_data(self) -> list[Record]:
        f = open(self.path, "r", encoding="UTF-8")
        record_list: list[Record] = []
        for line in f.readlines():
            data_dict = json.loads(line)
            record = Record(data_dict["date"], data_dict["order_id"], data_dict["money"], data_dict["province"])
            record_list.append(record)
        # print(record_list)
        f.close()
        return record_list
if __name__ == '__main__':
    # 测验读取文本文件
    text_file_record = TextFileRecord("G:\材料\2011年1月出售数据.txt")
    lin1 = text_file_record.read_data()
    for l1 in lin1:
        print(l1)
    # 测验读取json文件
    json_file_record = JsonFileRecord("G:\材料\2011年2月出售数据JSON.txt")
    lin2 = json_file_record.read_data()
    for l2 in lin2:
        print(l2)

运转成果：

（3）兼并数据

新建一个python文件main.py，读取数据并将1月份数据和2月份数据兼并

from file_define import FileRecord, TextFileRecord, JsonFileRecord
from data_define import Record
text_file_record = TextFileRecord("G:\材料\2011年1月出售数据.txt")
json_file_record = JsonFileRecord("G:\材料\2011年2月出售数据JSON.txt")
jan_data: list[Record] = text_file_record.read_data()  # 读取1月份数据并保存到jan_data
feb_data: list[Record] = json_file_record.read_data()  # 读取2月份数据并保存到feb_data
all_data: list[Record] = jan_data + feb_data  # 兼并两个月份的数据
# print(all_data)

兼并数据之后的成果：

构建数据库链接并写入数据库

咱们首要需求导包：from pymysql import Connection，我在代码中分别创立了sell数据库和orders表，其实能够直接经过数据库可视化工具创立，创立完成后直接履行insert插入句子即可，参阅代码如下：

# 构建数据库链接
conn = Connection(
    host="localhost",
    port=3306,
    user="root",
    password="123456",
    autocommit=True  # 履行sql句子时主动提交
)
# 构建游标目标
cur = conn.cursor()
cur.execute("SHOW DATABASES")
database_list = []
for db in cur:
    database_list.append(db[0])
print(database_list)  # 打印出当时一切数据库
if "sell" in database_list:  # 假如数据库存在则不创立，假如不存在则创立数据库sell
    pass
else:
    creat_data_base = "CREATE DATABASE sell"
    cur.execute(creat_data_base)
conn.select_db("sell")
cur.execute("SHOW TABLES")
tab_list = []
for tab in cur:
    tab_list.append(tab[0])
print(tab_list)  # 打印当时库中的一切表
if "orders" in tab_list:  # 假如表存在则不创立，假如不存在则创立表orders
    pass
else:
    cur.execute("CREATE TABLE orders(order_date DATE,order_id VARCHAR(255),money INT,province VARCHAR(10))")
# 遍历一切数据，并履行插入句子
for record in all_data:
    sql = f"INSERT INTO sell.orders(order_date,order_id,money,province) VALUES ('{record.date}','{record.order_id}',{record.money},'{record.province}')"
    print(sql)
    cur.execute(sql)
# 封闭数据库链接
cur.close()

运转代码成功之后，可在数据库中看到，数据现已正常写入orders表中：

从数据库读取数据并保存到本地

相对写入数据来说，读取数据保存到本地更加简略，先从数据库读取数据，然后处理数据，之后保存到本地文件即可。

（1）保存为txt文件

代码如下：

from pymysql import Connection
from data_define import Record
# 构建数据库链接
conn = Connection(
    host="localhost",
    port=3306,
    user="root",
    password="123456",
    autocommit=True  # 履行sql句子时主动提交
)
# 构建游标目标
cur = conn.cursor()
cur.execute("select * from sell.orders")  # 读取orders表中的一切数据
record_list = []
for data in cur:
    record = Record(data[0], data[1], data[2], data[3])
    record_list.append(record)  # 将读取的每一数据封装成一个Record目标并添加到record_list列表中
f = open("E:\sell_orders_data.txt", 'w')  # 文件存在，则直接覆盖文件中的内容写入，不存在，先创立文件再写入数据
for sell_data in record_list:
    # 只能写入str类型的，则把读取的Record目标转化为str，每个字段用","分割
    str_data = str(sell_data.date) + "," + sell_data.order_id + "," + str(sell_data.money) + "," + sell_data.province
    f.write(str_data)
    f.write("\n")
f.close()

检查保存的txt文件：

（2）保存为excel文件

代码如下：

import xlwt
# 写入到excel文件中
# 调用xlwt模块中的Workbook办法来创立一个excel表格类型文件，style_compression设置是否压缩，赋值为0表明不压缩。
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
# 用book目标调用add_sheet办法来建立一张sheet表，这儿边的第一个参数很明显便是设置sheet表格的称号，第二个参数cell_overwrite_ok用于承认同一个cell单元是否能够重设值，这儿赋值为True就表明可重设值。
sheet = book.add_sheet('出售数据表', cell_overwrite_ok=True)
# 用一个元组col自界说列的数量以及各列的属性名
col = ('出售日期', '订单ID', '出售额', '省份')
# 写入表头
for i in range(0, 4):
    sheet.col(i).width = 5000  # 设置宽度
    sheet.write(0, i, col[i])
datastyle = xlwt.XFStyle()  # 创立一个款式目标，初始化款式
datastyle.num_format_str = 'yyyy-mm-dd'  # 设置日期格局
# 循环record_list数据并写入
for row in range(1, len(record_list) + 1):
    sheet.write(row, 0, record_list[row - 1].date, datastyle)  # 假如不加datastyle，写出来的日期列格局是不对的
    sheet.write(row, 1, record_list[row - 1].order_id)
    sheet.write(row, 2, record_list[row - 1].money)
    sheet.write(row, 3, record_list[row - 1].province)
book.save('E:\订单出售额.xls')
f.close()

检查保存的excel文件：

附录