Django实现下载100G的超大CSV文件

关注我的大众号「DevOps724」，获取最新的内容分享，带你探索DevOps的无限或许！分享最新的行业趋势、深化的技术分析和实用的东西，协助你把握自动化、云计算、持续集成和部署等中心概念。

在处理大数据集的时分，咱们经常遇到的一个问题是内存运用。当咱们企图生成一个大型文件，如 CSV，并测验将其全部加载到内存中时，或许会遇到内存不足的问题。幸运的是，Django 提供了一个解决方案：流传输。本文将详细的讲述怎么运用 Django 进行大型 CSV 文件的流传输。

流传输的根底概念

流传输是一种技术，答应你一次发送一小部分响应，而不是一次性加载整个响应到内存中。这种技术对于服务大文件，如图像，音频和大型数据集非常有用。

创建 Django StreamingHttpResponse 对象

StreamingHttpResponse 对象答应咱们将响应内容按部分，或者说“流”的形式发送给客户端。试看以下代码：

from django.http import StreamingHttpResponse
def big_file_download(request):
    def file_iterator(file_name, chunk_size=512):
        with open(file_name, "rb") as f:
            while True:
                c = f.read(chunk_size)
                if c:
                    yield c
                else:
                    break
    response = StreamingHttpResponse(file_iterator('big_file.csv'))
    return response

在这里，咱们首先创建一个生成器函数 file_iterator，它以 chunk_size 为单位读取文件，然后用这个生成器函数作为 StreamingHttpResponse 的参数，从而创建出一个可以流传输的响应对象。

完结 Django 流传输大型 CSV 文件

现在，咱们知道了怎么创建 StreamingHttpResponse 对象，接着看一下怎么用它来流传输大型 CSV 文件:

import csv
from django.http import StreamingHttpResponse
from .models import Person
class Echo:
    def write(self, value):
        return value
def streaming_csv_view(request):
    persons = Person.objects.all().values_list('name', 'age', 'city')
    pseudo_buffer = Echo()
    writer = csv.writer(pseudo_buffer)
    response = StreamingHttpResponse((writer.writerow(person) for person in persons),
                                     content_type="text/csv")
    response['Content-Disposition'] = 'attachment; filename="persons.csv"'
    return response

在上述代码中,咱们创建了一个 Echo 类，并将其实例 pseudo_buffer 作为 csv.writer 的参数。这样，咱们可以以迭代的办法写入 CSV 行，而不用把它们全部加载到内存中。之后，咱们把这个 writerow 办法的迭代器作为 StreamingHttpResponse 的参数。注意，咱们此刻仍需要设置正确的 MIME 类型和 Content-Disposition 头部。

总结

这便是怎么运用 Django 的 StreamingHttpResponse 对象来流传输大型 CSV 文件。完结这个特性后，你应该可以更高效地处理大数据集，且大大降低了内存运用。希望这篇文章对你的开发作业有所协助。