【重难点总结】DMA与kafka零拷贝机制之间的关系

2023-02-12,,,,

一、DMA介绍

1、概念

DMA(Direct Memory Access,直接存储器访问) 是一种内存访问技术,独立于CPU, 直接读、写系统存储器、外设等

主存与I/0设备之间使用DMA控制器控制一个数据通路(专用数据总线)进行数据传输,无需依赖于CPU进行中断

I/O设备(字符设备和块设备):硬盘、USB、打印机

CPU除了在数据传输开始和结束时做一点处理外(开始和结束时候要做中断处理),在传输过程中CPU可以进行其他的工作。

2、不使用DMA方式时

CPU:将数据复制到CPU的暂存器,再写回到新位置,此时CPU无法使用

3、应用场景

主存与I/O设备之间进行数据交互

例如:运行一个程序,调用一段数据

二、零拷贝机制

1、解决的问题

从磁盘读取一个文件通过网络输出到一个客户端

步骤:从磁盘读取文件,将文件写入到socket(套接字,网卡驱动)

2、传统的传输方式-也需要经过DMA传输

(1)过程描述-4次拷贝

数据从磁盘复制到内核缓冲区

从内核缓冲区复制到用户空间缓冲区【内存】(需要切换到用户态空间)

用户缓冲区复制到内核的socket缓冲区
从socket缓冲区复制到协议引擎(这里是网卡驱动

(2)kafka图解

硬盘-内存-socket缓冲区-网卡驱动

2、零拷贝方式-使用Linux内核中sendfile的系统调用(合并缓冲区-内存-socket)

(1)过程描述

从磁盘读取文件内容到内核缓冲区
直接从内核缓冲区复制数据到socket缓冲区(原来:缓冲区-内存/用户空间,内存-socket)
从socket缓冲区复制到协议引擎(这里是网卡驱动)

(2)kafka过程图解

3、零拷贝机制与DMA的关系

无需经过CPU拷贝数据到内存中,直接将读缓冲区的地址写入socket

网卡根据 Socket 的描述符信息,直接从读缓冲区,写入到网卡驱动

应用程序通过调用mmap(),将不同的虚拟地址映射到了同一物理地址,即内核缓冲区,使程序在用户态可以直接读取并操作内核空间的数据

使用DMA方式将磁盘数据读取到内核缓冲区,通过内存映射,使用户缓冲区和内核读缓冲区的内存地址为同一内存地址

【重难点总结】DMA与kafka零拷贝机制之间的关系的相关教程结束。

《【重难点总结】DMA与kafka零拷贝机制之间的关系.doc》

下载本文的Word格式文档,以方便收藏与打印。