Data Flow Task中的同步与异步, 阻塞,半阻塞和全阻塞及Buffer缓存概念

如何理解 Buffer 缓存

Buffer 缓存实际上可以理解为数据流中存储数据的容器，再说简单一点就是一块内存，数据流组件从外部获取数据之后数据就保存在这个 Buffer 容器。一个 Data Flow Task 中可以有多个 Buffer, 并且要理解的是 一个 Buffer 并不是由单个组件独有，而是可以由几个转换组件共享。在整个数据流中，每遇到一个异步输出就会新创建一个 Buffer。

看一个示例，这个数据流从 OLE DB Source 组件开始 (OLE_SRC_UserDownload) 开启一个 Buffer 容器，它是异步组件它需要开辟这个新缓存。Multicast 组件 (MC_UserDownload) 与 OLE DB Destination (OLE_DST_UserDownload) 它们是同步组件，因此它们不需要新创建缓存，因此是与它们的输入即 OLE_SRC_UserDownload 共享这个 Buffer，如图所示 Buffer 1 部分。

通过 Multicast 组件，产生了左右两个分支，当遇到 Aggregate 组件 (Aggregate_Count_MaxLoadingTime) 时，因为 Aggregate 组件是一个异步完全阻塞组件，因此需要创建一个新的缓存 Buffer 容器 - Buffer 2。

在 Buffer 2 中，假设通过 Aggregate_Count_MaxLoadingTime 往下产生了两列，那么 Buffer 2 中就定义了这两列，当通过 Derived Column 组件 (DC_CreateAuditColumns) 衍生新的两列时，此时 Buffer 2 就多定义了两列，总共就定义了四列，当所有数据写入 OLE DB Destination 组件之后 Buffer 2 也就结束了。

了解了有关 Buffer 的知识之后，可以打开所在数据流的属性，能看到对当前数据流 Buffer 容器相关属性的配置，比如默认缓存中的最大行数，默认缓存大小。默认缓存大小是10 MB，一个 Buffer 中最大只能处理 100 MB 数据，所以也可以设置成 100 MB，但是如果处理的数据超过100MB数据流就会多建几个 Buffer。

From：cnblogs BIWORK

（编辑：佛山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!