Eon模式下ETL的建议-使用临时表

2020-06-09

使用临时表

在Eon模式下,我们强烈建议使用临时表进行登台,合并和转换,这些数据最终可能会被删除或截断。临时表是会话范围的,不会在S3上创建对象。因此,它们性能更好,并节省了S3访问成本。TEMPSPACE可以是快速的临时卷,以获得最佳结果,并且随实例一起提供,无需额外费用。

优点:

以下是将临时表用于ETL和登台数据的好处:

•更快的插入/更新/删除,因为没有数据写入S3

•节省网络带宽

•节省S3读/写和访问成本

•节省S3 API调用成本

•节省S3存储成本

•临时表不会在公用存储中创建文件,因此,消除了实例终止期间的一些清理开销,并且不使用收割者队列。

例:

以下示例说明了使用本地临时表来完成琐碎的工作量。

在这里,对于在临时表上运行的命令,没有下载或上载(访问)到S3的权限。数据转换,更新,合并和处理后,最终的插入+选择将更新S3中的文件。