Data-pipeline

本文讨论了如何将10TB数据从SQL Server迁移到Amazon Redshift的过程，包括RDS还原和Redshift数据迁移的方案演变。数据迁移涉及使用AWS服务如S3、Lambda、Glue和Step Function，确保数据从外部数据中心顺利迁移到AWS云，并实现定期同步。整个过程包括Schema转换、数据导出、压缩和上传，以及通过Step Function调度的完整数据管道。