All Posts

本文讨论了如何将10TB数据从SQL Server迁移到Amazon Redshift的过程，包括RDS还原和Redshift数据迁移的方案演变。数据迁移涉及使用AWS服务如S3、Lambda、Glue和Step Function，确保数据从外部数据中心顺利迁移到AWS云，并实现定期同步。整个过程包括Schema转换、数据导出、压缩和上传，以及通过Step Function调度的完整数据管道。

本文讨论了在AWS RDS SQLServer中进行数据库还原时遇到的故障及其排查过程。通过定期备份和使用T-SQL存储过程进行还原，作者记录了在执行还原任务时出现的异常，包括连接丢失和任务中断。最终发现，RDS实例的重启和EC2节点的更换是导致这些问题的根本原因。

本文介绍了一种使用 SQLite 实现字符串 DSL 的方法，允许用户在字符串中动态渲染表达式，如获取当前日期和时间。通过定义 SQL 查询和解析表达式，用户可以方便地生成包含动态数据的字符串。示例代码展示了如何使用该方法来处理不同格式的字符串，并强调了这种方法相较于直接执行 Python 代码的安全性和友好性。

介绍了如何在Python中使用进程池实现单个任务的即时提交，而不是等待一批任务完成。通过示例代码，展示了如何初始化进程池并在任务完成后立即添加新任务，以提高进程池的利用效率。代码示例包括任务提交、执行和完成的过程。

本文记录了TiDB SQL的调优过程，主要针对两个表的查询性能进行了分析与优化。通过使用EXPLAIN和EXPLAIN ANALYZE，发现全索引扫描导致性能瓶颈，提出了使用索引和TiFlash的混合查询方案，显著提升了查询效率。最终的优化方案结合了TiFlash和TiKV的查询方式，以提高数据检索的性能。