我们团队维护着一套基于Spark的数据处理管道,核心存储使用了Delta Lake。最初,一切都很顺利。但随着业务的扩张,处理的Delta表数量从几个增长到几十个,环境也从单一的生产环境扩展到开发、测试、预发、生产四套。问题随之而来:任何微
2023-10-27