myvuxar
本站致力于IT相关技术的分享
构建基于 Pulsar 与文档型 NoSQL 的 MLOps 实时特征管道 构建基于 Pulsar 与文档型 NoSQL 的 MLOps 实时特征管道
线上一个推荐模型的 P99 响应延迟最近频繁触及告警阈值。排查了一圈,发现瓶颈并不在模型推理本身,而是上游的特征获取。当前的实现是在每次请求时,实时调用多个微服务,并查询 MySQL 和 Redis,动态拼凑成一个特征向量。这种“读时计算”
2023-10-27
构建基于Jib与Nacos的动态可配Delta Lake数据处理服务 构建基于Jib与Nacos的动态可配Delta Lake数据处理服务
我们团队维护着一套基于Spark的数据处理管道,核心存储使用了Delta Lake。最初,一切都很顺利。但随着业务的扩张,处理的Delta表数量从几个增长到几十个,环境也从单一的生产环境扩展到开发、测试、预发、生产四套。问题随之而来:任何微
2023-10-27