线上一个推荐模型的 P99 响应延迟最近频繁触及告警阈值。排查了一圈,发现瓶颈并不在模型推理本身,而是上游的特征获取。当前的实现是在每次请求时,实时调用多个微服务,并查询 MySQL 和 Redis,动态拼凑成一个特征向量。这种“读时计算”
2023-10-27