myvuxar
本站致力于IT相关技术的分享
构建基于 Jib 的异构技术栈 Monorepo 以优化 NLP 服务容器化流程 构建基于 Jib 的异构技术栈 Monorepo 以优化 NLP 服务容器化流程
CI流水线中，针对Python服务的docker build耗时一直是个顽疾。一个包含大型机器学习模型（例如spaCy）的服务，其构建镜像的过程动辄数分钟。问题根源在于Dockerfile的层级缓存机制过于粗放。任何源文件的微小改动，都可能
2023-10-27 DevOps
spaCy Next.js Vite Jib
构建基于 OpenFaaS 的弹性 NLP 浓缩管道：整合 spaCy、读写分离、Argo CD 与 ELK Stack 的生产实践 构建基于 OpenFaaS 的弹性 NLP 浓缩管道：整合 spaCy、读写分离、Argo CD 与 ELK Stack 的生产实践
最初的需求听起来很简单：为用户评论流提供一个实时的命名实体识别（NER）服务。技术栈初选也很快，Python 和 spaCy，成熟且功能强大。但真正的挑战在于部署和运维。流量是典型的潮汐模式，午夜时分几乎为零，但在营销活动期间会瞬间涌入数万
2023-10-27 架构设计
ELK Stack 读写分离 spaCy OpenFaaS Argo CD GitOps Serverless 可观测性
构建与 Code Review 集成的 OpenFaaS 按需 SSR 预览服务以支持 Recoil 应用 构建与 Code Review 集成的 OpenFaaS 按需 SSR 预览服务以支持 Recoil 应用
团队的前端项目状态管理全面转向 Recoil 后，UI 层的复杂度和动态性急剧上升。随之而来的一个棘手问题是 Code Review 效率的下降。单纯的代码审查无法直观地验证复杂的交互逻辑和状态变更，而要求 Reviewer 本地拉取分支、
2023-10-27 前端架构
OpenFaaS Serverless Code Review Recoil SSR
构建基于WebSockets的实时CV模型协同调试平台并集成Prettier作为配置格式化引擎 构建基于WebSockets的实时CV模型协同调试平台并集成Prettier作为配置格式化引擎
团队的CV算法工程师最近在模型参数调优上耗费了大量时间。整个流程是割裂的：在本地修改一个庞大的YAML或JSON配置文件，启动一个Python脚本处理一批验证图片，然后去输出目录里一张张地检查结果。这个反馈循环极其缓慢。更糟糕的是，当两个工
2023-10-27 后端架构
Prettier WebSockets CV Node.js Python
Node.js 与 Hadoop 异构计算任务中 Jaeger 链路上下文的传递实践 Node.js 与 Hadoop 异构计算任务中 Jaeger 链路上下文的传递实践
我们面临的第一个问题，不是性能，而是黑盒。一个由Node.js编写的API网关负责接收数据处理请求，然后将任务分发给后端的Hadoop集群。当用户抱怨某个任务处理缓慢或失败时，我们的排查过程极其痛苦。Node.js服务的日志里只有一个请求I
2023-10-27 可观测性
NoSQL Node.js Hadoop Jaeger Vitest
基于C++与epoll实现MySQL Binlog实时同步至Server-Sent Events API的服务 基于C++与epoll实现MySQL Binlog实时同步至Server-Sent Events API的服务
项目的技术需求很直接：将一个核心业务数据库（MySQL）的某些关键表变更，实时推送给一组前端监控面板。最开始的方案是前端轮询一个API，但这很快就因为请求量巨大和延迟不可控而被否决。我们需要一个服务端推送的方案，而核心数据库是生产环境的重中
2023-10-27 后端架构
MySQL C++ API 设计 Server-Sent Events epoll 网络编程
2 / 5