myvuxar
本站致力于IT相关技术的分享
  文章分类
前端架构 1 后端架构 8 架构设计 2 数据工程与存储 2 可观测性 3 云原生 2 架构与设计 3 MLOps 2 分布式架构 2 数据工程 2 DevOps 2
使用Go-Gin与RabbitMQ构建面向LlamaIndex的异步实时RAG索引管道 使用Go-Gin与RabbitMQ构建面向LlamaIndex的异步实时RAG索引管道
技术痛点：陈旧的RAG知识库项目中的RAG问答系统遇到了一个典型的瓶颈：知识库更新延迟。我们的核心业务数据存储在PostgreSQL中，而LlamaIndex构建的向量索引依赖于一个每晚执行的ETL批处理任务。这意味着用户白天看到的产品更新
2023-10-27 数据工程与存储
CDC RabbitMQ LlamaIndex Go-Gin RAG 分布式系统
构建从 SQL Server 到文档型 NoSQL 的高韧性数据管道 基于 Pulsar CDC 与 AWS 构建从 SQL Server 到文档型 NoSQL 的高韧性数据管道 基于 Pulsar CDC 与 AWS
一切始于一个典型的性能瓶颈。我们的核心业务系统，一个在 AWS EC2 上运行了多年的 SQL Server 数据库，承载着一个庞大的、高度规范化的订单模型。Orders, OrderItems, Customers, Addresses
2023-10-27 数据工程与存储
CDC NoSQL Pulsar AWS SQL Server