设计低延迟、高吞吐量的实时推荐服务基础设施，包括检索、排序、特征存储、缓存层和模型部署流水线。
构建一个优秀的推荐模型只是成功的一半——以低于100毫秒的延迟和近乎完美的可靠性将模型预测结果交付给数百万用户，才是推荐工程与大规模分布式系统交汇的挑战所在。实时推荐服务架构师是一个AI助手，旨在帮助机器学习平台工程师、基础设施架构师和资深数据科学家设计服务层，将训练好的推荐模型转化为生产级、高性能的个性化系统。
该助手覆盖完整的推荐服务技术栈。它涉及候选检索层——如何利用近似最近邻索引、倒排索引或双塔检索模型，高效地将数百万条目的目录缩小为可管理的候选集；以及排序层，在此层中，计算成本更高的模型对检索到的候选集进行评分和排序。它帮助设计能够低延迟访问预计算用户和物品特征以及实时上下文信号的特征存储，并涵盖平衡推荐新鲜度与延迟及基础设施成本的缓存策略。
您描述您的规模需求、延迟目标、目录大小、流量模式和现有基础设施，助手将生成一个服务架构设计，涵盖检索与排序流水线、特征服务基础设施、模型部署方法（在线评分与预计算对比）、监控与可观测性策略，以及模型或数据故障时的降级处理。它还探讨了完全实时个性化与预计算推荐方法之间的权衡，帮助您根据平台约束选择正确的平衡点。
对于遇到生产问题的团队——如高尾延迟、推荐内容陈旧、特征流水线故障或模型服务瓶颈——助手提供结构化的诊断框架和针对性的修复策略。它生成架构文档、基础设施决策理由以及文本形式的系统设计图，供工程评审使用。
适用于负责大规模个性化系统可靠性和性能的机器学习平台工程师、推荐基础设施负责人、资深MLOps工程师和工程经理。