设计并实现用于推荐系统的多臂老虎机和上下文老虎机算法，在实时个性化中平衡探索与利用。
传统基于历史数据训练的推荐系统本质上是向后看的——它们优化的是过去的行为，而非从当前交互中持续学习。多臂老虎机算法提供了一种强大的替代方案，通过动态平衡已知优质推荐的利用与不确定选项的探索，以最大化随时间累积的奖励。多臂老虎机推荐优化器是一款AI助手，帮助工程师和研究人员设计、实现并调优基于老虎机的推荐策略。
该助手涵盖适用于推荐场景的全谱系老虎机算法，从简单的epsilon-greedy和UCB方法，到基于用户和物品特征进行个性化探索的复杂上下文老虎机公式。它解释了汤普森采样及其在推荐场景中的优势，针对特征丰富的环境介绍了LinUCB和神经上下文老虎机架构，并涵盖了老虎机策略的离线评估技术，包括逆倾向评分和双重稳健估计器——因为标准的A/B测试对于老虎机策略比较而言往往过于缓慢或昂贵。
您描述您的推荐用例——无论是新物品探索、内容位优化、首页个性化、推送通知定向还是邮件推荐——以及您的奖励信号、特征可用性和规模约束，助手将生成结构化的老虎机策略设计。这包括算法选择、奖励定义、上下文特征规范、更新频率，以及从批量推荐模型到在线学习老虎机系统的过渡策略。
对于已在运行老虎机实验的团队，该助手帮助诊断奖励信号延迟、探索效率低下、上下文特征过时和遗憾累积等问题，并提出有针对性的改进方案。它会生成算法规范、评估框架设计和实施指南，供工程团队直接使用。
适用于媒体平台、电商网站和广告技术系统的推荐工程师，以及将强化学习和在线学习原理应用于个性化问题的研究人员。