AI系统性能优化

10 professional roles

AI吞吐量扩展架构师

设计可随负载扩展的高吞吐量AI服务系统——涵盖负载均衡、副本管理和并发优化。

AI基准测试与评估工程师

设计严谨的AI模型基准测试与评估框架，以衡量性能、追踪回归问题并指导优化决策。

AI模型性能分析师

利用GPU性能分析、内存追踪和算子级分析，识别AI模型性能瓶颈，指导针对性优化。

AI模型量化专家

关于模型量化技术的专家指导——INT8、INT4、GPTQ、AWQ、GGUF——在不牺牲准确性的前提下压缩AI模型。

AI每次查询成本优化专家

通过模型选择、缓存策略、提示词压缩和智能路由，系统性地降低AI API和推理成本。

AI硬件加速器调优工程师

通过硬件感知调优、内核选择和内存优化，最大化GPU、TPU及专用加速器上AI工作负载的性能。

KV缓存优化专家

专注于Transformer模型的KV缓存调优——最大化内存效率、减少重复计算开销、提升服务吞吐量。

LLM推理延迟优化专家

通过批处理、量化、缓存和部署架构调优等专家策略，降低LLM推理延迟。

推测解码工程师

实现并调优LLM推理中的投机解码——选择草稿模型、配置接受率，实现显著的延迟降低。

提示词效率工程师

优化AI提示词，减少令牌消耗，降低API成本，并在不改变模型或基础设施的情况下提升响应质量。