多级缓存架构

缓存设计

  • 缓存内容
  • 缓存时间
  • 缓存系统
  • 更新机制

多级缓存

  • 客户端缓存
  • CDN缓存
  • WEB容器缓存
  • 应用缓存
  • 分布式缓存

分布式缓存架构设计

分类

  • 数据缓存：实时性要求高，读多写少
  • 结果缓存：计算量大实时性要求不高

缓存问题

  • 缓存穿透
  • 缓存雪崩
  • 缓存热点

负载均衡架构

  1. DNS
  2. F5：100万~1000万
  3. LVS：10万~100万
  4. Nginx：5万~10万
  5. 服务路由(Gateway)：1000~5000

负载均衡技巧

通用算法

  • 轮训
  • 随机
  • 加权轮训
  • 负载有限
  • 性能优先
  • hash

服务器性能估算

接口性能

  1. 线上业务服务器接口处理时间分布为 20~100ms；
  2. 平均大约为 50ms；
  3. 访问存储或者其它系统接口是主要的性能消耗点。

服务器性能

线上单个服务器（32核）性能大约为 300~1000 TPS/QPS

服务器数量

服务器数量 = (总 TPS+QPS) / 单个服务器性能

接口高可用

  • 限流
  • 排队
  • 降级
  • 熔断