先别急着按“10万+”直接买机器。这个数必须先拆清楚:
- 10万请求/天:峰值可能只有几十到几百 QPS,不算高并发。
- 10万并发连接:看长连接、WebSocket、连接保持和内存,不一定等于 10万 QPS。
- 10万 QPS 动态请求:这是真正的大型高并发场景,要用完整分布式架构。
- 10万 QPS 静态资源:OSS + CDN 就能承接大部分,源站压力可能很小。
下面按“阿里云上应对 10万 QPS 级别动态请求”来给方案。
一、推荐整体架构
逻辑链路大概是:
用户
↓
云解析 DNS / 多线路解析
↓
DDoS 高防 / WAF
↓
CDN / DCDN / OSS 静态分流
↓
ALB / CLB / NLB 负载均衡
↓
API 网关 / Nginx / Ingress
↓
无状态应用集群 ECS / ACK / ECI
↓
Redis / Tair 缓存
↓
RDS / PolarDB 数据库
↓
RocketMQ / Kafka 削峰
↓
SLS / ARMS / 云监控 / PTS
核心思路不是“买一台超级 ECS”,而是:
- 静态资源尽量交给 OSS + CDN;
- 入口流量交给负载均衡和高防;
- 应用层无状态,横向扩容;
- 数据库前面必须加缓存、读写分离和削峰;
- 全链路监控和压测提前做完。
二、流量先做容量估算
判断配置前,先算三个指标:
QPS ≈ 每秒请求数
并发连接数 ≈ QPS × 平均响应时间 RT
出口带宽 ≈ QPS × 平均响应体大小 × 8
举个例子:
如果峰值是 10万 QPS,平均响应体 5KB,那么理论出口带宽大约是:
100000 × 5KB × 8 ≈ 4Gbps
如果平均响应体是 10KB,那就是约 8Gbps。再考虑峰值抖动、重试、TLS、日志、突发流量,入口带宽通常要按 1.5~2 倍预留。
所以 10万 QPS 动态 API 场景,入口带宽很可能要按 6~10Gbps这个量级规划。
三、各层推荐配置和产品选择
| 层级 | 阿里云产品 | 建议 |
|---|---|---|
| DNS | 云解析 DNS | 做域名解析、健康检查、权重切换。多地域时可做跨地域容灾。 |
| 静态资源 | OSS + CDN / DCDN | 图片、JS、CSS、视频、下载文件放 OSS,前面挂 CDN/DCDN。目标缓存命中率 85%~95% 以上。 |
| 安全防护 | DDoS 高防、WAF | 高防承接流量攻击,WAF 做 HTTP 层防护、CC 防护、规则拦截。源站尽量只暴露给 SLB/CDN 回源。 |
| 负载均衡 | ALB / CLB / NLB | HTTP/HTTPS 优先 ALB;通用四/七层可用 CLB;超大连接、TCP/UDP、长连接场景考虑 NLB。必须多可用区。 |
| 应用层 | ECS / ACK / ECI | 应用无状态部署,使用弹性伸缩或 Kubernetes HPA。不要依赖本地 Session。 |
| 缓存 | 云数据库 Redis / Tair | 热点数据、Session、Token、计数器、排行榜、分布式锁等放缓存。读多写少场景重点靠它扛。 |
| 数据库 | RDS / PolarDB | 多可用区、高可用、只读实例、连接池、慢 SQL 治理。必要时分库分表。 |
| 消息队列 | RocketMQ / Kafka | 下单、日志、通知、异步任务做削峰填谷,消费者保证幂等。 |
| 日志监控 | SLS、ARMS、云监控、PTS | 做访问日志、链路追踪、JVM/容器指标、QPS/RT/错误率告警和全链路压测。 |
四、应用层 ECS 怎么配?
如果是传统 ECS 部署,我一般建议这样起步:
1. 应用节点
- 单台配置常见起点:8C16G 或 4C8G;
- Java 重业务可以选 8C16G 起,Web 网关/Nginx 可以选 8C16G 或更高;
- 选择当前代次的企业级实例或网络增强型规格,具体规格以阿里云官网当前在售规格为准;
- 应用服务器不要挂公网 EIP,统一通过 SLB/ALB 走内网。
2. 实例数量不要拍脑袋
一个 8C16G 实例能扛多少 QPS,差异非常大:
- 纯静态、Nginx 缓存好的情况下,可以到几万甚至更高;
- 普通动态 API,可能几百到几千 QPS;
- 复杂 Java 业务、大量 DB 查询、序列化 heavy 的接口,可能更低。
假设压测后单台 8C16G 稳定支撑 1500 QPS:
100000 / 1500 ≈ 67 台
再考虑冗余、单机故障、GC 抖动、发布滚动、峰值波动,按 1.3~1.5 倍冗余:
67 × 1.3~1.5 ≈ 87~100 台
如果单台只能扛 500 QPS,那就是 200 台以上,这时候就不能只靠加机器,要考虑:
- 接口缓存;
- 静态化;
- 异步化;
- 代码优化;
- 数据库拆分;
- 网关限流;
- 服务拆分。
3. 弹性伸缩
用阿里云 ESS 弹性伸缩或 ACK + HPA/ECI:
- 指标不要只看 CPU;
- 建议结合 QPS、RT、请求队列长度、线程池活跃数、消息堆积量;
- 扩容要有提前量,峰值流量来得很快时,光靠 CPU 触发可能太慢;
- 镜像、依赖、配置、证书要提前预热,避免扩容后启动慢。
五、负载均衡怎么选?
ALB
适合大多数 HTTP/HTTPS API:
- 七层转发;
- 支持基于域名、路径的路由;
- 适合 Web、API、微服务入口;
- 可配合 WAF;
- HTTPS 证书在 ALB 卸载,减少 ECS 压力。
CLB
适合传统四层/七层负载均衡场景:
- TCP/UDP/HTTP/HTTPS 都可以;
- 老业务兼容性好;
- 如果业务已经有 CLB,继续沿用它也可以。
NLB
适合:
- 超大并发连接;
- WebSocket;
- 长连接网关;
- TCP/UDP 高性能转发;
- 连接数比请求数更敏感的场景。
配置上重点看:
- 新建连接数;
- 并发连接数;
- 带宽;
- 后端服务器组健康检查;
- 多可用区;
- 访问日志;
- 连接超时时间。
不要只盯“带宽够不够”,连接数打满也很常见。
六、数据库和缓存是关键
10万 QPS 的场景,数据库直接裸扛基本不现实。
缓存层
推荐用 Redis/Tair 集群版,重点做:
- 热点数据缓存;
- 本地缓存 + 分布式缓存组合;
- 用户 Session/Token 缓存;
- 首页、商品详情、配置类数据缓存;
- 热点 Key 拆分;
- 缓存击穿、穿透、雪崩防护;
- 逻辑过期或随机过期时间。
缓存容量估算:
内存需求 ≈ 热点数据量 × 副本数 × 1.3
别只算数据量,还要算连接数、网络带宽、过期策略和数据淘汰。
数据库层
推荐:
- RDS MySQL / PostgreSQL / SQL Server 或 PolarDB;
- 多可用区高可用;
- 读写分离;
- 只读实例承接查询;
- 使用数据库X_X或连接池;
- 慢 SQL 必须提前治理;
- 大表提前评估分库分表;
- 批量写、异步写、合并写。
一个经验是:
进入数据库的流量最好控制在入口 QPS 的 5%~20%,其余由缓存、CDN、本地缓存、异步化消化。
如果 10万 QPS 里大量是写请求,那就不是简单扩容问题,需要认真做:
- 消息队列削峰;
- 幂等设计;
- 分库分表;
- 事务边界收敛;
- 热点账户/热点库存专项设计;
- 异步确认和补偿机制。
七、一个参考容量方案
假设业务模型是:
- 峰值 10万 QPS;
- 动态 API 为主;
- 平均响应体 5KB;
- 平均 RT 80ms;
- 读多写少;
- 缓存命中率 85%+;
- 允许多可用区部署。
可以按这个量级规划:
入口层
- 云解析 DNS;
- DDoS 高防;
- WAF;
- ALB 多可用区;
- 入口带宽按 6~10Gbps 预留;
- HTTPS 证书放在 CDN/ALB 卸载。
应用层
- 8C16G ECS,无状态部署;
- 如果单实例压测 1500 QPS,准备 90~100 台;
- 如果单实例压测 500 QPS,准备 200 台以上,或者先做性能和缓存优化;
- 使用 ESS 或 ACK 做弹性伸缩;
- 发布采用滚动或蓝绿,保留冗余容量。
数据层
- Redis/Tair 集群,按热点数据量和 QPS 分片;
- RDS/PolarDB 多可用区;
- 只读实例承接查询;
- RDS 连接池或 PolarDB X_X;
- 写请求走消息队列削峰;
- 慢 SQL、索引、连接池大小全部压测验证。
存储与静态资源
- 图片、视频、JS、CSS 全量放 OSS;
- OSS 前面接 CDN/DCDN;
- 回源做限速和鉴权,避免 CDN 未命中时打爆源站。
可观测
- SLS 收访问日志、错误日志;
- ARMS 做调用链、JVM、接口耗时分析;
- 云监控看 ECS、ALB、RDS、Redis 指标;
- PTS 做全链路压测。
八、常见坑
-
单台 ECS 硬扛
10万 QPS 级别不要幻想一台高配 ECS 解决,瓶颈会先后出现在网络、连接、CPU、文件句柄、数据库。 -
后端 ECS 直接暴露公网
公网入口应该集中在 CDN/高防/SLB,后端走内网。 -
Session 粘性依赖 SLB
会让扩容和容灾变复杂。建议无状态服务,Session 放 Redis,或者使用 Token。 -
数据库直接承接峰值流量
这是最常见的打爆点。缓存、只读、削峰必须提前做。 -
没有限流和降级
流量突增时,如果所有请求都进系统,最后会整体雪崩。网关层、应用层、消息消费端都要有限流。 -
压测只压单接口
要压完整链路:DNS、CDN、SLB、应用、缓存、数据库、消息队列、日志系统。 -
忽略 NAT、带宽和连接数配额
ECS 规格、SLB 规格、EIP 带宽、Redis 连接数、RDS 连接数都可能成为瓶颈。 -
日志写本地盘
高并发下日志很容易打满磁盘,建议直接写 SLS 或统一日志采集。
九、落地顺序
我一般建议按这个顺序做:
- 明确峰值 QPS、并发连接、响应体大小、RT、读写比例;
- 先把静态资源剥离到 OSS + CDN;
- 单实例压测,得出单机稳定 QPS;
- 搭 ALB/CLB + 多台 ECS 做小规模横向压测;
- 加 Redis/Tair,压缓存命中率;
- 加 RDS/PolarDB 只读节点,压数据库承载能力;
- 用 PTS 做全链路压测;
- 配弹性伸缩、限流、降级、熔断;
- 配 SLS、ARMS、云监控告警;
- 做故障演练:摘节点、数据库切主、缓存抖动、SLB 后端异常。
一句话总结:
10万 QPS 的核心不是挑某一台云服务器配置,而是把流量分层拦住,把应用做成无状态横向扩展,把数据库保护起来,再用压测和数据反推最终机器数量。
云服务器