奋斗
努力

Redis和MySQL共用服务器时如何优化内存使用?

云计算

先说结论:生产环境能拆就拆。Redis 和 MySQL 共用一台服务器时,问题不只是“平时能不能放下”,而是 Redis fork、MySQL 连接抖动、慢查询临时表、系统页缓存这些瞬时峰值叠加后会不会把内存打满。真要共用,核心是:分别限额、预留峰值、降低碎片、限制连接、盯紧指标。


1. 先做内存预算,别直接拍参数

可以按这个思路估算:

物理内存
- 系统预留
- MySQL 常驻 + 峰值
- Redis 常驻 + 峰值
- 其他进程
= 至少 10%~20% 的空闲余量

其中:

MySQL 内存 ≈ innodb_buffer_pool_size
          + 连接级 buffer
          + 临时表 / 排序 / join
          + 元数据缓存
          + 其他全局结构

Redis 内存 ≈ used_memory
          + 内存碎片
          + 客户端输出缓冲
          + 复制积压缓冲
          + RDB/AOF fork 写时复制内存

Redis 如果开启了 RDB、AOF rewrite,fork 时可能产生写时复制内存。写入越频繁,COW 越多。经验上要额外预留 Redis 当前数据集的 20%~50%,激进场景要更多。

以 16GB 内存机器为例,比较稳的分配大致是:

用途 建议预留
系统、页缓存、应急余量 2GB+
MySQL innodb_buffer_pool_size 6GB 左右
MySQL 连接、临时表、排序等 1GB 左右
Redis maxmemory 3GB 左右
Redis fork、缓冲、碎片余量 2GB 左右
空闲余量 2GB 左右

如果是 8GB 机器,差不多:

系统预留:1GB
MySQL buffer pool:3GB
MySQL 其他:0.5GB
Redis maxmemory:1.5GB
Redis fork/缓冲/碎片:1GB
剩余:1GB 左右

不要为了“榨干内存”把 maxmemory + innodb_buffer_pool_size 配到接近物理内存,这样很容易触发 OOM。


2. MySQL 侧重点:Buffer Pool 和连接内存

2.1 控制 innodb_buffer_pool_size

这是 MySQL 最大的内存消耗项。

16GB 共用机器可以这样起步:

[mysqld]
innodb_buffer_pool_size = 6G

如果 Redis 数据量很小、MySQL 是主力,可以适当给到 7G~8G;如果 Redis 写入频繁、开启持久化,就别太激进。

判断方式:

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%';

关注命中率:

命中率 = 1 - Innodb_buffer_pool_reads / Innodb_buffer_pool_read_requests

如果命中率长期低于 99%,说明 buffer pool 偏小或者数据访问太散,加内存不一定解决,可能要优化索引、SQL 或拆库。


2.2 别把 max_connections 配太大

每个连接都可能分配 sort_buffer_size、join_buffer_size、read_buffer_size、tmp_table_size 等。很多人只盯 buffer pool,结果连接一打满,内存直接炸。

建议按真实并发控制:

max_connections = 100

或者根据峰值连接数设置,别动不动来 500、1000。

查看当前连接:

SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Max_used_connections';

连接级参数别设太大:

sort_buffer_size       = 2M
join_buffer_size       = 2M
read_buffer_size       = 1M
read_rnd_buffer_size   = 1M
tmp_table_size         = 32M
max_heap_table_size    = 32M

这些参数是每连接按需分配,不是全局只分配一次。全局设太大非常危险。


2.3 临时表和排序要盯住

SHOW GLOBAL STATUS LIKE 'Created_tmp_disk_tables';
SHOW GLOBAL STATUS LIKE 'Sort_merge_passes';

如果磁盘临时表很多,说明 SQL、索引或 tmp_table_size 不合适。不要简单粗暴把 tmp_table_size 调到几百 MB,共用机器时这很容易把内存打爆。

MySQL 5.7 如果还有 query cache,建议关掉:

query_cache_size = 0
query_cache_type = 0

MySQL 8 已经移除 query cache,不用管。


3. Redis 侧重点:maxmemory、淘汰策略和 fork 余量

3.1 必须设置 maxmemory

Redis 不设 maxmemory,在共用机器上风险很高。

示例:

maxmemory 3gb
maxmemory-policy allkeys-lru
maxmemory-samples 10

如果 Redis 只是缓存,可以用:

maxmemory-policy allkeys-lru

或者按访问频率:

maxmemory-policy allkeys-lfu

如果 Redis 里都是带 TTL 的缓存,可以用:

maxmemory-policy volatile-ttl

如果 Redis 被当成持久化存储,不想淘汰数据,可以用:

maxmemory-policy noeviction

但这种场景一定要保证容量足够,并且做好告警。否则写入直接报错,不是慢,而是失败。


3.2 注意:maxmemory 不等于 Redis 实际最大内存

maxmemory 主要限制数据集大小,但下面这些还会额外占内存:

  • 客户端输出缓冲区;
  • Pub/Sub 慢消费者缓冲;
  • 复制积压缓冲;
  • fork 后 COW 内存;
  • jemalloc 内存碎片;
  • AOF/RDB 相关结构。

查看 Redis 内存:

redis-cli info memory

重点看:

used_memory
used_memory_rss
used_memory_peak
maxmemory
mem_fragmentation_ratio
evicted_keys

如果:

used_memory_rss / used_memory > 1.5

说明内存碎片比较明显。可以考虑低峰重启 Redis,或者开启主动碎片整理,前提是版本支持:

activedefrag yes

3.3 降低大 key 和冷数据占用

Redis 内存优化不能只靠配置,数据结构设计更关键。

建议:

  • 避免超大 string、超大 list、超大 hash;
  • 用 hash 存对象字段,减少大量小 key 的元数据开销;
  • 给缓存设置合理 TTL;
  • 定期扫描大 key:
redis-cli --bigkeys

查看单个 key 内存:

redis-cli memory usage user:profile:123

业务数据能压缩就压缩,比如 JSON 可以换成 MessagePack、Protobuf,或者简单 gzip,但要考虑 CPU 成本。


3.4 持久化策略要保守

如果 Redis 只是缓存,可以考虑关闭 RDB/AOF,减少 fork 和写盘压力:

save ""
appendonly no

如果必须持久化,建议:

appendonly yes
appendfsync everysec
aof-use-rdb-preamble yes

RDB 保存频率不要太高,避免频繁 fork:

save 900 1
save 300 10
save 60 10000

另外,避免 BGSAVE 和 AOF rewrite 在业务高峰期同时发生。

可以设置惰性释放,减少删除大 key 时的阻塞:

lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes

4. Linux 层要做的几个关键设置

4.1 尽量别让 Redis 和 MySQL 发生 swap

Redis 一旦 swap,延迟会非常难看。MySQL swap 之后性能也会明显抖动。

建议降低 swappiness:

vm.swappiness = 1

临时生效:

sysctl -w vm.swappiness=1

永久生效写入 /etc/sysctl.conf 或 /etc/sysctl.d/99-memory.conf。

有些场景会直接关闭 swap,但我更常见做法是:保留 swap 作为兜底,但把 swappiness 调很低,同时严格监控 swap in/out。


4.2 Redis 建议关闭 THP

Transparent Huge Pages 可能导致 Redis 延迟抖动和内存浪费。

查看:

cat /sys/kernel/mm/transparent_hugepage/enabled

如果是 [always],建议改成 never:

echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效可以通过 grub 参数:

transparent_hugepage=never

更新 grub 后重启生效。


4.3 overcommit

Redis 官方文档建议:

vm.overcommit_memory = 1

这主要是为了避免 fork 时因为内存策略过严导致 BGSAVE 失败。

但要注意:这不是允许你超卖内存。该预留的 COW 内存还是要预留。


4.4 用 cgroup/systemd 做硬隔离

如果不想一个服务把另一个服务打死,可以用 systemd 限制内存。

比如给 Redis 加 drop-in:

# /etc/systemd/system/redis.service.d/10-memory.conf
[Service]
MemoryHigh=3.5G
MemoryMax=4G

然后:

systemctl daemon-reload
systemctl restart redis

MySQL 也可以类似处理。

注意:MemoryMax 太激进可能会直接触发 OOM kill,Redis 正在 fork 时尤其要小心。建议先设 MemoryHigh 观察,再决定是否设 MemoryMax。


5. 监控要盯这些指标

别只看 free -m,Linux 的 free 很容易误导。重点看 available。

free -m
vmstat 1
sar -r 1

Redis:

redis-cli info memory
redis-cli info stats
redis-cli info clients

重点指标:

used_memory
used_memory_rss
maxmemory
mem_fragmentation_ratio
evicted_keys
expired_keys
blocked_clients
latest_fork_usec

MySQL:

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%';
SHOW GLOBAL STATUS LIKE 'Threads_connected';
SHOW GLOBAL STATUS LIKE 'Max_used_connections';
SHOW GLOBAL STATUS LIKE 'Created_tmp_disk_tables';
SHOW GLOBAL STATUS LIKE 'Sort_merge_passes';

系统层:

available memory
swap in / swap out
kswapd 扫描
OOM killer 日志
磁盘 IO wait

云厂商的监控也要配,内存使用率、Redis 已用内存、MySQL buffer pool 命中率、swap、磁盘 IO 都建议设告警。阿里云、腾讯云、华为云这类 ECS 上,内存告警阈值建议放在 70%~80%,不要等到 95% 才处理。


6. 一个可落地的配置组合

假设是 16GB 内存 ECS,Redis 偏缓存,MySQL 主业务库:

# redis.conf
maxmemory 3gb
maxmemory-policy allkeys-lru
maxmemory-samples 10
lazyfree-lazy-eviction yes
lazyfree-lazy-expire yes
lazyfree-lazy-server-del yes
save 900 1
save 300 10
save 60 10000
appendonly no
# my.cnf
[mysqld]
innodb_buffer_pool_size = 6G
max_connections = 100
sort_buffer_size = 2M
join_buffer_size = 2M
read_buffer_size = 1M
read_rnd_buffer_size = 1M
tmp_table_size = 32M
max_heap_table_size = 32M
table_open_cache = 1000

系统参数:

vm.swappiness = 1
vm.overcommit_memory = 1
transparent_hugepage = never

判断这套方案是否健康

看几个简单标准:

  1. Redis used_memory 长期不超过 maxmemory 的 80%~85%;
  2. Redis 没有明显 evicted_keys,或者淘汰符合预期;
  3. MySQL buffer pool 命中率稳定在 99%+;
  4. 系统没有持续 swap in/out;
  5. 高峰期 available memory 至少还有 10%~20%;
  6. OOM 日志为空;
  7. Redis fork 期间没有明显超时。

如果这些指标长期做不到,比如 MySQL buffer pool 命中率一直掉、Redis 频繁淘汰、系统频繁 swap,那就不是调参问题了,应该拆开部署或者升级内存规格。

未经允许不得转载:云服务器 » Redis和MySQL共用服务器时如何优化内存使用?