优化时机
1般单表超过500万左右,或明显感觉到性能降落时,需要优化
优化方案
- 读写分离
- 使用缓存,如memcached或Redis
- 使用搜索引擎,如ElasticSearch或solr
- 分库分表
详细说明
- 读写分离很容易实现,建议在1开始做,没必要等到性能降落时
- 发现性能降落时可做。比如有1张500万大表,不可能缓存全表,只能缓存热门数据,所以需要有1个监控热门数据的功能
- 像缓存全部大表或数据量很大可以用搜索引擎,搜索引擎是文件存储,合适高效查找,但不对插入修改、事务等支持。使用搜索引擎的话需要定时把mysql的数据同步给它,一样的数据需要预留2倍磁盘,虽然搜索引擎可能可以紧缩
- 分库分表其实可以在第2步做,但实现较复杂;分表后必定触及要读取多个表的问题,但对开发是透明的,在利用开发与数据库中间需要研发1个平台,自动hash索引到分表后的表。举个例子,假定有1张600万的表,可以分为两张表,按时间分,时间点A之前的分1张,500万;另外一张表100万,后续的都插入到该表
现状:数据库现在用5.5版本,免费的,不购买服务,使用了上面的2和3,暂时没遇到甚么困难。不需要dba,1般困难研发可以弄定。
以上方案针对的是最大表是1000万数据量的表。超过1000万未经实践。(感谢老郭提供技术支持)
ouyida3的csdn blog
2015.4.8