大流量高并发解决方案课题 01 概述总结
php如何解决网站大流量与高并发的问题?
1)高并发架构相关概念
并发:在某个时间点有多少个访问同时到来。所谓高并发,即同时的访问量相当大。日PV在千万以上有可能是一个高并发
QPS:每秒相应请求数(指HTTP请求)
响应时间:从请求发出到收到响应花费的时间。
PV:综合浏览量(page view)。刷新并不会计入数据中。
UV:独立访客(unique visitor)
带宽:计算带宽大小需关注两个指标,峰值流量和页面的平均大小。
日网站带宽=PV/统计时间(换算到秒)*平均页面大小(单位KB)*8
峰值一般是平均值的倍数,根据实际情况来定。
QPS不等于并发连接数。
2)高并发的问题,我们具体应该关心什么?
(总pv数 * 80%)/(6小时秒速 * 20%)= 峰值每秒请求数(QPS)
80% 的访问量集中在 20% 的时间
压力测试,测试能承受的最大并发,测试最大承受的QPS值
常用的性能测试工具:ab、wrk、http——load、web Bench、siege、apache Jmeter 等
ab:全称apache benchmark,apache官方推荐的工具。
ab的使用
模拟并发请求100次,总共请求5000次。
ab -c 100 -n 5000 待测试网站
注意事项:
测试机器与被测试机器分开
不要对线上服务做压力测试
观察测试工具ab所在机器,以及被测试的前端机的cpu,内存,网络等都不超过最高限度的75%。
当QPS达到50
可以称之为小型网站,一般的服务器就可以应付
当QPS达到100
假设关系型数据库的每次请求在0.01秒完成
假设当页面只有一个SQL查询,那么100QPS意味着1秒钟完成100次请求,但是此时我们并不能保证数据库查询能完成100次。
方案:数据库缓存层,数据库的负载均衡。
当QPS达到800
假设我们使用百兆带宽,意味着网站出口的实际带宽是8兆左右,加速每个页面只有10k,在这个并发条件下,百兆带宽已经吃完。
方案:CDN加速、负载均衡
当QPS达到1000
假设使用Memcache缓存查询数据,每个页面对Memcache的请求远大于直接对DB的请求。
Memcache的悲观并发数在2w左右,但是可能在之前的内网带宽已经吃光,表现出不稳定。
方案:静态HTML缓存
当QPS达到2000
这个级别下,文件系统访问锁都成为了灾难。
方案:做业务分离,分布式存储。
3) 高并发的优化手段
流量优化:防盗链处理
前端优化:减少http请求,添加异步请求,启用浏览器缓存和文件压缩,CDN加速,建立独立图片服务器。
服务端优化:页面静态化,并发处理(多线程、多进程异步处理等)、队列处理
数据库优化:数据库缓存(redsi、memcache、mysql数据查询缓存 等)、分库分表分区操作、读写分离、负债均衡
web服务器优化:负载均衡(如nigix的反向代理实现负载均衡等)、
4)命令参数解释
添加环境变量
cmd输入 ab.exe -help
对上面的Options做下解释吧:
-n即requests,用于指定压力测试总共的执行次数。
-c即concurrency,用于指定压力测试的并发数。
-t即timelimit,等待响应的最大时间(单位:秒)。
-b即windowsize,TCP发送/接收的缓冲大小(单位:字节)。
-p即postfile,发送POST请求时需要上传的文件,此外还必须设置-T参数。
-u即putfile,发送PUT请求时需要上传的文件,此外还必须设置-T参数。
-T即content-type,用于设置Content-Type请求头信息,例如:application/x-www-form-urlencoded,默认值为text/plain。-v即verbosity,指定打印帮助信息的冗余级别。
-w以HTML表格形式打印结果。-i使用HEAD请求代替GET请求。
-x插入字符串作为table标签的属性。
-y插入字符串作为tr标签的属性。
-z插入字符串作为td标签的属性。
-C添加cookie信息,例如:”Apache=1234″(可以重复该参数选项以添加多个)。
-H添加任意的请求头,例如:”Accept-Encoding: gzip”,请求头将会添加在现有的多个请求头之后(可以重复该参数选项以添加多个)。
-A添加一个基本的网络认证信息,用户名和密码之间用英文冒号隔开。
-P添加一个基本的代理认证信息,用户名和密码之间用英文冒号隔开。
-X指定使用的代理服务器和端口号,例如:”126.10.10.3:88″。
-V打印版本号并退出。
-k使用HTTP的KeepAlive特性。
-d不显示百分比。
-S不显示预估和警告信息。
-g输出结果信息到gnuplot格式的文件中。
-e输出结果信息到CSV格式的文件中。
-r指定接收到错误信息时不退出程序。
-h显示用法信息,其实就是ab -help。
5)实际测试:分析上面的压测结果:
Server Software: swoole-http-server (服务器软件名称及版本信息)
Server Hostname: localhost(服务器主机名)
Server Port: 80 (服务器端口)
Document Path: /v1/formtoken (供测试的URL路径)
Document Length: 72 bytes (供测试的URL返回的文档大小)
Concurrency Level: 100 (并发数)
Time taken for tests: 0.800 seconds (压力测试消耗的总时间)
Complete requests: 100 (压力测试的的总次数)
Failed requests: 0 (失败的请求数)
Total transferred: 16342 bytes (传输的总数据量)
HTML transferred: 0 bytes (HTML文档的总数据量)
Requests per second: 125.03 [#/sec] (mean) (平均每秒的请求数)
Time per request: 799.805 [ms] (mean) (所有并发用户(这里是100)都请求一次的平均时间)
Time per request: 7.998 [ms] (mean, across all concurrent requests) (单个用户请求一次的平均时间)
Transfer rate: 19.95 [Kbytes/sec] received (传输速率,单位:KB/s)
参考链接:https://www.jianshu.com/p/b69638fe9c58