大流量高并发解决方案课题 01 概述总结

作者: JONE 分类: 编程 发布时间: 2018-04-08 11:57

php如何解决网站大流量与高并发的问题?

1)高并发架构相关概念

并发:在某个时间点有多少个访问同时到来。所谓高并发,即同时的访问量相当大。日PV在千万以上有可能是一个高并发

QPS:每秒相应请求数(指HTTP请求)

响应时间:从请求发出到收到响应花费的时间。

PV:综合浏览量(page view)。刷新并不会计入数据中。

UV:独立访客(unique visitor)

带宽:计算带宽大小需关注两个指标,峰值流量和页面的平均大小。

日网站带宽=PV/统计时间(换算到秒)*平均页面大小(单位KB)*8

峰值一般是平均值的倍数,根据实际情况来定。

QPS不等于并发连接数。

 

2)高并发的问题,我们具体应该关心什么?

(总pv数 * 80%)/(6小时秒速 * 20%)= 峰值每秒请求数(QPS)

80% 的访问量集中在 20% 的时间

压力测试,测试能承受的最大并发,测试最大承受的QPS值

常用的性能测试工具:ab、wrk、http——load、web Bench、siege、apache Jmeter 等

ab:全称apache benchmark,apache官方推荐的工具。

ab的使用

模拟并发请求100次,总共请求5000次。

ab  -c 100 -n 5000 待测试网站

注意事项:

测试机器与被测试机器分开

不要对线上服务做压力测试

观察测试工具ab所在机器,以及被测试的前端机的cpu,内存,网络等都不超过最高限度的75%。

当QPS达到50

可以称之为小型网站,一般的服务器就可以应付

当QPS达到100

假设关系型数据库的每次请求在0.01秒完成

假设当页面只有一个SQL查询,那么100QPS意味着1秒钟完成100次请求,但是此时我们并不能保证数据库查询能完成100次。

方案:数据库缓存层,数据库的负载均衡。

当QPS达到800

假设我们使用百兆带宽,意味着网站出口的实际带宽是8兆左右,加速每个页面只有10k,在这个并发条件下,百兆带宽已经吃完。

方案:CDN加速、负载均衡

当QPS达到1000

假设使用Memcache缓存查询数据,每个页面对Memcache的请求远大于直接对DB的请求。

Memcache的悲观并发数在2w左右,但是可能在之前的内网带宽已经吃光,表现出不稳定。

方案:静态HTML缓存

当QPS达到2000

这个级别下,文件系统访问锁都成为了灾难。

方案:做业务分离,分布式存储。

 

3)  高并发的优化手段

流量优化:防盗链处理

前端优化:减少http请求,添加异步请求,启用浏览器缓存和文件压缩,CDN加速,建立独立图片服务器。

服务端优化:页面静态化,并发处理(多线程、多进程异步处理等)、队列处理

数据库优化:数据库缓存(redsi、memcache、mysql数据查询缓存 等)、分库分表分区操作、读写分离、负债均衡

web服务器优化:负载均衡(如nigix的反向代理实现负载均衡等)、

 

4)命令参数解释

添加环境变量

cmd输入 ab.exe -help

对上面的Options做下解释吧:

-n即requests,用于指定压力测试总共的执行次数。

-c即concurrency,用于指定压力测试的并发数。

-t即timelimit,等待响应的最大时间(单位:秒)。

-b即windowsize,TCP发送/接收的缓冲大小(单位:字节)。

-p即postfile,发送POST请求时需要上传的文件,此外还必须设置-T参数。

-u即putfile,发送PUT请求时需要上传的文件,此外还必须设置-T参数。

-T即content-type,用于设置Content-Type请求头信息,例如:application/x-www-form-urlencoded,默认值为text/plain。-v即verbosity,指定打印帮助信息的冗余级别。

-w以HTML表格形式打印结果。-i使用HEAD请求代替GET请求。

-x插入字符串作为table标签的属性。

-y插入字符串作为tr标签的属性。

-z插入字符串作为td标签的属性。

-C添加cookie信息,例如:”Apache=1234″(可以重复该参数选项以添加多个)。

-H添加任意的请求头,例如:”Accept-Encoding: gzip”,请求头将会添加在现有的多个请求头之后(可以重复该参数选项以添加多个)。

-A添加一个基本的网络认证信息,用户名和密码之间用英文冒号隔开。

-P添加一个基本的代理认证信息,用户名和密码之间用英文冒号隔开。

-X指定使用的代理服务器和端口号,例如:”126.10.10.3:88″。

-V打印版本号并退出。

-k使用HTTP的KeepAlive特性。

-d不显示百分比。

-S不显示预估和警告信息。

-g输出结果信息到gnuplot格式的文件中。

-e输出结果信息到CSV格式的文件中。

-r指定接收到错误信息时不退出程序。

-h显示用法信息,其实就是ab -help。

 

5)实际测试:分析上面的压测结果:

Server Software: swoole-http-server (服务器软件名称及版本信息)

Server Hostname: localhost(服务器主机名)

Server Port: 80 (服务器端口)

Document Path: /v1/formtoken (供测试的URL路径)

Document Length: 72 bytes (供测试的URL返回的文档大小)

Concurrency Level: 100 (并发数)

Time taken for tests: 0.800 seconds (压力测试消耗的总时间)

Complete requests: 100 (压力测试的的总次数)

Failed requests: 0 (失败的请求数)

Total transferred: 16342 bytes (传输的总数据量)

HTML transferred: 0 bytes (HTML文档的总数据量)

Requests per second: 125.03 [#/sec] (mean) (平均每秒的请求数)

Time per request: 799.805 [ms] (mean) (所有并发用户(这里是100)都请求一次的平均时间)

Time per request: 7.998 [ms] (mean, across all concurrent requests) (单个用户请求一次的平均时间)

Transfer rate: 19.95 [Kbytes/sec] received (传输速率,单位:KB/s)

 

参考链接:https://www.jianshu.com/p/b69638fe9c58