Python Locust性能测试框架实践

Locust的介绍

Locust是一个python的性能测试工具,你可以通过写python脚本的方式来对web接口进行负载测试。

Locust的安装

首先你要安装python2.6以上版本,而且有pip工具。之后打开命令行,分别安装locustio和pyzmq(命令如下):

pip install locustio

pip install pyzmq

PS:如果是python3,不能使用pip安装目前。需要在github上下载locust项目包到本地,然后在包路径下执行命令安装:

python setup.py install

Locust脚本编写

接下来我们拿两个接口做一下测试,编写脚本如下(每一步都有注释)。我来解释一下,首先我们要import进来三个类,分别是HttpLocust(用来模拟发请求的类)、TaskSet(顾名思义,任务集)、task(任务类)。额外的,为了方便观察接口测试的执行结果,我引入了json类用来解析web接口的返回值。我还引入了subprocess类用来执行一下shell命令,自启动Locust。这里有三个类,一个是UserBehavior(名字随便起,但传入TaskSet参数,说明这是一个包含了任务集的类),里面on_start函数可有可无,他会先于所有task函数运行。剩下被@task装饰器装饰的方法都是任务方法,里面包含了待请求的接口等信息,传入的参数代表了权重,如下所示两个被@task装饰的方法分别传入1和2,这意味着每3个人里有两个人会有1个模拟用户执行list_header方法,2个模拟用户执行list_goods方法。这个参数你也可以不传入,那就意味着模拟用户会随机访问所有被@task装饰的方法。这里面我对于每个接口的返回值都做了一下判断,首先将返回的字符串转成json格式并获取返回字段result的值,如果不是100就用Locust自带的报错方法打印出错信息;另两个类是HttpLocust类(仍然是名字随便起但传入参数必须得是HttpLocust),是用来模拟用户的类,包含了一些模拟用户信息,其中task_set变量的值用来指定模拟用户所对应要完成的TaskSet类中包含的请求,min_wait和max_wait(最小等待时间和最大等待时间用来模拟用户每两步操作之间的间隔时间,这里也就是模拟用户每执行两个请求之间所间隔的时间)。对Locust类我们可以指定权重,对weight变量的值进行指定。如下所示,两个Locust类的权重分别为1和3,这意味着两个Locust类的模拟用户人数为1:3的关系。最后我加了一个main函数用来执行shell命令,这个shell命令也可以不再本文件中执行,如果写在脚本中的话,直接在命令行中调用该python文件即可,如果不写在脚本中(注释掉最后两行),则需要在命令行终端里对Locust项目进行启动。

from locust import HttpLocust,TaskSet,task

import subprocess

import json

#This is the TaskSet class.

class UserBehavior(TaskSet):

    #Execute before any task.

    def on_start(self):

        pass

    #the @task takes an optional weight argument.

    @task(1)

    def list_header(self):

        r = self.client.get("/homepage/list_header.html")

        if json.loads((r.content))["result"] != 100:

            r.failure("Got wrong response:"+r.content)

    @task(2)

    def list_goods(self):

        r = self.client.get("/homepage/list_goods.html")

        if json.loads((r.content))["result"] != 100:

            r.failure("Got wrong response:"+r.content)

#This is one HttpLocust class.

class WebUserLocust(HttpLocust):

    #Speicify the weight of the locust.

    weight = 1

    #The taskset class name is the value of the task_set.

    task_set = UserBehavior

    #Wait time between the execution of tasks.

    min_wait = 5000

    max_wait = 15000

#This is another HttpLocust class.

class MobileUserLocust(HttpLocust):

    weight = 3

    task_set = UserBehavior

    min_wait = 3000

    max_wait = 6000

#if __name__ == '__main__':

#    subprocess.Popen('locust -f .\locust_test_1.py --host=http://api.g.caipiao.163.com', shell=True)


Locust的启动

对Locust项目的启动,我们可以在命令行终端中执行以下命令:

locust -f .\locust_test_1.py --host=http://api.g.caipiao.163.com

这里的“-f”指定了要执行的python文件路径,“--host”指定了模拟用户请求接口的host名。执行该命令,Locust项目就启动了。如果遇到下面的错误,注意[Errorno 10048]那行,可以看出端口8089被占用导致Locust项目启动失败,这里我们需要找到对应占用了8089端口的进程并杀掉:


为了检测占用端口的进程我写了一个PowerShell小脚本:

function checkPid($result,$port){

    $port = $port.split(":")[1]

    if(($result.split())[6].split(":")[($result.split())[6].split(":").Count-1] -eq $port){

        $tPid = ($result.split())[($result.split()).count-1]

        if($tPid -ne "0"){

            Write-Host "您查询的端口被以下程序占用:" -ForegroundColor Red

            $target = tasklist|findstr $tPid

            Write-Host $target

            $sig = $true

        }else{

            $sig = $false

        }

    }else{

        $sig = $false

    }

    $sig

}

function checkPort($port){

    $port = ":" + $port

    $results = netstat -ano|findstr $port

    if($results.count -gt 0){

        if($results.count -eq 1){

            $sig = checkPid $results $port

            if($sig -eq $false){

                Write-Host "您所查询的端口未被占用!" -ForegroundColor Green

            }

        }else{

            foreach($result in $results){

                if($result){

                  $sig = checkPid $result $port

                  if($sig -eq $true){

                      break

                  }

                }

            }

            if($sig -eq $false){

                Write-Host "您所查询的端口未被占用!" -ForegroundColor Green       

            }

        }

    }else{

        Write-Host "您所查询的端口未被占用!" -ForegroundColor Green

    }

}

$port = $null

while($port -ne "exit()"){

    $port = Read-Host "请输入要查询的端口号"

    if($port -eq "exit()"){

        break

    }

    checkPort $port

}


运行该脚本,输入端口号8089我们可以看出python.exe进程占用了该端口号:

然后我们在PowerShell中杀掉该进程,再启动Locust项目,就成功了(如下):

接下来就可以在浏览器中访问我们的locust页面来完成负载测试了,如果不想通过浏览器来设置完成负载测试,纯粹命令行模式也是支持的,输入以下命令:

locust-f.\locust_test_1.py --host='http://api.winyyg.com' --no-web -c 1000 -r 10 -n 1000

接下来负载测试就会自动执行,按“ctrl+c”结束负载测试:


对于命令行中的参数的解释:--no-web是用来选择无浏览器模式,-c后面接的是模拟用户数,-r后面接的每秒模拟用户并发数,-n后面接的是模拟请求数。

Locust负载测试

在浏览器中输入“http://localhost:8089/”访问,会看到如下页面:


这里我们按提示输入要模拟的用户总数和每秒钟并发的用户数量,点击“Start swarming”就可以运行负载测试了:

点击“STOP”按钮停止负载测试,现在STATUS为“STOPPED”,点击“New test”可以进行一个新的测试:

从上图可以看出在Statistics标签下列出了一些性能相关的测试结果,比如总的请求数量、请求失败的个数、每秒钟的请求数、最小\最大响应时间、平均响应时间等。右上角显示了请求失败率和总的RPS(每秒钟请求数)。对应在Statistic右侧的Failures、Exceptions、Download Data标签下我们分别可以查看失败的请求、捕获的异常以及下载测试结果。这里不做过多介绍了,可以实际应用看一下。如果想深入的了解Locust性能测试框架,去官网上看看吧。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,743评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,296评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,285评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,485评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,581评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,821评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,960评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,719评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,186评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,516评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,650评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,936评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,757评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,991评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,370评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,527评论 2 349

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • Locust文件就是一般的Python文件。唯一的需求就是它至少需要一个继承于Locust的类. Locust类 ...
    Yuan_Jie阅读 4,030评论 0 7
  • 一、 罗马千般好,只有一事糟。 那就是,贼太多。 行走国外多年,我几乎从未被盗。很遗憾,我在罗马破功了。 我一直觉...
    雪国年华阅读 1,254评论 10 49
  • 我和同桌是高二文理分科后认识的,熟络之后我叫他杀马波。并不是说他这个人很杀马特,只是因为这样叫比较顺口。而我给他起...
    小邪姑娘阅读 328评论 1 0
  • 晕晕的撩妹建议 最近好几个男生朋友问我如何撩妹...
    晕晕H阅读 1,127评论 0 3