使用百度AI进行人体检测与属性识别

一、功能介绍

对于输入的一张图片(可正常解码,且长宽比适宜),检测图像中的所有人体并返回每个人体的矩形框位置,识别人体的静态属性和行为,共支持20余种属性,包括:性别、年龄阶段、衣着(含类别/颜色)、是否戴帽子、是否戴眼镜、是否背包、是否使用手机、身体朝向等。

主要适用于监控场景的中低空斜拍视角,支持人体轻度重叠、轻度遮挡、背面、侧面、动作变化等复杂场景。

摄像头硬件选型无特殊要求,分辨率建议720p以上,更低分辨率的图片也能识别,只是效果可能有差异。暂不适用夜间红外监控图片,后续会考虑扩展。


二、应用场景

1、安防监控

识别人体的性别年龄、衣着外观等特征,辅助定位追踪特定人员;监测预警各类危险、违规行为(如公共场所跑跳、抽烟),减少安全隐。


2、智能零售

商场、门店等线下零售场景,识别入店及路过客群的属性信息,收集消费者画像,辅助精准营销、个性化推荐、门店选址、流行趋势分析等应用。


3、线下广告投放

楼宇、户外等广告屏智能化升级,采集人体信息,分析人群属性,定向投放广告物料,提升用户体验和商业效率。



三、使用攻略


说明:本文采用C# 语言,开发环境为.Net Core 2.1,采用在线API接口方式实现。


(1)、登陆百度智能云-管理中心创建 “人体分析”应用,获取 “API Key ”和 “Secret Key” :https://console.bce.baidu.com/ai/?_=1561441540695&fromai=1#/ai/body/overview/index



(2)、根据 API Key 和 Secret Key 获取 AccessToken。


///

/// 获取百度access_token

///

/// API Key

/// Secret Key

///

public static string GetAccessToken(string clientId, string clientSecret)

{

string authHost = "https://aip.baidubce.com/oauth/2.0/token";

HttpClient client = new HttpClient();

List> paraList = new List>();

paraList.Add(new KeyValuePair("grant_type", "client_credentials"));

paraList.Add(new KeyValuePair("client_id", clientId));

paraList.Add(new KeyValuePair("client_secret", clientSecret));

HttpResponseMessage response = client.PostAsync(authHost, new FormUrlEncodedContent(paraList)).Result;

string result = response.Content.ReadAsStringAsync().Result;

JObject jo = (JObject)JsonConvert.DeserializeObject(result);

string token = jo["access_token"].ToString();

return token;

}


(3)、调用API接口获取识别结果


1、Startup.cs文件 的Configure(IApplicationBuilder app, IHostingEnvironment env) 方法中开启虚拟目录映射功能:


string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

app.UseStaticFiles(new StaticFileOptions

{

FileProvider = new PhysicalFileProvider(

Path.Combine(webRootPath, "Uploads", "BaiduAIs")),

RequestPath = "/BaiduAIs"

});


2、建立BodySearch.cshtml文件


2.1 前台代码:

    由于html代码无法原生显示,只能简单说明一下:

    主要是一个form表单,需要设置属性enctype="multipart/form-data",否则无法上传图片;

    form表单里面有两个控件:

    一个Input:type="file",asp-for="FileUpload" ,上传图片用;

    一个Input:type="submit",asp-page-handler="BodyAttr" ,提交并返回识别结果。

    一个img:src="@Model.curPath",显示识别的图片。

    最后显示后台 msg 字符串列表信息。


2.2 后台代码:


[BindProperty]

public IFormFile FileUpload { get; set; }

private readonly IHostingEnvironment HostingEnvironment;

public List msg = new List();

public string curPath { get; set; }

public BodySearchModel(IHostingEnvironment hostingEnvironment)

{

HostingEnvironment = hostingEnvironment;

}


public async Task OnPostBodyAttrAsync()

{

if (FileUpload is null)

{

ModelState.AddModelError(string.Empty, "请先选择

本地图片!");

}

if (!ModelState.IsValid)

{

return Page();

}

msg = new List();

string webRootPath = HostingEnvironment.WebRootPath;//wwwroot目录

string fileDir = Path.Combine(webRootPath, "Uploads//BaiduAIs//");

string imgName = await UploadFile(FileUpload, fileDir);

string fileName = Path.Combine(fileDir, imgName);

string imgBase64 = GetFileBase64(fileName);

curPath = Path.Combine("/BaiduAIs/", imgName);//需在Startup.cs 文件 的 Configure(IApplicationBuilder app, IHostingEnvironment env)方法中开启虚拟目录映射功能

string result = GetBodyeJson(imgBase64, “你的API KEY”, “你的SECRET KEY”);

JObject jo = (JObject)JsonConvert.DeserializeObject(result);

List msgList = jo["person_info"].ToList();

int number = int.Parse(jo["person_num"].ToString());

int curNumber = 1;

msg.Add("人数:" + number);

foreach (JToken ms in msgList)

{

if (number > 1)

{

msg.Add("第 " + (curNumber++).ToString() + " 人:");

}

msg.Add("性别:" + ms["attributes"]["gender"]["name"].ToString());

msg.Add("年龄:" + ms["attributes"]["age"]["name"].ToString());

msg.Add("身体朝向:" + ms["attributes"]["orientation"]["name"].ToString());

msg.Add("下半身服饰:" + ms["attributes"]["lower_wear"]["name"].ToString());

msg.Add("下半身衣着颜色:" + ms["attributes"]["lower_color"]["name"].ToString());

msg.Add("上半身服饰:" + ms["attributes"]["lower_wear"]["name"].ToString());

msg.Add("上半身衣着颜色:" + ms["attributes"]["upper_color"]["name"].ToString());

msg.Add("上身服饰分类:" + ms["attributes"]["upper_wear"]["name"].ToString());

msg.Add("上身服饰纹理:" + ms["attributes"]["upper_wear_texture"]["name"].ToString());

msg.Add("是否戴眼镜:" + ms["attributes"]["glasses"]["name"].ToString());

msg.Add("是否戴帽子:" + ms["attributes"]["headwear"]["name"].ToString());

msg.Add("是否吸烟:" + ms["attributes"]["smoke"]["name"].ToString());

msg.Add("交通工具:" + ms["attributes"]["vehicle"]["name"].ToString());

msg.Add("使用手机:" + ms["attributes"]["cellphone"]["name"].ToString());

msg.Add("是否撑伞:" + ms["attributes"]["umbrella"]["name"].ToString());

msg.Add("背包:" + ms["attributes"]["bag"]["name"].ToString());

}

return Page();

}

///

/// 上传文件,返回文件名

///

/// 文件上传控件

/// 文件绝对路径

///

public static async Task UploadFile(IFormFile formFile, string fileDir)

{

if (!Directory.Exists(fileDir))

{

Directory.CreateDirectory(fileDir);

}

string extension = Path.GetExtension(formFile.FileName);

string imgName = Guid.NewGuid().ToString("N") + extension;

var filePath = Path.Combine(fileDir, imgName);

using (var fileStream = new FileStream(filePath, FileMode.Create, FileAccess.Write))

{

await formFile.CopyToAsync(fileStream);

}

return imgName;

}

///

/// 返回图片的base64编码

///

/// 文件绝对路径名称

///

public static String GetFileBase64(string fileName)

{

FileStream filestream = new FileStream(fileName, FileMode.Open);

byte[] arr = new byte[filestream.Length];

filestream.Read(arr, 0, (int)filestream.Length);

string baser64 =  Convert.ToBase64String(arr);

filestream.Close();

return baser64;

}


///

/// 人体检测Json字符串

///

/// 图片base64编码

/// API Key

/// Secret Key

///

public static string GetBodyeJson(string strbaser64, string clientId, string clientSecret)

{

string token = GetAccessToken(clientId, clientSecret);

string host = "https://aip.baidubce.com/rest/2.0/image-classify/v1/body_attr?access_token=" + token;

Encoding encoding = Encoding.Default;

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(host);

request.Method = "post";

request.KeepAlive = true;

string str = "image=" + HttpUtility.UrlEncode(strbaser64);

byte[] buffer = encoding.GetBytes(str);

request.ContentLength = buffer.Length;

request.GetRequestStream().Write(buffer, 0, buffer.Length);

HttpWebResponse response = (HttpWebResponse)request.GetResponse();

StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.Default);

string result = reader.ReadToEnd();

return result;

}


四、效果测试


1、页面:


2、识别结果:


2.1

完整识别结果:

人数:2

第 1 人:

性别:女性

年龄:青年

身体朝向:正面

下半身服饰:长裙

下半身衣着颜色:蓝

上半身服饰:长裙

上半身衣着颜色:白

上身服饰分类:短袖

上身服饰纹理:纯色

是否戴眼镜:戴眼镜

是否戴帽子:无帽

是否吸烟:未吸烟

交通工具:无交通工具

使用手机:未使用手机

是否撑伞:未打伞

背包:无背包

第 2 人:

性别:女性

年龄:青年

身体朝向:正面

下半身服饰:不确定

下半身衣着颜色:不确定

上半身服饰:不确定

上半身衣着颜色:黑

上身服饰分类:短袖

上身服饰纹理:纯色

是否戴眼镜:无眼镜

是否戴帽子:无帽

是否吸烟:未吸烟

交通工具:无交通工具

使用手机:未使用手机

是否撑伞:未打伞

背包:无背包

2.2

完整识别结果:

人数:1

性别:男性

年龄:青年

身体朝向:正面

下半身服饰:不确定

下半身衣着颜色:黑

上半身服饰:不确定

上半身衣着颜色:绿

上身服饰分类:长袖

上身服饰纹理:纯色

是否戴眼镜:无眼镜

是否戴帽子:无帽

是否吸烟:未吸烟

交通工具:无交通工具

使用手机:未使用手机

是否撑伞:未打伞

背包:无背包

2.3

完整识别结果:

人数:1

性别:男性

年龄:青年

身体朝向:正面

下半身服饰:长裤

下半身衣着颜色:黑

上半身服饰:长裤

上半身衣着颜色:灰

上身服饰分类:长袖

上身服饰纹理:纯色

是否戴眼镜:无眼镜

是否戴帽子:无帽

是否吸烟:未吸烟

交通工具:无交通工具

使用手机:未使用手机

是否撑伞:未打伞

背包:无背包


根据识别结果可以看出,该接口对于性别、服饰、服饰类型、颜色等的识别比较准确,但是对于是否吸烟、是否戴眼镜等识别就比较差了,还需要再改进。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容