|
|
|
|
移动端

刷脸、多目标跟踪……揭秘苏宁智慧门店还有哪些黑科技!

统计客流一直是门店经营需求中的一个痛点,作为经营管理者,每天首先也是最关注的是每小时、每天、每周来了多少顾客、出去多少顾客、在店多少顾客等等。

作者:曹林龙来源:51CTO技术栈|2018-01-25 09:42

人工智能+区块链的发展趋势及应用调研报告


【51CTO.com原创稿件】 随着互联网+的深入发展,线下零售业正迎来颠覆式发展、重新洗牌的转折。

作为在行业中实践线上线下融合的企业,苏宁已经掌握了智慧零售的先发优势,迎来了全面爆发的时刻。

2018 年,苏宁更是提出了“造极”的发展方向,意在以极客精神,极速的方式,创造出智慧零售的极物。

“北斗”系统作为一款集大数据、人工智能于一体的智慧零售产品,将为苏宁线下发展提供强大的技术支撑。

“北斗”系统建立的初衷

对于线下门店,经营好坏的关键因素是什么?总的来说,是门前客流、进店客流、成交单数、销售额、客单价等指标。

而其中,尤为重要的便是客流,这是实现销售经营目标的前提。客流量不仅仅影响店铺运营策略,更是成为投资决策、发展前景和经营效果评估的重要依据。

通过客流数据分析,我们不仅可以了解场所实时客流状态并预测未来客流发展情况,而且能够更好地制定针对性营销策略、调整商品、广告摆放展位、顾客动线设计等等。

基于此实际需求,苏宁“北斗”系统是一款为门店服务研发的数据产品,依据线下监控视频数据资源,利用视频图像识别技术,融合视频处理、图像处理、模式识别以及人工智能等多个领域的技术,彻底颠覆了一直以来依赖人工统计或传统方式的数据统计方式。

并且提供了一套更为精准、细化的门店顾客分析数据,为门店的智慧经营提供一套技术解决方案。

“北斗”系统平台架构演进

统计客流一直是门店经营需求中的一个痛点,作为经营管理者,每天首先也是最关注的是每小时、每天、每周来了多少顾客、出去多少顾客、在店多少顾客等等。

为了获取这份数据,苏宁在这块需求上大致经历了以下三个阶段:

人力计数

早期,我们为了获取各个门店的客流数据,每个门店都会在门口安排一个人员进行人工统计,然后再通过后台系统进行维护,这样总经理、店长等管理人员可以大概获取到一个进店人次的数据。

然而缺点也很快暴露出来:

  • 统计人员很难做到长时间注意力保持高度集中,导致容易存在漏数。
  • 成本方面,一个门店多则几十个门,少则 4-5 个门,人力薪资成本比客流设备投入高很多。

这样做不仅耗费人力而且工作量大,不能形成成套体系的数据积累和参考依据,因此,这个方案在推行的过程中慢慢被大家放弃了。

WiFi 计数

随着互联网的发展,WiFi 技术遍地开花后,每个门店开始安装免费 WiFi,让来店顾客通过连接 WiFi 的方式实现来店顾客的计数功能。

在技术上采取手机 MAC 地址进行人数统计,还可以根据手机的 IP 进行顾客在店内行动轨迹的追踪以及判断新老顾客。

但弊端是:

  • WiFi 客流统计需要在监测范围保证 WiFi 信号都能覆盖到,并且信号要稳定。
  • 顾客的手机要连接上 WiFi 信号才能够作为统计的来源。
  • WiFi 信号的偏移较大,偏移在 6-10 米,这样会造成数据失真。

这三点就严重影响了数据的准确性,无法保障数据的参考价值和分析意义,从而不具备数据的指导意义。

视频计数

随着人工智能技术的发展和成熟,图像识别技术渐渐走向商化应用,依据门店现有的监控数据,利用视频识别技术,可以实现将视频画面的活动物体提取、识别、跟踪等,从而获取到完整的顾客在线下的用户行为数据。

该数据不仅全面、完整,而且还覆盖了全场景的数据,有效的支撑了数据化的运营管理,为门店的运营提供强有力的数据依托。

视频计数的关键主要有以下三个环节:

人脸检测

以门店部署的高清摄像头采集的视频流作为输入,可以实时检测跟踪画面中的 20 个目标人脸。

同时,由于深度学习算法的应用,对人脸的多种角度、多种姿态甚至局部的遮挡,都能轻松检测、跟踪。

最优人脸采集

这也是一个容易忽视的环节,门店摄像头采集视频流实际每秒产生 30 帧的画面,当有人员经过的时候,其实采集了大量的人脸捕获数据。

我们通过跟踪算法跟踪每个人员的轨迹,采集一组视频帧截图,然后通过人脸朝向分析、图像模糊检测分析、人脸质量打分模型从中挑选出一张质量最高的人脸照片,并进入到下一环节。

人脸识别比对阶段

人脸识别技术已相对成熟,随着深度学习技术在人脸识别应用中的不断成熟,各家人脸识别算法之间的准确率的差异仅体现在小数点后几位。

LFW (Labeled Face in Wild) 是人脸识别研究领域的最重要人脸图像评测集合之一,其包括 5749 个人的人脸数据,均来自实际场景,包含自然的光照、表情、姿势、遮挡等干扰因素,甚至包含年龄变化、化妆等复杂的干扰因素。

目前苏宁大数据中心算法团队在该数据集上达到 99.70% 的准确率,与目前该数据集最高指标 99.83% 差距很小,达到行业一流水准。

能够取得这样的准确度,有三个决定性的要素:算法模型、训练数据、计算能力。

对于线下门店这种大规模的开集合的人脸识别应用,算法模型面临的最大挑战就是大规模一对多人脸识别准确率的问题。

为了解决这个问题,首先,我们将标准 SoftmaxWithLoss 中的 inner product 去除偏执项,同时对权重 w 和神经元 x 进行 L2 norm,将问题转换为角度约束的问题。

其次,我们通过改进损失函数,增加 angle margin,来提高相同 id 的类内相似度,降低不同 id 之间的类间相似度,通过这种 angle margin 的改进,我们可以压缩大部分 id 的人脸特征子空间。

最后,我们认为人脸识别的难点,比如极为相似的人脸识别问题甚至双胞胎的人脸识别问题,用最强全局的约束是无法满足 angle margin 分类条件的,这也是为什么 angle-softmax 训练的时候 loss 会很大的原因。

针对 angle-softmax 训练的时候 loss 会很大这一问题,我们增加了 metric learning 进行微调,针对 hard example 进一步添加局部约束。

具体方法是使用三重损失函数 tripletloss,使用三幅图像集合:固定 anchor A、正例图像 P、反例图像 N 进行训练,目的是让 A 与 P 的距离小于 A 与 N 的距离。

通过以上步骤构建训练的基于深度残差卷积神经网络以及相似 id 差异正则优化构建的网络模型,结合我们算法自动预标注的人脸样本以及少量的人工校准构建的千万级别的训练数据集,我们将我们的人脸识别准确率提升了 7 个百分点左右。

除了模型的改进,同时我们有 6 台高性能的 GPU 服务器组成的集群可以快速验证迭代算法,使我们的算法模型更新速度从几周更新一次到十几小时更新一次,让不同的算法合成适配不同的场景,让算法更精准。

苏宁拥有 18 万员工以及几千家门店,2018 年还计划增加 5000 家门店,通过人脸识别技术在苏宁内部以及线上线下的应用,我们的人脸识别算法能力还会进一步的迭代提升。

“北斗”系统建设的关键点

苏宁“北斗”系统使用了背景模型 + 人脸识别+ 3D 深度信息+多目标跟踪 + 深度学习网络的整套算法解决方案。

在目标跟踪算法上,我们对当前的流行算法做了详细的研究。KCF 是一种近期流行的目标跟踪算法。

该算法是在跟踪过程中训练一个目标分类器,使用目标分类器去检测下一帧预测位置是否是目标,之后再使用新的检测结果去重新训练,以获得新的目标分类器。

卡尔曼滤波是一种经典的滤波方法,它是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统状态进行最优估计的算法。

我们将单目标跟踪的 KCF 算法扩展到多目标跟踪。在客流统计系统中,在不改变其他框架的基础上,沿用原有的前景建模和匈牙利匹配。

以前几帧检测出的目标为跟踪目标,将多目标 KCF 跟踪算法融入其中,实现多目标的同时跟踪。

经过详细比较发现,在多目标跟踪时,KCF 算法存在速度上的缺陷,占用时间较长,难以满足我们实时性的要求,因而我们最终还是选用了卡尔曼滤波作为我们的基础跟踪算法。

在识别算法上,我们以基于深度学习的 SSD 学习网络为基础,根据实际情况,进行了进一步的优化和改进,并整合到我们的整个北斗系统当中。

依据苏宁强大的大数据计算能力和人脸识别技术,通过分析店外和店内的用户属性及行为信息,不仅可以为店铺的智能推荐、营销、服务、以及店铺的购物动线、商品及货架陈列,提升更好的导购服务。

还能促使线下门店实现数据化和智能化,改变门店运营方式,让门店具有思考能力,拥有一颗智能的“大脑”。

店外顾客关注

“进店率”是影响门店是否具备吸引力的一个重要指标,我们如何有效的分析“过客”是怎么样的一个群体,对于目前的线下场景还是一个“黑盒”。

如何获知路过消费者有多少,并且他们的特征画像是什么,目前对于门店经营管理者也是一个急切的需求。

而苏宁大数据团队利用识别技术,结合人脸识别、人体轮廓跟踪、人脸特征点等算法技术,有效的分析出了路过人群的数量、群体规模、男女和性别分类,以及进店人群的特征等数据,为门店经营者制定个性化的营销策略提供了数据支撑和保障。

店内顾客关注

对于进店顾客来说,顾客的来店动机、行为轨迹、关注热点、购买意向是门店管理者对于到店顾客的另一大痛点要求,如何实现这块数据的采集、分析和应用也是“北斗”系统的一大特色。

在算法的层面上,为实现最好的效果,需要配合安装特定摄像头,并实现摄像头安装高度和角度的精准控制。

为了节省成本,我们使用了店内原有的监控摄像头,不改变原有的任何安装高度和角度。

在算法上,我们首先研究了基于多通道特征的 ACF 算法,将算法进行了工程化的实现,对算法的精度和速度进行了测量。但是发现该算法应用在我们的场景中时,精度不能让人满意。

为了实现更高精度与性能的要求,我们使用了深度学习中的小网络系统,并与检测算法中的深度学习 SSD 模型相结合。

通过视频的采集,将视频中的目标进行具体的标注,算法的微调,训练自己的模型等步骤,实现了热力图中的相关功能。在计算精度和计算速度上都达到了原定的要求。

“北斗”系统的智能化服务

“北斗”系统下一步将布局的智能化服务包括:

  • 智能导购:老客的识别,通过提取顾客每次来店的特征点,当顾客下次到来的时候,根据其上期的数据为其精准服务;新客的引导,根据新客到店关注的信息、行进的速度进一步预测顾客需要什么,为其精准推荐。
  • 智能支付:当顾客选好自己喜好的商品后,只实现人脸自动支付,提升服务速度和质量。
  • 智能预测:根据每日、每周、每月顾客对商品的关注度,合理调整商品出样及库存铺货,将为用户提供更喜欢的商品和更短的取货服务。
  • 智能防控:重点人群监控、踏板监控、晚间的灯光开关监控、火灾监控等,为顾客的人身安全和门店的财产安全保驾护航。

通过“北斗”系统,依据苏宁大数据技术及视觉算法将为智能零售注入智慧“大脑”,苏宁门店将会越来越更懂你,打造“知人知面更知心”的智慧门店,为用户创造极致体验,打造极致服务。

曹林龙,苏宁易购大数据技术专家,目前主要负责计算机视觉识别及分析在苏宁的应用落地。在大数据平台工具和图像识别应用等方面拥有多年的实践经验,曾负责过苏宁统一数据报表平台、大数据平台的建立,主导过视频分析、商品识别等技术的应用。在数据营销方面经验丰富,喜欢钻研、研究和实践业界前沿的数据处理和技术,展现数据中蕴含的价值。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【编辑推荐】

  1. 苏宁体育Biu,无人店又来新伙伴
  2. 从Face ID说起,浅析刷脸技术
  3. 刷脸时代,人脸识别创业者的突围之路
  4. 听说现在赶火车刷脸就进站了!跟脸有关的最新玩法是你说什么,表情包就演什么
  5. 即将步入“刷脸”的时代 但是你的脸够安全吗?
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

八万里路云和月——一个国家扶贫开发工作重点县的

通榆,这个距离各个交通枢纽都十万八千里的偏僻小县城,搭载着电子商务的快车,踏上了云高速,开辟了如火如荼的电商致富的新战场,实现了一...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊