行为识别系统
2020-01-12

行为识别系统

本发明实施例提供了用于基于所获得的视频流来分析和学习行为的方法和系统。基于对视频帧的分析来确定该流中所描述的对象。每个对象可以具有用来逐帧地跟踪对象的运动的相应的搜索模型。确定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为并且学习由所获得的视频流描述的环境中所发生的行为。这样,系统通过分析环境中对象的移动、活动或不存在来迅速并且实时地学习正常和异常的行为,并且基于已经习得的来识别和预测异常和可疑的行为。

如图8中所示,感知模块800可以包括感知关联存储器805、调度器810、工作空间815、情景(印isodic)存储器820和长期存储器825。工作空间815提供反映什么信息当前正由机器学习引擎140评估的存储区域。即,工作空间815存储数据的什么元素当前受到机器学习引擎140的“关注”。如以下所述,工作空间815中的数据可以包括(每一个描述一个事件的)感知对象(percept)和脚本代码(codelet)的集合(感知关联存储器805收集被提供给感知模块800的数据并且将这样的数据存储作为感知对象)。每个感知对象可以提供描述视频中所发生的事情(例如,原始事件)的数据。感知关联存储器805向工作空间815提供感知对象和/或脚本代码。

在步骤260,针对所识别的行为可选地分析前面的步骤的结果。此外,行为识别系统可以被配置为响应于识别出给定事件的发生而执行规定的动作。例如,基于前面的步骤的结果,当被分类为“人”的前景对象进行不平常行为时,行为识别系统可以发布警告。此夕卜,某些行为是否是“不平常的”可以是基于:学习引擎已经“习得”对于给定场景内的人什么是“正常的”行为。在一个实施例中,只要确定了异常行为,就发布警告(例如,指示某人将没有留意到的包留在了地铁站的警告)。在另一实施例中,发布警告以指示异常事件正在场景中发生(例如,指示停车的汽车的警告)。该方法在步骤275结束。

Description

以下,参考本发明实施例。然而,应当理解,本发明不限于任何特定描述的实施例。相反地,以下特征和实施例的任何组合不论是否与不同的实施例相关都被实现来实现和实行本发明。此外,在各种实施例中,本发明提供了众多超过现有技术的优点。然而,尽管本发明实施例可以实现超过其它可能的解决方案和/或超过现有技术的优点,然而,具体的优点是否是通过给定实施例来实现的并不是对本发明的限制。因此,以下方面、特征、实施例和优点仅仅是示例性的,并且不被认为是权利要求的元素或限制,除非被清楚地记载在(一项或多项)权利要求中。类似地,对“本发明”的提及不应被理解为对这里公开的任何发明主题的概括,并且不应被认为是权利要求的元素或限制,除非被清楚地记载在(一项或多项)权利要求中。

应当注意,原来(在一帧中)被确定为背景像素的像素可能(在另一帧中)变成前景像素,并且反之亦然。例如,如果背景中的像素的色彩值开始改变,则将其重新分类为前景像素是恰当的(例如,在停车场停泊很长一段时间的汽车开始移动)。类似地,变化的像素可以变成静态的,因此,有必要将这样的像素重新限定为背景像素(例如,垃圾箱可能已经被带到地铁站以用于永久的使用)。然而,为了避免不必要的像素重新分类,并且改善对于背景和前景图像中所包括的是什么内容的解释,在一个实施例中,行为识别系统可以将像素分类成短期背景(STBG)、短期前景(STre)、长期背景(LTBG)和长期前景(LIFG)的一部分。STBG和SIFG被存储在存储器中一段较短的时间(例如,几秒或更少),而LTBG和LTre被存储在存储器中一段较长的时间(例如,几分钟)。首先将像素确定为STBG/STre,并且之后仅将限定像素解释为LTBG/LTTO,从而允许对哪些像素是背景/前景图像的一部分进行更精确的判定。当然,可以根据具体场景中所发生的事件来调整时间段。

Description

图3至图6示出根据本发明一个实施例的、图1中所示的计算机视觉引擎135的不同组件。具体而言,图3示出背景-前景模块300的组件。背景-前景模块300使用每个视频帧中的特征来识别:哪些像素属于背景图像以及哪些属于前景图像。在一个实施例中,分析视频帧来将每个像素分类成该场景(或该帧)的背景图像的显示部分或该帧的前景图像的显示部分。

如图7中所示,语义分析模块700包括:感觉存储器710、潜在语义分析模块(LSA)715、原始事件检测模块725、相位空间划分模块730、递增潜在语义分析模块(iLSA)735和形式语言模块740。感觉存储器710获取为语义分析模块700提供的信息并且存储该信息以用于随后由原始事件检测模块725和相位空间划分模块730使用。在一个实施例中,感觉存储器710识别出哪些信息应该被提供给原始事件检测模块725和相位空间划分模块730以用于进一步的分析。

根据上述原理,行为识别系统将显示固定的垃圾桶920的像素视为背景图像的一部分,而不将垃圾桶920特别识别为垃圾桶。相反,行为识别系统将男人905和包910两者都视为(一个或多个)前景图像。一开始(图9A),自学习行为识别系统可以将男人905和包910考虑为一个前景斑点。然而,在男人905将包910放下时(图9B-图9C),男人和包910变成分离的前景斑点的部分。尽管在一个实施例中,在男人905捡起包910时,它们各自的前景斑点会合并成新的前景斑点,但是在另一实施例中,男人905和包910继续被视为两个不同的前景斑点。在又一实施例中,男人905和包910从开始(图9A)就被认为是分离的前景斑点。