用于搜索多个视频流的文本文摘生成
2019-11-22

用于搜索多个视频流的文本文摘生成

文摘生成系统获取视频流并且包括准入控制模块,该准入控制模块为每个视频流选择要分析的视频流的帧的子集。帧到文本分类器为每个选择的帧生成文摘,并且生成的文摘以这样的方式被存储在文摘存储库中:使得每个文摘与从其生成文摘的视频流相关联。针对帧的文摘是描述帧的文本,诸如帧中标识的对象。期望观看具有特定特性的视频流的观看者将文本搜索查询输入到搜索系统。搜索系统基于文摘生成搜索结果,该搜索结果是满足搜索标准的视频流的指示。搜索结果被呈现给用户,允许用户选择和查看视频流中的一个。

—种方法,包括:获取多个视频流;对于多个视频流中的每一个:选择视频流的帧的子集;以及通过将帧到文本分类器应用于帧来为帧的子集中的每个帧生成包括描述帧的文本的文摘;接收文本搜索查询;搜索多个视频流的文摘以标识满足文本搜索查询的多个视频流的子集;以及返回视频流的子集的指示。

处理系统504表示使用硬件来执行一个或多个操作的功能。相应地,处理系统504被图示为包括可以被配置为处理器、功能块等等的硬件元件510。这可以包括在硬件中实施为专用集成电路或使用一个或多个半导体形成的其他逻辑器件。硬件元件510不受其形成的材料或其中采用的处理机构的限制。例如,处理器可以包括半导体和/或晶体管(例如,电子集成电路(10)。在这种情况下,处理器可执行指令可以是电子可执行指令。

处理系统504表示使用硬件来执行一个或多个操作的功能。相应地,处理系统504被图示为包括可以被配置为处理器、功能块等等的硬件元件510。这可以包括在硬件中实施为专用集成电路或使用一个或多个半导体形成的其他逻辑器件。硬件元件510不受其形成的材料或其中采用的处理机构的限制。例如,处理器可以包括半导体和/或晶体管(例如,电子集成电路(10)。在这种情况下,处理器可执行指令可以是电子可执行指令。

“计算机可读信号介质”是指被配置成诸如经由网络向计算设备502的硬件传输指令的信号承载介质。信号介质通常可以体现计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据,诸如载波、数据信号或其他传输机制。信号介质还包括任何信息传递介质。术语“调制数据信号”是指具有以对信号中的信息进行编码的方式设置或改变其一个或多个特性的信号。通过示例而非限制,通信介质包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声学、RF、红外线和其他无线介质之类的无线介质。

在一个或多个实施例中,由用户设备208的用户搜索视频流的请求是单个搜索。在这种情况下,查询模块232搜索文摘存储库204并且查询接口236将搜索结果(可选地,由视频流排名模块234排序和/或过滤)返回给用户查询接口242。备选地,由用户设备208的用户搜索视频流的请求是重复搜索。在这种情况下,以规则或不规则间隔(例如,每30秒),查询模块232搜索文摘存储库2〇4并且查询接口23e将搜索结果(可选地,由视频流排名模块234排序和/或过滤)返回给用户查询接口242。搜索因此被重复,考虑到在文摘存储库204中的文摘的变化,每次搜索后可能具有不同的搜索结果。

期望观看具有特定特性的视频流(例如,诸如狗、猫、日落等的特定对象)的观看者将搜索查询输入到搜索系统。搜索查询是文本搜索查询,并且搜索系统将搜索查询的文本与文摘存储库中的文摘进行比较。搜索结果被生成,这些搜索结果是与满足搜索标准的文摘相关联的视频流。搜索结果被呈现给用户,允许用户选择他或她希望观看的视频流之一。响应于从搜索结果中选择视频流,所选视频流被流式传输到观看者的计算设备以进行显

图3示^根据一个或多个实施例的文摘和文摘存储库的示例。

此外,由帧到文本分类器模块214执行的分类中消耗的计算资源可以是依赖于输入的。例如,如果帧中有许多对象,则分析该帧的时间可能会比分析其中对象数目少的帧的时间要长。调度器模块218可以通过将各种规则或标准应用于其选择的帧220来预测不同视频流的计算资源使用。例如,大量对象己被标识的视频流(例如,大于阈值数目的文本词或短语己被生成)被预测比大量对象尚未被标识的视频流(例如,小于阈值数目的文本词或短语已被生成)使用更多的计算资源。调度器模块21S可以将具有互补的预测的计算资源使用的分类器一起分组到同一计算设备上。

作为上述计算设备中的任何一个的备选或附加,可以使用以下中的任何一个或组合:该动作进一步包括接收文本搜索查询,搜索文摘存储库中的文摘以标识满足文本搜索查询的多个视频流的子集,并且返回视频流子集的指示;多个视频流包括多个实时流,每个实时流从多个用户中的不同一个用户的视频流源设备被接收;选择巾贞的子集包括执行视频流的帧的均匀采样;生成包括使用采用有损技术的降低精度分类器生成文摘;生成包括使用针对视频流的专用分类器生成文摘,该专用分类器针对该视频流训练但未针对其他视频流训练。