一种实时搜索的方法、装置和系统
2020-01-06

一种实时搜索的方法、装置和系统

本发明公开了一种实时搜索的方法,包括:S1.设定系统指定的兴趣点数据;S2.根据所述的兴趣点数据从目标网站上抓取关联数据至系统中;S3.根据预设的数据采集周期遍历所述的目标网站;S4.判断所述的目标网站是否有更新的目标网站,所述的更新包括:新出现的网页,改变过的网页;若否,返回步骤S2,若是,进入步骤S5;S5.抓取所述的更新的目标网站上的关联数据至所述的系统并更新,实现同步采集。本发明还公开了一种实时搜索的装置和系统。本发明实时搜索方法、装置及系统能实时搜索即时信息,速度快,占用资源少。

关联数据结构判定单元与所述的提取模板生成单元及关联数据抓取单元相连,用于预处理所述的兴趣点数据,计算和所述的结构模型库的相似度,来判定关联数据的结构。

网页类型是根据网页内容的表现形式进行划分的,在本节中将网页分为三类:有主题网页(topic)、Hub网页(hub)、图片网页(pic)。其中,有主题网页是指网页中通过文字描述了一件或多件事物,是有一定主题的;如一张具体的新闻网页就是典型的有主题网页。Hub网页是指专门用来提供网页导向的网页,因而是超链聚集的网页;如门户网站的首页就是典型的Hub网页。图片网页是指网页的内容是通过图片的形式体现的,其中文字很少,仅仅是对图片的一个说明;如某个机构包含图片的人员介绍网页就是典型的图片网页。

同时继“爱咕生活搜索”之后,爱咕生活搜索数据开放平台又引入“生活商铺”“生活分享"‘生活应用”的数据资源,并在系统中融入了LBS(基于位置的服务)功能,旨在满足用户随时随地的生活需求,为用户提供更加人性化的数据解决方案,无论你身在何时何地,衣、食、住、行各类信息都尽在你的掌握之中,“爱咕搜”是以生活信息搜索,发布二手分类信息,及美食、购物、休闲娱乐、丽人、健身、互联网资源收藏分享、生活应用等内容为主,并提供便民服务及优惠信息的本地生活信息搜索和分享平台。通过开放的互联网平台挖掘数量庞大的垂直信息,然后为用户提供一条全新的简单可靠的信息获取途径。二者的结合,将引领一种全新的搜索习惯,用户不再需要登录任何专门的站点,也不用经历层层导航的筛选,只需输入其想去的店铺或要查找的信息,爱咕搜移动搜索就会告诉你店铺的地点、营业时间乃至人均消费等相关信息,一切就是这么简单。

技术领域

爱咕搜系统使用的是准实时搜索方案,首先系统会定期搜集,每次搜集替换上一次的内容,我们称之为“批量搜集”。由于每次都是重新来一次,对于大规模搜索引擎来说,每次搜集的时间通常会花几周。而由于这样做开销较大,通常两次搜集的间隔时间也不会很短(例如Google在一段时间曾是每隔观天来一次)。这样做的好处是系统实现比较简单,主要缺点是“时新性”(freshness)不高,还有重复搜集所带来的额外带宽的消耗,系统目前的定期采集周期是15天。

所述的生活商街的二级目录包括:不同城市的美食、购物、丽人、休闲、酒店、健身、旅游;

3.点击生活商街按钮,则进入各类生活商铺信息搜索,生活商街功能模块包括:本地生活商铺搜索、商铺添加发布、商铺点评等;该该搜索引擎支持不同的城市的生活商街服务,支持发布信息以及删除信息。

本发明涉及一种网络搜索领域,特别涉及一种方法、装置和系统。背景技术

在本发明所述的实时搜索装置中,还包括提取模板生成单元及关联数据结构判定单元,

在本发明所述的实时搜索系统中,所述的实时搜索系统包括至少一个索引服务器,所述的索引服务器包括至少一个分片服务器,所述的索引服务器通过所述的分片服务器实现关联数据的搜索。

分类信息网站的浏览量巨大其优势在于: