立即注册找回密码
 

奇瑰网

社区官方在线联系

工作时间: 周一到周五早上09:00-11:00, 下午03:00-05:00, 晚上08:30-10:30(周六、日休息)
点击这里给我发消息 点击这里给我发消息
QQ: 617155901  E-Mail: qiguiwl@foxmail.com  E-Mail: qiguiqiqiku@foxmail.com
用户交流QQ群
①群87904533 ③群943814120 ④群499956348 ←提醒:请勿重复加群, 谢谢合作

[其他类] 天天用的搜索引擎到底怎么回事?

[复制链接]

29

主题

235

帖子

-79

积分

限制会员

G币
2
信用
0
体力
-38
发表于 2019-12-20 21:54:38 | 显示全部楼层 |阅读模式
1、什么是搜索?

百度:我们比如说想找寻任何的信息的时候,就会上百度去搜索一下,比如说找一部自己喜欢的电影,或者说找一本喜欢的书,或者找一条感兴趣的新闻(提到搜索的第一印象) 百度 != 搜索,这是不对的

垂直搜索(站内搜索)

互联网的搜索:电商网站,招聘网站,新闻网站,各种app IT系统的搜索:OA软件,办公自动化软件,会议管理,日程管理,项目管理,员工管理,搜索“张三”,“张三儿”,“张小三”;有个电商网站,卖家,后台管理系统,搜索“牙膏”,订单,“牙膏相关的订单”

搜索,就是在任何场景下,找寻你想要的信息,这个时候,会输入一段你要搜索的关键字,然后就期望找到这个关键字相关的有些信息
2、如果用数据库做搜索会怎么样?






做软件开发的话,或者对IT、计算机有一定的了解的话,都知道,数据都是存储在数据库里面的,比如说电商网站的商品信息,招聘网站的职位信息,新闻网站的新闻信息,等等吧。所以说,很自然的一点,如果说从技术的角度去考虑,如何实现如说,电商网站内部的搜索功能的话,就可以考虑,去使用数据库去进行搜索。

1、比方说,每条记录的指定字段的文本,可能会很长,比如说“商品描述”字段的长度,有长达数千个,甚至数万个字符,这个时候,每次都要对每条记录的所有文本进行扫描,来判断说,你包不包含我指定的这个关键词(比如说“牙膏”)

2、还不能将搜索词拆分开来,尽可能去搜索更多的符合你的期望的结果,比如输入“生化机”,就搜索不出来“生化危机”

用数据库来实现搜索,是不太靠谱的。通常来说,性能会很差的。
3、什么是全文检索和Lucene?

(1)全文检索,倒排索引






(2)lucene,就是一个jar包,里面包含了封装好的各种建立倒排索引,以及进行搜索的代码,包括各种算法。我们就用java开发的时候,引入lucene jar,然后基于lucene的api进行去进行开发就可以了。用lucene,我们就可以去将已有的数据建立索引,lucene会在本地磁盘上面,给我们组织索引的数据结构。另外的话,我们也可以用lucene提供的一些功能和api来针对磁盘上额
4、什么是Elasticsearch?

(1)图解分析






二、Elasticsearch的功能

分布式的搜索引擎和数据分析引擎


搜索:百度,网站的站内搜索,IT系统的检索 数据分析:电商网站,最近7天牙膏这种商品销量排名前10的商家有哪些;新闻网站,最近1个月访问量排名前3的新闻版块是哪些 分布式,搜索,数据分析
全文检索,结构化检索,数据分析


全文检索:我想搜索商品名称包含牙膏的商品,select * from products where product_name like "%牙膏%" 结构化检索:我想搜索商品分类为日化用品的商品都有哪些,select * from products where category_id='日化用品' 部分匹配、自动完成、搜索纠错、搜索推荐 数据分析:我们分析每一个商品分类下有多少个商品,select category_id,count(*) from products group by category_id
对海量数据进行近实时的处理


分布式:ES自动可以将海量数据分散到多台服务器上去存储和检索 海量数据的处理:分布式以后,就可以采用大量的服务器去存储和检索数据,自然而然就可以实现海量数据的处理了 近实时:检索个数据要花费1小时(这就不要近实时,离线批处理,batch-processing);在秒级别对数据进行搜索和分析

跟分布式/海量数据相反的:lucene,单机应用,只能在单台服务器上使用,最多只能处理单台服务器可以处理的数据量
Elasticsearch的适用场景

国外


(1)维基百科,类似百度百科,牙膏,牙膏的维基百科,全文检索,高亮,搜索推荐

(2)The Guardian(国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)+社交网络数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)

(3)Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案

(4)GitHub(开源代码管理),搜索上千亿行代码

(5)电商网站,检索商品

(6)日志数据分析,logstash采集日志,ES进行复杂的数据分析(ELK技术,elasticsearch+logstash+kibana)

(7)商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买

(8)BI系统,商业智能,Business Intelligence。比如说有个大型商场集团,BI,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化
国内


站内搜索(电商,招聘,门户,等等),IT系统搜索(OA,CRM,ERP,等等),数据分析(ES热门的一个使用场景)
Elasticsearch的特点


(1)可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公司;也可以运行在单机上,服务小公司 (2)Elasticsearch不是什么新技术,主要是将全文检索、数据分析以及分布式技术,合并在了一起,才形成了独一无二的ES;lucene(全文检索),商用的数据分析软件(也是有的),分布式数据库(mycat) (3)对用户而言,是开箱即用的,非常简单,作为中小型的应用,直接3分钟部署一下ES,就可以作为生产环境的系统来使用了,数据量不大,操作不是太复杂 (4)数据库的功能面对很多领域是不够用的(事务,还有各种联机事务型的操作);特殊的功能,比如全文检索,同义词处理,相关度排名,复杂数据分析,海量数据的近实时处理;Elasticsearch作为传统数据库的一个补充,提供了数据库所不不能提供的很多功能




盒子科技代理https://www.qiguiwl.cn</br>源码基地https://www.qiguiwl.cn</br>域名抢注http://www.qiguiwl.cn




上一篇:怎么样做好网站的 SEO 优化?
下一篇:学好这5个SEO优化技巧,让你的关键词排名稳定提升
回复

使用道具 举报

36

主题

242

帖子

-17

积分

限制会员

G币
4
信用
0
体力
-12
发表于 2019-12-20 21:54:38 | 显示全部楼层
马上来领取免费的邀请码加入奇瑰吧
真是难得给力的帖子啊。
[url=http://www.jafvp.com/nike-lebron-15-low-white-silver-p-3085.html]Nike LeBro
回复

使用道具 举报

23

主题

413

帖子

161

积分

资深会员

Rank: 2

G币
10
信用
0
体力
-18
发表于 2019-12-20 21:54:38 | 显示全部楼层
顶顶更健康
回复

使用道具 举报

36

主题

236

帖子

11

积分

普通会员

Rank: 1

G币
4
信用
0
体力
-2
发表于 2019-12-20 21:54:38 | 显示全部楼层
马上来领取免费的邀请码加入奇瑰吧
有竞争才有进步嘛
回复

使用道具 举报

24

主题

234

帖子

-38

积分

限制会员

G币
2
信用
0
体力
-24
发表于 2019-12-20 21:54:38 | 显示全部楼层
域名抢注平台www.qiguiwl.cn
回复

使用道具 举报

29

主题

235

帖子

-79

积分

限制会员

G币
2
信用
0
体力
-38
 楼主| 发表于 2019-12-20 21:54:38 | 显示全部楼层
报告!别开枪,我就是路过来看看的。。。
回复

使用道具 举报

32

主题

227

帖子

-29

积分

限制会员

G币
2
信用
0
体力
-20
发表于 2019-12-20 21:54:38 | 显示全部楼层
向楼主学习
回复

使用道具 举报

37

主题

235

帖子

-23

积分

限制会员

G币
2
信用
0
体力
-14
发表于 2019-12-20 21:54:38 | 显示全部楼层
马上来领取免费的邀请码加入奇瑰吧
边撸边过
回复

使用道具 举报

37

主题

235

帖子

-23

积分

限制会员

G币
2
信用
0
体力
-14
发表于 2019-12-20 21:54:38 | 显示全部楼层
占位编辑
回复

使用道具 举报

使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。

公益广告
Powered by Discuz! X3.4 粤ICP备18094825号-1  知道创宇云安全  |网站地图
Copyright © 2014-2019 www.qiguiwl.cn All Rights Reserved.
快速回复 返回顶部 返回列表