DELPHI盒子
!实时搜索: 盒子论坛 | 注册用户 | 修改信息 | 退出
检举帖 | 全文检索 | 关闭广告 | 捐赠
技术论坛
 用户名
 密  码
自动登陆(30天有效)
忘了密码
≡技术区≡
DELPHI技术
lazarus/fpc/Free Pascal
移动应用开发
Web应用开发
数据库专区
报表专区
网络通讯
开源项目
论坛精华贴
≡发布区≡
发布代码
发布控件
文档资料
经典工具
≡事务区≡
网站意见
盒子之家
招聘应聘
信息交换
论坛信息
最新加入: forget66
今日帖子: 65
在线用户: 15
导航: 论坛 -> DELPHI技术 斑竹:liumazi,sephil  
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/22 16:04:46
标题:
发现Foxmail的数据库真的是厉害,有没有类似的 浏览:2451
加入我的收藏
楼主: Foxmail里有10多万封邮件,搜索邮件,包括正文,基本不用等待
这是什么原理

我用SQLITE测试了下,10万条带正文的,这种搜索第一次,特别是第一次非常的慢
需要很久

求大佬们,解答下,有没有什么单机版的数据库厉害点的
----------------------------------------------
Delphi
作者:
男 doersoft (hnysoft.com) ★☆☆☆☆ -
普通会员
2019/10/22 16:11:27
1楼: 试试Redis
----------------------------------------------
delphi|vue|golang hnysoft|hnyerp+mes+srm
作者:
男 pcplayer (pcplayer) ★☆☆☆☆ -
普通会员
2019/10/22 16:32:05
2楼: 也许 Foxmail 在后台静静地做索引。然后等你要搜索到时候它就很快。
----------------------------------------------
-
作者:
男 tulater (tulater) ★☆☆☆☆ -
普通会员
2019/10/22 20:05:15
3楼: SQLite
----------------------------------------------
http://www.cnblogs.com/tulater/
作者:
男 yxsoft (yxsoft) ★☆☆☆☆ -
盒子活跃会员
2019/10/22 20:46:05
4楼: 问张晓龙
----------------------------------------------
Great!
作者:
男 keymark (嬲) ▲▲▲△△ -
普通会员
2019/10/22 22:19:30
5楼: 以前 百度 Google 搜出来 都是准确结果
现在搜 类似的结果也有(中文一字之差。。呵呵)。。 可能用了特殊手段 对比数据加快搜索吧。
----------------------------------------------
[alias]  co = clone --recurse-submodules  up = submodule update --init --recursiveupd = pullinfo = statusrest = reset --hard懒鬼提速https://www.cctry.com/>http://qalculate.github.io/downloads.htmlhttps://www.cctry.com/
作者:
男 iamdream (银河恒久远,梦想无止境!) ★☆☆☆☆ -
大贡献会员
2019/10/22 22:26:30
6楼: 用的应该是全文索引。
----------------------------------------------
-广袤璀璨的银河,永无止境的梦想(梦无止境游银河) 博客挂了……
作者:
男 wr960204 (武稀松) ★☆☆☆☆ -
盒子活跃会员
2019/10/23 9:50:30
7楼: 如果是10条万文本的话也不用等,毫秒级别就能定位到
----------------------------------------------
武稀松http://www.raysoftware.cn
作者:
男 dlfsystem (dlfsystem) ★☆☆☆☆ -
盒子活跃会员
2019/10/23 9:55:27
8楼: 类似sharepoint 的爬网吧。
----------------------------------------------
-
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/23 11:31:58
9楼: 机器刚开起来,直接打开Foxmail 马上搜索,秒搜,,真的是厉害

SQLite 第一次搜索,奇妙无比,要30秒以上
----------------------------------------------
Delphi
作者:
男 pcplayer (pcplayer) ★☆☆☆☆ -
普通会员
2019/10/23 11:58:05
10楼: 你机器刚开起来,打开 Foxmail 就马上秒搜。那是因为你关机之前,你的 Foxmail 已经把索引建立好了。

它在收邮件的时候就可以建立索引了。
----------------------------------------------
-
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/23 13:23:24
11楼: 我不知道大家说的索引是个什么,是数据库索引,还是个啥

数据库本身的索引?
----------------------------------------------
Delphi
作者:
男 lyp8899 (lyp8899) ★☆☆☆☆ -
盒子活跃会员
2019/10/23 15:22:57
12楼:  D7,access数据库 10万条记录(只有一个字段), 不建索引,查询某一记录是否存在要140ms,建索引后,查询一次要0-15ms
----------------------------------------------
▄︻┻┳═
作者:
男 iamdream (银河恒久远,梦想无止境!) ★☆☆☆☆ -
大贡献会员
2019/10/23 16:13:16
13楼: 楼主的意思是能搜索邮件正文部分,正文的长度是不定的,不仅仅是邮件标题,这可不是简单建个字段索引就能解决的,况且在搜索部分内容而用like时,索引是用不了的,必须全表扫描,所以应该需要用全文索引。
----------------------------------------------
-广袤璀璨的银河,永无止境的梦想(梦无止境游银河) 博客挂了……
作者:
男 pcplayer (pcplayer) ★☆☆☆☆ -
普通会员
2019/10/23 18:53:21
14楼: 13 款开源的全文搜索引擎
https://blog.csdn.net/business122/article/details/78064092
----------------------------------------------
-
作者:
男 pp0123 (pp0123) ★☆☆☆☆ -
普通会员
2019/10/23 19:10:06
14楼: 客户端不会有10万邮件吧???
那就是后台数据库吧。

当数据库用的不是一部电脑,而是上百部电脑组成。
而每一部电脑都采用十二部硬盘并以Raid方式运作,
那种速度不是平常面对一部电脑工作的人所能想像。

当然更昂贵的手段是用上SAN的方式,成本以千万计。

还有另一种方式是大量采用RAM记忆体预载,配合分
布式电脑群集,搜索速度一样很高。

全文搜索是用不上索引的。
----------------------------------------------
-
作者:
男 pp0123 (pp0123) ★☆☆☆☆ -
普通会员
2019/10/23 19:16:56
15楼: 你在谷歌搜索随便按一下,背后即有数千部电脑替你找资料。
要快的秘诀,就是钱要多。
别把事情看得太复杂。
----------------------------------------------
-
作者:
男 pp0123 (pp0123) ★☆☆☆☆ -
普通会员
2019/10/23 19:29:27
16楼: 假设邮件平均4K大小.
10万封就是400MB.
若存在客户端并转上了记忆体,
搜索速度应不多于2秒.
所以在客户端也可能哦.

重点是上记忆体, 别在硬盘找.
----------------------------------------------
-
作者:
男 tuesdays (Tuesday) ▲▲▲▲△ -
普通会员
2019/10/23 20:40:30
17楼: @pp0123
你刷新了我的认识, 你装一下foxmail,  弄上10万邮件,  断网搜索看看.. 

foxmail简单直接, 独霸中国, 不是没有道理的.
----------------------------------------------
delphi界写python最强, python界写delphi最强. 写自己的代码, 让别人去运行.
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/23 21:27:37
18楼: tuesdays 

断网下用是一样的,真的独霸中国,这技术真的很牛
很想研究研究
----------------------------------------------
Delphi
作者:
男 wr960204 (武稀松) ★☆☆☆☆ -
盒子活跃会员
2019/10/23 22:48:17
19楼: 10万记录,如果做不到秒搜还好意思吗。
我十年前做的光速搜索几百万文本记录也都在100毫秒以下啊
----------------------------------------------
武稀松http://www.raysoftware.cn
作者:
男 tianpanhaha (tianpanhaha) ▲▲▲▲△ -
普通会员
2019/10/24 0:31:50
20楼: 膜拜高手
----------------------------------------------
 QQ群:325010556 欢迎加入。
作者:
男 letianwuji (大器晚成) ▲▲▲▲▲ -
普通会员
2019/10/24 2:42:59
21楼: postgres 16亿本地数据,秒查...
----------------------------------------------
相信自己,若自己都不相信,那还有谁可信。
作者:
男 pp0123 (pp0123) ★☆☆☆☆ -
普通会员
2019/10/24 6:31:39
22楼: @tuesdays

我在16楼不是说过吗,若存资料在客户端记忆体也可以很快。
我没兴趣用foxmail,祇在讨论技术好吗!
----------------------------------------------
-
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/24 10:09:40
23楼: 武稀松 大神

光速搜索,,这个有没有什么相关的资料,研究下?
----------------------------------------------
Delphi
作者:
男 dbyoung (dbyoung) ★☆☆☆☆ -
普通会员
2019/10/24 12:07:16
24楼: 楼上看这里:
https://blog.csdn.net/dbyoung/article/details/80050792
https://blog.csdn.net/dbyoung/article/details/80077154
----------------------------------------------
武汉天气不好
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/10/25 11:42:26
25楼: 光速搜索是找文件,,,确实是快


我是数据库里查询要快,,唉,,数据库看来是不好弄
Foxmail 这个查询真的是牛逼轰轰呀
----------------------------------------------
Delphi
作者:
男 wang_80919 (Flying Wang) ★☆☆☆☆ -
普通会员
2019/10/25 11:44:18
26楼: 我觉得有些人,就是活该。
----------------------------------------------
(C)(P)Flying Wang
作者:
男 wr960204 (武稀松) ★☆☆☆☆ -
盒子活跃会员
2019/10/25 15:00:54
27楼: 2002年自己做做的数据库,在50万条记录以下比SQLServer快好几倍,50万以上性能才直线下降,其实这个真的没啥。
比如FoxMail的邮件内容每封存成文本,单纯字符串查找就你那才10万封邮件,20ms以上都不好意思见人。

我跟你说,像通用型数据库SQLServer,SQLlite,MySQL都是为了解决大多数情况的问题,照顾各种情况,性能其实很差的。想要高性能,自己写专用算法或者数据针对自己业务来,不考虑千变万化的其他复杂情况,性能会很恐怖。
----------------------------------------------
武稀松http://www.raysoftware.cn
作者:
男 a5824 (Return) ★☆☆☆☆ -
普通会员
2019/10/25 15:53:59
28楼: 现在做技术,很少有人研究效率了,更多的就是使用SDK,集群,分布式。。
----------------------------------------------
-
作者:
男 yxsoft (yxsoft) ★☆☆☆☆ -
盒子活跃会员
2019/10/25 20:55:55
29楼: 嗯,业务是第一位的,架构是第二位的,性能是最后一位的
----------------------------------------------
Great!
作者:
男 lwcvod (lwcvod) ★☆☆☆☆ -
普通会员
2019/11/6 10:32:24
30楼: 武稀松 大神,您2002年自己搞的数据库,在网上能找到不,我想玩玩
----------------------------------------------
Delphi
作者:
男 chencong5025 (Nicosoft) ▲▲▲△△ -
普通会员
2019/11/6 19:34:47
31楼: 告诉你个更好的。

软件everything第一次打开 10来秒就扫完全盘 并且秒搜
----------------------------------------------
-
信息
登陆以后才能回复
Copyright © 2CCC.Com 盒子论坛 v3.0.1 版权所有 页面执行78.125毫秒 RSS