|
|
导航: |
论坛 -> DELPHI技术
斑竹:liumazi,sephil |
|
作者: |
|
2019/10/22 16:04:46 |
标题: |
发现Foxmail的数据库真的是厉害,有没有类似的 |
浏览:2451 |
|
加入我的收藏 |
楼主: |
Foxmail里有10多万封邮件,搜索邮件,包括正文,基本不用等待 这是什么原理
我用SQLITE测试了下,10万条带正文的,这种搜索第一次,特别是第一次非常的慢 需要很久
求大佬们,解答下,有没有什么单机版的数据库厉害点的
----------------------------------------------
Delphi |
作者: |
|
2019/10/22 16:11:27 |
1楼: |
试试Redis
----------------------------------------------
delphi|vue|golang hnysoft|hnyerp+mes+srm
|
作者: |
|
2019/10/22 16:32:05 |
2楼: |
也许 Foxmail 在后台静静地做索引。然后等你要搜索到时候它就很快。
----------------------------------------------
-
|
作者: |
|
2019/10/22 20:05:15 |
3楼: |
SQLite
----------------------------------------------
http://www.cnblogs.com/tulater/
|
作者: |
yxsoft (yxsoft) |
★☆☆☆☆ |
-
|
盒子活跃会员 |
|
2019/10/22 20:46:05 |
4楼: |
问张晓龙
----------------------------------------------
Great!
|
作者: |
|
2019/10/22 22:19:30 |
5楼: |
以前 百度 Google 搜出来 都是准确结果 现在搜 类似的结果也有(中文一字之差。。呵呵)。。 可能用了特殊手段 对比数据加快搜索吧。
----------------------------------------------
[alias] co = clone --recurse-submodules up = submodule update --init --recursiveupd = pullinfo = statusrest = reset --hard懒鬼提速https://www.cctry.com/>http://qalculate.github.io/downloads.htmlhttps://www.cctry.com/
|
作者: |
|
2019/10/22 22:26:30 |
6楼: |
用的应该是全文索引。
----------------------------------------------
-广袤璀璨的银河,永无止境的梦想(梦无止境游银河) 博客挂了……
|
作者: |
|
2019/10/23 9:50:30 |
7楼: |
如果是10条万文本的话也不用等,毫秒级别就能定位到
----------------------------------------------
武稀松http://www.raysoftware.cn
|
作者: |
|
2019/10/23 9:55:27 |
8楼: |
类似sharepoint 的爬网吧。
----------------------------------------------
-
|
作者: |
|
2019/10/23 11:31:58 |
9楼: |
机器刚开起来,直接打开Foxmail 马上搜索,秒搜,,真的是厉害
SQLite 第一次搜索,奇妙无比,要30秒以上
----------------------------------------------
Delphi
|
作者: |
|
2019/10/23 11:58:05 |
10楼: |
你机器刚开起来,打开 Foxmail 就马上秒搜。那是因为你关机之前,你的 Foxmail 已经把索引建立好了。
它在收邮件的时候就可以建立索引了。
----------------------------------------------
-
|
作者: |
|
2019/10/23 13:23:24 |
11楼: |
我不知道大家说的索引是个什么,是数据库索引,还是个啥
数据库本身的索引?
----------------------------------------------
Delphi
|
作者: |
|
2019/10/23 15:22:57 |
12楼: |
D7,access数据库 10万条记录(只有一个字段), 不建索引,查询某一记录是否存在要140ms,建索引后,查询一次要0-15ms
----------------------------------------------
▄︻┻┳═
|
作者: |
|
2019/10/23 16:13:16 |
13楼: |
楼主的意思是能搜索邮件正文部分,正文的长度是不定的,不仅仅是邮件标题,这可不是简单建个字段索引就能解决的,况且在搜索部分内容而用like时,索引是用不了的,必须全表扫描,所以应该需要用全文索引。
----------------------------------------------
-广袤璀璨的银河,永无止境的梦想(梦无止境游银河) 博客挂了……
|
作者: |
|
2019/10/23 18:53:21 |
14楼: |
13 款开源的全文搜索引擎 https://blog.csdn.net/business122/article/details/78064092
----------------------------------------------
-
|
作者: |
|
2019/10/23 19:10:06 |
14楼: |
客户端不会有10万邮件吧??? 那就是后台数据库吧。
当数据库用的不是一部电脑,而是上百部电脑组成。 而每一部电脑都采用十二部硬盘并以Raid方式运作, 那种速度不是平常面对一部电脑工作的人所能想像。
当然更昂贵的手段是用上SAN的方式,成本以千万计。
还有另一种方式是大量采用RAM记忆体预载,配合分 布式电脑群集,搜索速度一样很高。
全文搜索是用不上索引的。
----------------------------------------------
-
|
作者: |
|
2019/10/23 19:16:56 |
15楼: |
你在谷歌搜索随便按一下,背后即有数千部电脑替你找资料。 要快的秘诀,就是钱要多。 别把事情看得太复杂。
----------------------------------------------
-
|
作者: |
|
2019/10/23 19:29:27 |
16楼: |
假设邮件平均4K大小. 10万封就是400MB. 若存在客户端并转上了记忆体, 搜索速度应不多于2秒. 所以在客户端也可能哦.
重点是上记忆体, 别在硬盘找.
----------------------------------------------
-
|
作者: |
|
2019/10/23 20:40:30 |
17楼: |
@pp0123 你刷新了我的认识, 你装一下foxmail, 弄上10万邮件, 断网搜索看看..
foxmail简单直接, 独霸中国, 不是没有道理的.
----------------------------------------------
delphi界写python最强, python界写delphi最强. 写自己的代码, 让别人去运行.
|
作者: |
|
2019/10/23 21:27:37 |
18楼: |
tuesdays
断网下用是一样的,真的独霸中国,这技术真的很牛 很想研究研究
----------------------------------------------
Delphi
|
作者: |
|
2019/10/23 22:48:17 |
19楼: |
10万记录,如果做不到秒搜还好意思吗。 我十年前做的光速搜索几百万文本记录也都在100毫秒以下啊
----------------------------------------------
武稀松http://www.raysoftware.cn
|
作者: |
|
2019/10/24 0:31:50 |
20楼: |
膜拜高手
----------------------------------------------
QQ群:325010556 欢迎加入。
|
作者: |
|
2019/10/24 2:42:59 |
21楼: |
postgres 16亿本地数据,秒查...
----------------------------------------------
相信自己,若自己都不相信,那还有谁可信。
|
作者: |
|
2019/10/24 6:31:39 |
22楼: |
@tuesdays
我在16楼不是说过吗,若存资料在客户端记忆体也可以很快。 我没兴趣用foxmail,祇在讨论技术好吗!
----------------------------------------------
-
|
作者: |
|
2019/10/24 10:09:40 |
23楼: |
武稀松 大神
光速搜索,,这个有没有什么相关的资料,研究下?
----------------------------------------------
Delphi
|
作者: |
|
2019/10/24 12:07:16 |
24楼: |
楼上看这里: https://blog.csdn.net/dbyoung/article/details/80050792 https://blog.csdn.net/dbyoung/article/details/80077154
----------------------------------------------
武汉天气不好
|
作者: |
|
2019/10/25 11:42:26 |
25楼: |
光速搜索是找文件,,,确实是快
我是数据库里查询要快,,唉,,数据库看来是不好弄 Foxmail 这个查询真的是牛逼轰轰呀
----------------------------------------------
Delphi
|
作者: |
|
2019/10/25 11:44:18 |
26楼: |
我觉得有些人,就是活该。
----------------------------------------------
(C)(P)Flying Wang
|
作者: |
|
2019/10/25 15:00:54 |
27楼: |
2002年自己做做的数据库,在50万条记录以下比SQLServer快好几倍,50万以上性能才直线下降,其实这个真的没啥。 比如FoxMail的邮件内容每封存成文本,单纯字符串查找就你那才10万封邮件,20ms以上都不好意思见人。
我跟你说,像通用型数据库SQLServer,SQLlite,MySQL都是为了解决大多数情况的问题,照顾各种情况,性能其实很差的。想要高性能,自己写专用算法或者数据针对自己业务来,不考虑千变万化的其他复杂情况,性能会很恐怖。
----------------------------------------------
武稀松http://www.raysoftware.cn
|
作者: |
a5824 (Return) |
★☆☆☆☆ |
-
|
普通会员 |
|
2019/10/25 15:53:59 |
28楼: |
现在做技术,很少有人研究效率了,更多的就是使用SDK,集群,分布式。。
----------------------------------------------
-
|
作者: |
yxsoft (yxsoft) |
★☆☆☆☆ |
-
|
盒子活跃会员 |
|
2019/10/25 20:55:55 |
29楼: |
嗯,业务是第一位的,架构是第二位的,性能是最后一位的
----------------------------------------------
Great!
|
作者: |
|
2019/11/6 10:32:24 |
30楼: |
武稀松 大神,您2002年自己搞的数据库,在网上能找到不,我想玩玩
----------------------------------------------
Delphi
|
作者: |
|
2019/11/6 19:34:47 |
31楼: |
告诉你个更好的。
软件everything第一次打开 10来秒就扫完全盘 并且秒搜
----------------------------------------------
-
|
|