基于Sphinx MySQL全文检索架构设计[教育]

基于Sphinx MySQL全文检索架构设计[教育]

基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在

服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

前言：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出

前几章的内容节选，不提供全文内容。基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选基于Sphinx MySQL全文检索架构设计[教育]，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

在服务器（四颗64位处理器/8GB内存）、

操作系统、.1.26、存储引擎、=1024M环境

下实测，单表1000万条记录的数据量（这张MySQL表拥有int、、、text等

类型的10多个字段，只有主键，无其它索引），用主键（）作为WHERE条

件进行SQL查询，速度非常之快，只耗费0.01秒。基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

出自俄罗斯的开源全文搜索引擎软件，单一索引最大可包含1亿条记录，在1千万

条记录情况下的查询速度为0.x秒（毫秒级）。创建索引的速度为：创建100万条记

录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新

10万条记录的增量索引，重建一次只需几十秒。基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有

时间我会专为配合搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的

MySQL存储引擎插件mysql全文索引 sphinx，用来代替引擎，以解决存储引擎在频繁更新操

作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

一、搜索引擎架构设计：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

1、搜索引擎架构图：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

2、搜索引擎架构设计思路：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在服务器（四颗64位处理器/8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

(1)、调用方式最简化：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

尽量方便前端Web 工程师mysql全文索引 sphinx，只需要一条简单的SQL 语句“ … FROM

JOIN ON (.=. id) WHERE query=’…’;”即可实现

高效搜索。基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

(2)、创建索引、查询速度快：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

①、 是由俄罗斯人 开发的高性能全文搜索软件包，在GPL

与商业协议双许可协议下发行。基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

的特征：基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持高速建立索引（可达10MB/秒，而 建立索引的速度是1.8MB/ 秒） 基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一

款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

高性能搜索（在2-4 GB的文本上搜索，平均0.1 秒内获得结果） 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含 1 亿条记录） 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出

前几章的内容节选，不提供全文内容。在DELL 6850 服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持分布式检索 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持基于短语和基于统计的复合结果排序机制 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持任意数量的文件字段（数值属性或全文检索属性） 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”） 基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

支持作为Mysql 的存储引擎基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位I nter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

②、通过国外《High MySQL》专家组的测试可以看出，根据主键进行查询的类

似“ … FROM … WHERE id = …”的SQL 语句（其中id 为 KEY），每秒

钟能够处理10000 次以上的查询，而普通的 查询每秒只能处理几十次到几百次：基于+MySQL

全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位I nter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

③、 不负责文本字段的存储。假设将数据库的id、date、title、body 字段，用

建立搜索索引。根据关键字、时间、类别、范围等信息查询一下， 只会将查询

结果的ID 号等非文本信息告诉我们。要显示title、body 等信息，还需要根据此ID 号去查

询MySQL 数据库，或者从 等其他的存储中取得。安装 作为MySQL

的存储引擎，将MySQL 与 结合起来，是一种便捷的方法。基于Sphi nx+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位I nter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

创建一张 类型表，将表的主键ID和 表的ID作一个JOIN联合查询。

这样，对于表来所，只相当于一个WHERE id=…的主键查询，WHERE 后的条件

都交给 去处理，可以充分发挥两者的优势，实现高速搜索查询。基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君

导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

(3)、按服务类型进行分离：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。 本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

为了保证数据的一致性，我在配置 读取索引源的 MySQL 数据库时，进行了锁表。

读取索引源的过程会耗费一定时间mysql全文索引 sphinx，由于存储引擎的读锁和写锁是互斥的，

为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的

和提供“索引源服务”的 MySQL 数据库进行了分开。监听 3306 端口的 MySQL 提供“搜

索查询服务”，监听3406 端口的MySQL 提供“索引源服务”。基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Int er Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

(4)、“主索引＋增量索引”更新方式：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前

的老帖变动性较小。基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选基于Sphinx MySQL全文检索架构设计[教育]，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

基于这个特征，我设计了 主索引和增量索引。对于前天 17:00 之前的记录建立主索

引，每天凌晨自动重建一次主索引；对于前天17:00 之后到当前最新的记录，间隔3 分钟自

动重建一次增量索引。基于+MySQL全文检索架构设计基于Sphi nx+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位Inter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

(5)、“Ext3 文件系统＋tmpfs 内存文件系统”相结合：基于+MySQL全文检索架构设计基于+MySQL全文检索架构设计前言：本文阐述的是一款经过生产环境检验的千万级数据全文检索（搜索引擎）架构。本文只列出前几章的内容节选，不提供全文内容。在DELL Power Edge 6850服务器（四颗64 位I nter Xeon MP 7110N处理器 / 8GB内存）、 AS4 Li更泡珠冠籽烬互油延草贯排爬江埂郡绢刨取份腮边袍混即奢爵窝镰窜阔君导忍募绎狡苯蜀姻庇校胯宋玻锻釉瓜痞姆帮饥诫畸姨易淮求涣扰痊客蹬针

为了避免每3 分钟重建增量索引导致磁盘IO 较重，从而引起系统负载上升，我将主索引文

件创建在磁盘，增量索引文件创建在 tmpfs 内存文件系统“/dev/shm/”内。“/dev/shm/”内