关于

打算造个轮子，先备份下简单的设计手册吧。Minder是一个分布式启停进程服务，主要用于以下目的。

• 命令或远程RPC调用启动和停止进程
• 当进程挂掉，可以拉起来进程
• 获得机器对应的系统信息，如CPU，内存，硬盘等等

设计

方案一（不采用）

分为Server和Client端

Server

Server在每台机器上都需要安装，Server是个常驻进程，负责真正的启停进程，同时需要一个Check线程，用于判断进程状态，当程序挂掉以便重启进程，重启进程可以在配置里有个次数限制。

Read More

搜索引擎服务收到一个Query后，一般引擎这边是这么搞得，解析语法，生成后缀表达式，即查询搜索树（Search Tree）。搜索查询树负责求交、求并和过滤。所以这个地方也是性能关键点。所以在解析语法后，一般要做查询搜索树优化，减少求交，求并和过滤操作的次数，以此来提高搜索服务的QPS和查询Latency。

因为同事在负责新实时索引的性能优化，我正好负责将全量索引格式迁移到新实时索引上面，即实时索引的代码即支持全量索引也支持实时索引，减少运维和代码维护成本。我在查阅代码的同事，顺便与同事沟通了一些优化方法，进入全量索引代码里发现老的全量索引里已经有一些优化方法了，这些方法应该是市面上常见的方法，多数人也是应该知道的，这里记录下吧。主流优化操作主要包括以下四种：

全AND操作

如果父子节点都是AND，则可以合并，如（A & B）& (C & D)，优化后为 A & B & C & D ，能提早发现交为空，并退出，如下图所示。

Read More

打算闲暇时光写点靠谱的东西比如名字服务、KV存储等基础服务类软件，所以周末就先从封装一些基础库开始。上周末写了个C++日志库，支持多线程，性能也还不错，今天就做了下测试和修改了下bug。这里说下该库的使用方法，以及实现思路以及一些性能调优方法。欢迎交流和指教。

源码地址

https://github.com/armsword/dlog

编译

执行build.sh，在上层目录里会生成build文件，测试的可执行文件在release/bin目录下。

Read More

简单说下，2011年左右的Paper，Paper里说Twitter的实时索引和检索系统叫做Earlybird，Paper中主要讲了2件事，第一个就是支持Twitter的实时索引的倒排索引结构是怎么样的，第二个就是利用Java并发模型，处理并发读写。

该引擎功能

• 低延时、高吞吐能力；
• 能处理突发峰值（Weibo的特性）；
• 突出时效性，时间越近，排名应该越靠前；
• 该实时引擎支持AND、OR、NOT以及短语查询，实时性大约10S，查询latency 50ms；

该实时引擎，基于Lucene，使用Java开发，理由是

• 利用已存在的Lucene代码，并用来做全量索引；
• 适用于Twitter以JVM为中心的开发环境；
• 利用Java和JVM提供容易理解的并发模型；

其实上面几条理由与阿里很多开发项目类似，但是阿里的搜索引擎是C++编写的，质量也是非常不错的，叫问天(HA3)。

Read More

前言

简单说下问题情况，Proxy即作为客户端又有服务端功能，其接受QS（Query Server）的请求，之后向BS（索引服务）发送请求，然后根据BS的返回结果Merge后返回给QS。不能泄露太多东西，所以本文主要是整理一些知识点和问题查找思路。

问题和现象

• Proxy机器上出现大量的CLOSE_WAIT。
• Proxy失去服务能力，内存使用不为0，CPU使用率为0。
• 机器报警，TcpListenOverFlows。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

命令查看：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
 
 
结果：
TIME_WAIT 31927
CLOSE_WAIT 1570
ESTABLISHED 40
 
TIME_WAIT：表示主动关闭，通过优化系统内核参数可容易解决。
CLOSE_WAIT：表示被动关闭，需要从程序本身出发。
ESTABLISHED：表示正在通信


注：以上数据非真实线上情况，只为举例

Read More

刚入职，我在索引这个组，需要熟悉下之前的搜索索引模块的代码，以便后续开发。我在新申请的测试机器上编译代码部署索引这个模块就报错了。定位出现问题的地方，代码大致流程是这样子的：

1
2
3
4
5
6
7
8
9
10

if (conf->use_memlock_for_mmap) {
    // add MAP_LOCKED to lock the buffer

    attr_hash = (AttrIndexInfo*)mmap(NULL, fsize, PROT_WRITE | PROT_READ, MAP_SHARED | MAP_LOCKED, fd, 0);

} else {

    attr_hash = (AttrIndexInfo*)mmap(NULL, fsize, PROT_WRITE | PROT_READ, MAP_SHARED, fd, 0);

}

而参数里配置了use_memlock_for_mmap 选项，于是代码就走到第一个mmap逻辑处。

使用ulimit -a查看下系统属性：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[armsword@search-querybs1 ~]$ ulimit -a
core file size          (blocks, -c) 4194304
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 256726
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1000000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 102400
virtual memory          (kbytes, -v) unlimited      （注：相当于limits.conf中的as和cgroup中的memory.limit_in_bytes.）
file locks                      (-x) unlimited

Read More

哈希被广泛使用在很多领域，如数据存储，加密，计算机视觉（几何哈希），此处就简单整理下几个常见的Hash函数的实现，有空陆续补充吧。

BKDR Hash Function

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

// 本算法由于在Brian Kernighan与Dennis Ritchie的《The C Programming Language》一书被展示而得名
// 是一种简单快捷的hash算法。
// 也是Java目前采用的字符串的Hash算法（累乘因子为31）。
// 此哈希函数用的最多

template<class T>
size_t BKDRHash(const T *str)
{
	register size_t hash = 0;
	while (size_t ch = (size_t)*str++)
	{		
		hash = hash * 131 + ch;   // 也可以乘以31、131、1313、13131、131313..
		// 可将乘法分解为位运算及加减法可以提高效率
		// 如将上式表达为：hash = hash << 7 + hash << 1 + hash + ch;
	}
	return hash;
}

其中累乘因子也可以为131、1313、13131，比如下述代码就使用了33。

Read More