目标
解决大型应用(微信、陌陌级别)中,用户经纬度在不断更新,用户查找频繁的问题。(每分钟1000W级)
方案A
本方案前,请先阅读 http://www.alivenode.com/index.php/archives/300(LBS的球面距离计算以及Geohash方案探讨(LBS之一))
由上文,简单可得;
1、仅需每分钟将用户的经纬度,上报到数据库;
2、然后每次用户查找附近好友时,通过 LIKE ‘wm3yr3%’,即可获取
缺点:稍有一定数据量,对数据库的鸭梨可想而知
方案B
策略
假象把中国分成,若干个一平方公里的单元格,
1、用户位置的变更,理解为一个单元格移动到另外一个单元格(或者不移动)
2、用户查找附近,理解为查找,自己所在方块的的所有人
数据结构
1、用户基本信息 纬度、经度、GeoHash值(经纬度,仅用于后期距离计算)
2、单元格 集合(用户1,用户2,…)
存储工具
1、redis string(key->value) 结构,存储用户基本信息
2、redis set(集合) 结构,以GeoHash值,前6位作为key(约表示一平方千米),存储单元格的用户群
算法流程
1、更新用户信息,先删除用户原所在集合,再更新当前用户信息,最后更新当前用户所在集合
2、查找附近,直接查找,所在单元格集合所有用户ID
具体实现
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
|
<?php /** * LBS核心类 * * @author name <simplephp@163.com> * @site http://www.wubiao.info */ include_once ( 'geohash.class.php' ); class lbs { //索引长度 6位 protected $index_len = 6; protected $redis ; protected $geohash ; public function __construct() { //redis $this ->redis = new Redis(); $this ->redis->pconnect( '127.0.0.1' , '6379' ); //geohash $this ->geohash = new Geohash(); } /** * 更新用户信息 * * @param mixed $latitude 纬度 * @param mixed $longitude 经度 */ public function upinfo( $user_id , $latitude , $longitude ) { //原数据处理 //获取原Geohash $o_hashdata = $this ->redis->hGet( $user_id , 'geo' ); if (! empty ( $o_hashdata )) { //原索引 $o_index_key = substr ( $o_hashdata , 0, $this ->index_len); //删除 $this ->redis->sRem( $o_index_key , $user_id ); } //新数据处理 //纬度 $this ->redis->hSet( $user_id , 'la' , $latitude ); //经度 $this ->redis->hSet( $user_id , 'lo' , $longitude ); //Geohash $hashdata = $this ->geohash->encode( $latitude , $longitude ); $this ->redis->hSet( $user_id , 'geo' , $hashdata ); //索引 $index_key = substr ( $hashdata , 0, $this ->index_len); //存入 $this ->redis->sAdd( $index_key , $user_id ); return true; } /** * 获取附近用户 * * @param mixed $latitude 纬度 * @param mixed $longitude 经度 */ public function serach( $latitude , $longitude ) { //Geohash $hashdata = $this ->geohash->encode( $latitude , $longitude ); //索引 $index_key = substr ( $hashdata , 0, $this ->index_len); //取得 $user_id_array = $this ->redis->sMembers( $index_key ); return $user_id_array ; } } ?> |
性能测试
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
|
<?php /** * 模拟数据上报 * * @author name <simplephp@163.com> * @site http://www.wubiao.info */ include_once ( 'lbs.class.php' ); $b_time = microtime(true); $n = 0; while (1) { //user_id 1~1000000 $user_id = rand(1,1000000); //latitude 30.59773~30.726786 $rand_latitude = rand(30597730,30726786); $latitude = $rand_latitude /1000000; //longitude 103.983192 ~104.16069 $rand_longitude = rand(103983192,104160690); $longitude = $rand_longitude /1000000; $lbs = new lbs(); $lbs ->upinfo( $user_id , $latitude , $longitude ); $n ++; mylog( $n ); $e_time = microtime(true); if (( $e_time - $b_time )>=60) { exit ; } } function mylog( $content ) { file_put_contents ( 'upinfo.log' , $content . "\r\n" ,FILE_APPEND); } ?> |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
<?php /** * 模拟查找附近 * * @author name <simplephp@163.com> * @site http://www.wubiao.info */ include_once ( 'lbs.class.php' ); $b_time = microtime(true); $n = 0; while (1) { //latitude 30.59773~30.726786 $rand_latitude = rand(30597730,30726786); $latitude = $rand_latitude /1000000; //longitude 103.983192 ~104.16069 $rand_longitude = rand(103983192,104160690); $longitude = $rand_longitude /1000000; $lbs = new lbs(); $re = $lbs ->serach( $latitude , $longitude ); $n ++; mylog( $n ); $e_time = microtime(true); if (( $e_time - $b_time )>=60) { exit ; } } function mylog( $content ) { file_put_contents ( 'search.log' , $content . "\r\n" ,FILE_APPEND); } ?> |
测试环境
虚拟机,内存256M,主频2.93GHz
性能结果
模拟了100W活跃用户行为,不断更新,不断查找附近好友
//60 seconds insert
88544
//60 seconds search
117660
//成都 100W人,数据占用内存
11.97M
总结
从测试结果来看,完全能满足,微信、陌陌之类的性能要求;
尚可改进之处:
1、Geohash,可写成PHP C扩展;或者其他Geohash实现方式
2、Redis,内存消耗较大,可考虑redis集群方案
3、本文仅查出本单元格用户,提高精度,可查出周围八个单元个,求交集
4、求出结果,如需按照由远到近排序;读出Redis经纬度,利用距离公式排序方可。(可参照上一篇文字)
附redis安装方法
=================================================================================================
//redis
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
wget http: //redis.googlecode.com/files/redis-2.4.14.tar.gz make make install //配置 cp redis.conf /etc/ vi /etc/redis.conf #后台 daemonize yes #日志 logfile /dev/null #存储 dir ./ //小内存,内核参数 echo 1 > /proc/sys/vm/overcommit_memory //防火墙 vi /etc/sysconfig/iptables -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT service iptables restart //启动 redis-server /etc/redis.conf //测试 redis-cli set foo bar OK redis-cli get foo bar |
//php redis 扩展
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
//源码 http: //pecl.php.net/package/redis //手册 http: //redis.readthedocs.org/en/latest/ //安装 /opt/server/php/bin/phpize ./configure --with-php-config=/opt/server/php/bin/php-config make make install //配置 vi php.ini [redis] extension = redis.so
|
最后更新于 2015年4月19日