Nginx+MogileFS安装与配置
（限于篇幅，测试过程中有些效果并未截图在此文中展示）
MogileFS简介：
Mogilefs是一款由Perl语言研发的轻量级的分布式存储系统，从应用层解决海量小数据的存储，主要适用于互联网文件共享、上传、下载。分布式存储系统是将数据分散存储在多台独立的设备上，分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，可以支持由PHP、Java、Perl、Python写的扩展API接口来提供服务。GitHub地址：https://github.com/mogilefs。
MogileFS工作特点：
1、工作于应用层，没有特殊的组件要求；
2、无单点，tracker节点可以高可用，存储节点可以存储多个数据副本，对应数据库有高可用方案；
3、实现文件自动复制，默认副本是2份；
4、传输中立，无须特殊协议。MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器；
5、使用名称空间（命名空间），每个文件通过key来确定，domain切割成不同的空间，单个空间的名称不能重复，也可以根据应用来分空间；
6、domain内部有多个小的组件组成，称为class类。整个空间由不同节点提供的，每个文件需要存副本。在数据库中保存元数据，class把多个文件合并起来当作一个复制最小单元；
7、无需raid，但比raid更优。MogileFS在不同的机器之间进行文件复制，因此文件始终是可用的；
8、不共享任何数据。MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘；
9、若某个Storage节点不在线，客户端向Tracker节点请求获取数据时，Tracker节点会返回用于冗余的副本的存储位置给客户端，这样就保证了整个文件系统中数据的高可用性。当有数据存储至某一Storage节点后，各Storage节点会根据Tracker的指示通过节点间通信将副本发送至其他节点上。若某一Storage下线了，该节点上的副本会由其他节点重新提供，保证副本的个数不少于指定的值。
MogileFS核心角色：
1、tracker节点：文件系统集群的核心节点。借助于数据库保存各节点文件的元数据信息，保存每个域中所有键的存储位置分布，方便检索、定位数据位置的同时并监控各个节点，告诉客户端存储区位置并指示storage节点完成数据的添加、删除、查询及节点之间数据的复制等。该节点上运行的进程名为mogilefsd，监听7001端口。往往Tracker节点有多个，以实现负载均衡和高可用。
2、database节点：为tracker节点提供数据存取服务，返回用户可用的storagenode及文件的存放位置。
3、storage节点：实际存储数据的位置。将指定域中的键转换为其特有的文件名存储在指定的设备文件中，转换后的文件名为值。storage节点自动维护键值对应关系。storage节点由于使用http进行数据传输，通常是一个HTTP（WebDAV）服务器，能完成文件创建、删除、重命名等操作。该节点上运行的进程名为mogstored，监听7500端口和7501端口。
4、host：每一个存储节点称为一个主机，一个主机上可以有多个存储设备（单独的硬盘），每个设备都有ID号，Domain+Fid用来定位文件。
5、domain：一个域中的键值是唯一的，一个MogileFS可以有多个域，域可以存储不同应用类型的数据的容器。
6、class：复制最小单位，用于文件属性管理，定义文件存储在不同设备上的份数。
MogileFS工作原理：
1、客户端向服务器端发送请求，Nginx接收请求；
2、Nginx通过反向代理挑选后端任意一台Trackers服务器响应请求；
3、Trackers接收请求后再向后端数据库获取数据存储的位置；
4、Trackers接收到数据库响应回来的数据位置后再响应给Nginx；
5、Nginx接收到Trackers响应回来的数据位置后再到Storage服务器上获取实际的存储数据；
6、Storage存储服务器将文件内容通过http协议返回给Nginx；
7、Nginx将结果返回给应用层客户端。
测试Nginx+MogileFS：
1、 测试环境：
192.168.1.121 nginx 1.10.3 编译安装
192.168.1.142 tracker+mogstore
192.168.1.143 tracker+mogstore
192.168.1.144 tracker+mogstore
192.168.1.145 mysql 5.6 RPM包安装
2、所有软件包下载并上传至对应服务器
libunwind-1.2.tar.gz 下载地址http://download.savannah.gnu.org/releases/libunwind/
gperftools-2.5.tar.gz 下载地址https://github.com/gperftools/gperftools/releases
nginx_mogilefs_module-1.0.4.tar.gz 下载地址http://www.grid.net.ru/nginx/download/
3、所有测试服务器时间同步及主机名配置（仅以192.168.1.121的Nginx服务器为例）：
（1）服务器时间同步：# yum-y install ntp # ntpdatecn.ntp.org.cn # date
（2）主机名配置：# vim/etc/sysconfig/network --> HOSTNAME=nginx121
# hostname nginx121 # hostname --> nginx121
# vim/etc/hosts
192.168.1.121 nginx121
192.168.1.142 mfs-node142
192.168.1.143 mfs-node143
192.168.1.144 mfs-node144
192.168.1.145 mysql145
# logout
备注：5台测试服务器都需要执行上述步骤，只是需要修改的主机名不同而已。
4、192.168.1.145安装配置MySQL 5.6：
（1）删除系统自带的旧MySQLRPM包：
# rpm-qa|grep -i mysql --> mysql-libs-5.1.73-7.el6.x86_64
# yum-y remove mysql-libs*
# rpm-qa|grep -i mysql
（2）安装MySQL：
# rpm-ivh MySQL-client-5.6.35-1.el6.x86_64.rpm
# rpm-ivh MySQL-devel-5.6.35-1.el6.x86_64.rpm
# rpm-ivh MySQL-server-5.6.35-1.el6.x86_64.rpm
查看MySQL-server安装完成后生成的文件：
# rpm -ql MySQL-server
查看默认MySQL数据库root用户密码（随机字符串）：
# cat /root/.mysql_secret --> CsbCv2Ij_V2vcJSi
（3）创建MySQL配置文件：
# find / -name my.cnf //如果默认已经存在/etc/my.cnf配置文件，需要先备份
# mv/etc/my.cnf /etc/my.cnf.bak
# cp/usr/share/mysql/my-default.cnf /etc/my.cnf
（4）初始化MySQL：
# mysql_install_db --user=mysql --datadir=/var/lib/mysql
（5）启动MySQL，并实现开机自启：
# cp/usr/share/mysql/mysql.server /etc/init.d/mysqld
# service mysqld start
# netstat -lntup|grep mysqld
# chkconfig --add mysqld
# chkconfig mysqld on
# chkconfig --list mysqld
（6）MySQL安全性设置（包括创建或者修改root管理员密码、删除匿名用户、允许root管理员远程登录、删除测试数据库、重新加载授权表）：
# mysql_secure_installation //初始root管理员密码：CsbCv2Ij_V2vcJSi
（7）查看MySQL默认数据库：
# mysql -uroot -p
mysql>show databases;
查看是否有数据库mfsdb。
5、192.168.1.142 | 143 | 144安装配置MogileFS（3个tracker + storage节点都需要执行如下操作，此处仅以192.168.1.142 mfs-node142节点为例）：
（1）新增一块磁盘10G，用于LVM存储数据，并查看系统分区情况：
# df-Th
# fdisk -l
（2）创建LVM分区：
# fdisk /dev/sdb //分区截图没有上传
# partx -a /dev/sdb
# cat/proc/partitions
# fdisk -l
（3）创建LVM：
将物理磁盘设备初始化为物理卷PV：# pvcreate /dev/sdb1 # pvdisplay
创建卷组VG，并将PV加入VG中：# vgcreate卷组名称物理磁盘
# vgcreate mogilefs /dev/sdb1 # vgdisplay
基于VG创建逻辑卷LV：# lvcreate【选项】卷组名称
【选项】：
-n：指定逻辑卷名称
-l：指定使用多少个卷组中的PE创建逻辑卷，PE的容量在创建卷组时已经指定
-L：指定逻辑卷的容量大小
# lvcreate -n mfsdata -l 100%FREE mogilefs # lvdisplay
创建文件系统：# mke2fs -t ext4 /dev/卷组名称/逻辑卷名称 --> # mke2fs -t ext4 /dev/mogilefs/mfsdata
创建挂载点：
节点：# mkdir -pv /mfsdata/dev1
节点：# mkdir -pv /mfsdata/dev2
节点：# mkdir -pv /mfsdata/dev3
手动挂载：
节点：# mount /dev/mogilefs/mfsdata /mfsdata/dev1
节点：# mount /dev/mogilefs/mfsdata /mfsdata/dev2
节点：# mount /dev/mogilefs/mfsdata /mfsdata/dev3
开机自动挂载：# vim/etc/fstab
节点：/dev/mogilefs/mfsdata /mfsdata/dev1 ext4 defaults 0 0
节点：/dev/mogilefs/mfsdata /mfsdata/dev2 ext4 defaults 0 0
节点：/dev/mogilefs/mfsdata /mfsdata/dev3 ext4 defaults 0 0
手动挂载/etc/fstab文件中的所有设备：# mount -a
验证挂载是否成功：# cat /etc/mtab # mount # fdisk -l # df -Th
以192.168.1.142 mfs-node142为例：
（4）安装MogileFS：
# yum-y install *.rpm perl-IO-AIO
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
# chown -R mogilefs.mogilefs /mfsdata/
# chown -R mogilefs.mogilefs /var/run/mogilefsd/
=================================================================================
此时需要先回到192.168.1.145 mysql145节点中进行mfsuser用户和root用户的授权：
# mysql -uroot -p
mysql>grant all on mfsdb.*to ‘mfsuser‘@‘192.168.%.%‘identified by ‘123456‘;
mysql>grant all on *.* to ‘root‘@‘192.168.%.%‘ identified by ‘123456‘;
mysql>flush privileges;
=================================================================================
（5）新建mfsdb数据库（只要在192.168.1.142 mfs-node142节点执行如下命令，另外2个节点无需执行）：
# mogdbsetup --dbhost=192.168.1.145 --dbport=3306 --dbname=mfsdb --dbrootuser=root --dbrootpass=123456 --dbuser=mfsuser --dbpass=123456 --yes
验证192.168.1.145中mfsdb数据库是否创建成功：
# yum-y install mysql
//在192.168.1.142 mfs-node142节点上安装MySQL客户端，远程连接192.168.1.145 mysql145节点
# mysql-h192.168.1.145 -uroot -p
（6）修改mogilefsd.conf配置文件，并启动mogilefsd服务：
# vim/etc/mogilefs/mogilefsd.conf，改为如下内容：
db_dsn = DBI:mysql:mfsdb:host=192.168.1.145
db_user = mfsuser
db_pass = 123456
listen = 0.0.0.0:7001
# /etc/init.d/mogilefsd start
# netstat -lntup|grep mogilefsd --> 监听端口7001
# chkconfig mogilefsd on
# chkconfig --list mogilefsd
（7）修改mogstored.conf配置文件，并启动mogstored服务：
# vim /etc/mogilefs/mogstored.conf，改为如下内容：
docroot = /mfsdata
# /etc/init.d/mogstored start
# netstat -lntup|grep mogstored --> 监听端口7500和端口7501
# chkconfig mogstored on
# chkconfig --list mogstored
以下的所有操作只要在192.168.1.142 | 143 | 144中的任意一个节点中进行即可
（8）在mfs-node142节点中添加host：
# mogadmhost list //默认没有任何host
# mogadmhost add 192.168.1.142 --status=alive
# mogadm host add 192.168.1.143 --status=alive
# mogadm host add 192.168.1.144 --status=alive
# mogadm host list
192.168.1.142 [1]: alive
IP: 192.168.1.142:7500
192.168.1.143 [2]: alive
IP: 192.168.1.143:7500
192.168.1.144 [3]: alive
IP: 192.168.1.144:7500
备注：在3个tracker+storage节点中的任何1个节点使用命令# mogadmhost list都能查看到相同的信息，即所有host的状态信息。如果要删除某个host，可以使用命令#mogadm host delete IP删除。
（9）在mfs-node143节点中添加device：
# mogadm device list
192.168.1.142 [1]: alive
used(G) free(G) total(G) weight(%)
192.168.1.143 [2]: alive
used(G) free(G) total(G) weight(%)
192.168.1.144 [3]: alive
used(G) free(G) total(G) weight(%)
# mogadmdevice add 192.168.1.142 1 --> 对应/mfsdata/dev1
# mogadm device add 192.168.1.143 2 --> 对应/mfsdata/dev2
# mogadm device add 192.168.1.144 3 --> 对应/mfsdata/dev3
备注：添加设备时所使用的设备ID号必须要和/mfsdata中的dev编号保持一致。
# mogadm device list
192.168.1.142 [1]: alive
used(G) free(G) total(G) weight(%)
dev1: alive 0.021 9.188 9.210 100
192.168.1.143 [2]: alive
used(G) free(G) total(G) weight(%)
dev2: alive 0.021 9.188 9.210 100
192.168.1.144 [3]: alive
used(G) free(G) total(G) weight(%)
dev3: alive 0.021 9.188 9.210 100
# mogadm device summary
Hostname HostID Status used(G) free(G) total(G) %Used
192.168.1.142 [ 1]: alive 0.021 9.188 9.210 0.23
192.168.1.143 [ 2]: alive 0.021 9.188 9.210 0.23
192.168.1.144 [ 3]: alive 0.021 9.188 9.210 0.23
（10）在mfs-node144节点中添加domain：
# mogadm domain list
domain class mindevcount replpolicy hashtype
--------------- -------------- ------------------------------------------ ---------------
# mogadm domain add images
# mogadm domain add htmls
# mogadm domain add txts
# mogadm domain list
domain class mindevcount replpolicy hashtype
----------------- ------------ ---------------------------------------------- -------------------
htmls default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
txts default 2 MultipleHosts() NONE
（11）在mfs-node142节点中添加class：
# mogadmclass list
domain class mindevcount replpolicy hashtype
----------------- ------------ ---------------------------------------------- -------------------
htmls default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
txts default 2 MultipleHosts() NONE
每个域添加2个类，每个类至少3个副本：
# mogadm class add images class0 --mindevcount=3
# mogadm class add images class1 --mindevcount=3
# mogadm class add htmls class0 --mindevcount=3
# mogadm class add htmls class1 --mindevcount=3
# mogadmclass add txts class0 --mindevcount=3
# mogadm class add txts class1 --mindevcount=3
# mogadm class list
domain class mindevcount replpolicy hashtype
----------------- ------------ ---------------------------------------------- -------------------
htmls class0 3 MultipleHosts() NONE
htmls class1 3 MultipleHosts() NONE
htmls default 2 MultipleHosts() NONE
images class0 3 MultipleHosts() NONE
images class1 3 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
txts class0 3 MultipleHosts() NONE
txts class1 3 MultipleHosts() NONE
txts default 2 MultipleHosts() NONE
状态检查：
# mogadm check
Checking trackers...
127.0.0.1:7001... OK
Checking hosts...
[ 1]192.168.1.142 ... OK
[ 2]192.168.1.143 ... OK
[ 3]192.168.1.144 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
------------------ ---------- ------------------ ------------- ------------ -------------------------
[ 1] dev1 9.211 0.022 9.188 0.24% writeable 0.0
[ 2] dev2 9.211 0.022 9.188 0.24% writeable 0.0
[ 3] dev3 9.211 0.022 9.188 0.24% writeable 0.0
------------------ ---------- ------------------ ------------- ------------ -------------------------
total: 27.632 0.067 27.565 0.24%
# mogstats --config=/etc/mogilefs/mogilefsd.conf
# mogstats --config=/etc/mogilefs/mogilefsd.conf --stats="domains,devices"
（12）在mfs-node143节点和mfs-node144节点中分别上传图片：
首先在上述2个节点中创建图片存放目录：# mkdir-pv /images
将测试图片1.jpg和2.jpg分别上传至上述2个节点中的/images目录下
在mfs-node143节点中执行：
# mogupload --trackers=192.168.1.143:7001--domain=images --class=class0 --key="mfsnode143.jpg" --file="/images/1.jpg"
# mogfileinfo --trackers=192.168.1.143:7001 --domain=images --key="mfsnode143.jpg"
- file: mfsnode143.jpg
class: class0
devcount: 3
domain: images
fid: 5
key: mfsnode143.jpg
length: 45325
-http://192.168.1.143:7500/dev2/0/000/000/0000000005.fid
-http://192.168.1.142:7500/dev1/0/000/000/0000000005.fid
-http://192.168.1.144:7500/dev3/0/000/000/0000000005.fid
备注：图片文件已经有了3个备份，3个路径都能访问此图片。
在mfs-node144节点中执行：
# mogupload --trackers=192.168.1.144:7001 --domain=images --class=class0 --key="mfsnode144.jpg" --file="/images/2.jpg"
# mogfileinfo --trackers=192.168.1.144:7001 --domain=images --key="mfsnode144.jpg"
- file: mfsnode144.jpg
class: class0
devcount: 3
domain: images
fid: 6
key: mfsnode144.jpg
length: 61163
- http://192.168.1.142:7500/dev1/0/000/000/0000000006.fid
-http://192.168.1.143:7500/dev2/0/000/000/0000000006.fid
-http://192.168.1.144:7500/dev3/0/000/000/0000000006.fid
# moglistkeys --trackers=192.168.1.142:7001 --domain=images //每个节点上执行都可以，执行结果都一致
mfsnode143.jpg
mfsnode144.jpg
（13）如果需要执行图片的下载操作，可以执行如下命令，假设在mfs-node142中下载mfsnode143.jpg（即1.jpg），保存在该节点的/tmp目录下，重命名为mfsnode142.jpg：
# mogfetch --trackers=192.168.1.143:7001 --domain=images --key="mfsnode143.jpg" --file="/tmp/mfsnode142.jpg"
（14）如果需要执行图片的删除操作，可以执行如下命令，假设在mfs-node142中删除mfsnode143.jpg：
# mogdelete --trackers=192.168.1.143:7001 --domain=images --key="mfsnode143.jpg"
也可以通过curl命令进行删除，在后续配置了Nginx反向代理之后，可以得到如下的图片访问地址：
http://192.168.1.121/images/mfsnode143.jpg
# curl-X DELETE http://192.168.1.121/images/mfsnode143.jpg
使用curl命令上传目前还是有bug，无法实现。
6、192.168.1.121安装配置Nginx：
（1）下载相关软件包并安装依赖组件：
# yum-y groupinstall "Development Tools" "Server PlatformDevelopment"
# yum-y install pcre-devel perl-ExtUtils-Embed
（2）编译安装google_perftools_module模块：
TCMalloc（Thread-Caching Malloc）是谷歌开发的开源工具google-perftools中的一个成员，用于优化内存分配的效率和速度。与标准的glibc库的malloc相比，TCMalloc库在内存分配效率和速度上要高很多，这在很大程度上提高了服务器在高并发情况下的性能，从而降低系统负载。要安装TCMalloc库，需要安装libunwind（32位操作系统不需要安装）和google-perftools两个软件包，libunwind库为基于64位操作系统的程序提供了基本函数调用链和函数调用寄存器功能。
编译安装libunwind-1.2.tar.gz：
# tarxf libunwind-1.2.tar.gz -C /usr/src
# cd /usr/src/libunwind-1.2
#./configure
# make && make install
编译安装gperftools-2.5.tar.gz：
# tarxf gperftools-2.5.tar.gz -C /usr/src
# cd /usr/src/gperftools-2.5
# ./configure --enable-frame-pointers
# make && make install
# echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
# ldconfig
（3）编译安装Nginx：
# groupadd -r nginx
# useradd -M -r -s /sbin/nologin -g nginx nginx
创建Nginx临时文件存放目录
# mkdir -pv /var/tmp/nginx/
创建gperftools线程目录
# mkdir -pv /tmp/tcmalloc/
# chmod -R 0777 /tmp/tcmalloc/
# tarxf nginx-1.10.3.tar.gz -C /usr/src
# tarxf nginx_mogilefs_module-1.0.4.tar.gz -C /usr/src
# cd/usr/src/nginx-1.10.3/
# ./configure \
--prefix=/usr \
--sbin-path=/usr/sbin/nginx\
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx/nginx.pid\
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fastcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi/\
--http-scgi-temp-path=/var/tmp/nginx/scgi/ \
--with-pcre \
--with-google_perftools_module \
--add-module=/usr/src/nginx_mogilefs_module-1.0.4 | tee /tmp/nginx.out
# less /tmp/nginx.out
configuring additional modules
adding module in /usr/src/nginx_mogilefs_module-1.0.4
+ngx_http_mogilefs_module was configured
# make && make install
备注：
选项--with-google_perftools_module：支持TCMalloc对Nginx性能优化
选项--add-module=/usr/src/nginx_mogilefs_module-1.0.4：编译安装第三方模块nginx_mogilefs_module
| tee /tmp/nginx.out：将Nginx整个configure过程中输出的信息保存至/tmp/nginx.out文件中
（4）实现Nginx的服务启动脚本，并实现开机自启：
# vim/etc/init.d/nginx //网上有脚本，限于篇幅，不具体写了
# chkconfig --add nginx
# chkconfig nginx on
# chkconfig --list nginx
（5）修改Nginx配置文件，并启动Nginx：
# vim/etc/nginx/nginx.conf，修改为以下内容：
user nginx;
worker_processes4;
在#pid logs/nginx.pid;行下添加
google_perftools_profiles /tmp/tcmalloc;
events{
use epoll;
worker_connections 65535;
}
配置文件语法检查
# nginx -t 或者 #service nginx configtest
# service nginx start
# lsof -i:80
# netstat-lntup|grep nginx
测试TCMalloc
# lsof-n|grep tcmalloc
浏览器中输入http://192.168.1.121，能看到Nginx的欢迎页。
7、使用Nginx进行反向代理：
参考文档：http://www.grid.net.ru/nginx/mogilefs.en.html
为了能够基于URL进行访问而非fid，Nginx需要安装一个第三方的mogilefs模块。nginx_mogilefs_module就是利用mogilefs的API开发的一个应用程序，用于自动转换fid到URL的映射。
（- http://192.168.1.144:7500/dev3/0/000/000/0000000006.fid）
修改Nginx配置文件，在server配置段中新增1个location
（此处只演示images域，htmls域和txts域与此类似）：
# vim/etc/nginx/nginx.conf
location /images/ {
mogilefs_tracker 192.168.1.142:7001;
mogilefs_domain images;
mogilefs_class class0 class1;
mogilefs_noverify on;
mogilefs_methods GET PUT DELETE;
mogilefs_pass{
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
# nginx -t
# servicenginx reload
浏览器中访问存储在MogileFS中的mfsnode143.jpg和mfsnode144.jpg，采用IP+domain+key的方式：
http://192.168.1.121/images/mfsnode143.jpghttp://192.168.1.121/images/mfsnode144.jpg
能正常访问图片。
Nginx反向代理测试成功。
模拟节点单点故障：因为此时新增的location中的mogilefs_tracker配置的是192.168.1.142，如果192.168.1.142上的mogilefsd服务停止，则再次访问图片显示error。
8、配置Nginx负载均衡集群：
# vim/etc/nginx/nginx.conf，在http配置段中、server配置段外新增upstream：
upstream mfscluster {
server192.168.1.142:7001;
server192.168.1.143:7001;
server192.168.1.144:7001;
}
修改之前新增的location：
location /images/ {
mogilefs_tracker mfscluster;
mogilefs_domain images;
mogilefs_class class0 class1;
mogilefs_noverify on;
mogilefs_methods GET PUT DELETE;
mogilefs_pass{
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
# nginx -t
# service nginx reload
再次在浏览器中访问存储的图片，显示正常。
http://192.168.1.121/images/mfsnode143.jpg
http://192.168.1.121/images/mfsnode144.jpg
此时只要192.168.1.142 | 143 | 144任意1个节点中的mogilefsd服务正常，就能采用IP+domain+key的方式访问图片，实现了负载均衡效果。
9、采用IP+key的方式访问图片：
# vim/etc/nginx/nginx.conf，修改之前新增的location：
location ~* ^(/images/.*)$ {
mogilefs_trackermfscluster;
mogilefs_domain images;
mogilefs_class class0 class1;
mogilefs_noverify on;
mogilefs_methods GET PUT DELETE;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
# nginx -t
# service nginx reload
重新上传图片时的key值需要改为：
# mogupload --trackers=192.168.1.143:7001 --domain=images --class=class0 --key="/images/mfsnode143.jpg" --file="/images/1.jpg"
# mogfileinfo --trackers=192.168.1.143:7001 --domain=images --key="/images/mfsnode143.jpg"
得到3个访问路径：
- http://192.168.1.142:7500/dev1/0/000/000/0000000013.fid
-http://192.168.1.143:7500/dev2/0/000/000/0000000013.fid
-http://192.168.1.144:7500/dev3/0/000/000/0000000013.fid
-http://192.168.1.121/images/images/mfsnode143.jpg
再按之前的访问方式，会提示404。
采用IP+key的方式：
http://192.168.1.121/images/mfsnode143.jpg
10、通过Shell脚本模拟图片批量上传、删除：
先查看192.168.1.145 mysql145节点MySQL中的mfsdb数据库中file表里的数据，默认上传成功后文件的key会在此保存。
查看images域中key的存储情况：# moglistkeys --trackers=192.168.1.143:7001 --domain=images
默认没有存储任何key。
批量上传：
批量上传192.168.1.144 mfs-node144节点中/images目录下的10张图片：
# vim/scripts/upload.sh
#!/bin/bash
read -p "enter the dirpath：" dirpath
read -p "enter the tracker IP：" traIP
read -p "enter the domain name：" domname
read -p "enter the class name：" claname
cd $dirpath
for file in `ls`
do
mogupload--trackers="$traIP":7001 --domain="$domname"--class="$claname" --key="$dirpath/$file"--file="$dirpath/$file"
done
# bash-n /scripts/upload.sh
# bash /scripts/upload.sh 或者 # chmod +x/scripts/upload.sh # /scripts/upload.sh
查看上传效果，随机选择几张图片在浏览器中访问：
http://192.168.1.121/images/BPRO0001.jpg
http://192.168.1.121/images/BPRO0005.jpg
http://192.168.1.121/images/BPRO0010.jpg
都能正常访问。
批量删除：
# vim/scripts/delete.sh
#!/bin/bash
read -p "enter the tracker IP：" traIP
read -p "enter the domain name：" domname
for file in `moglistkeys --trackers="$traIP":7001--domain="$domname"`
do
mogdelete--trackers="$traIP":7001 --domain="$domname"--key="$file"
done
# bash -n /scripts/delete.sh
# bash /scripts/delete.sh
查看删除效果,再次访问：
http://192.168.1.121/images/BPRO0001.jpg
http://192.168.1.121/images/BPRO0005.jpg
http://192.168.1.121/images/BPRO0010.jpg
都显示404.
备注：实际生产环境中应用程序都是通过调用API来实现文件的上传、下载和删除。
本文出自 “天道酬勤” 博客，请务必保留此出处http://qiuyue.blog.51cto.com/1246073/1901998
原文：http://qiuyue.blog.51cto.com/1246073/1901998