用FastDFS搭建文件管理系统 参考链接:https://www.cnblogs.com/chiangchou/p/fastdfs.html 参考视频:https://www.bilibili.com/video/av15286388/?p=1
二、安装FastDFS环境 0、前言 1、安装 libfastcommon 2、安装FastDFS 3、配置FastDFS跟踪器(Tracker) 4、配置 FastDFS 存储 (Storage) 5、文件上传测试 三、安装Nginx 1、安装nginx所需环境 2、安装Nginx 3、访问文件 四、FastDFS 配置 Nginx 模块 1、安装配置Nginx模块0.前言 操作环境:CentOS7 X64,以下操作都是单机环境。服务器:106.13.64.22 我把fastdfs所有的安装包下载到/usr/local/software/ 下,解压到/usr/local/fast目录下 1.安装环境所需要的依赖
yum install make cmake gcc gcc-c++安装包路径已在百度网盘共享: 链接:https://pan.baidu.com/s/14XPBpU1ZaMnVjar0LDLBdQ 提取码:6ccw
上传各个安装包到/usr/local/software/目录下。 创建software目录
cd usr/local mkdir software复制安装包到该目录下,如下图所示: 2.安装 libfastcommon 切换到/usr/local/software/目录, ① 解压 解压libfastcommon到/usr/local/fast 目录下
tar -zxvf libfastcommonV1.0.7.tar.gz -C /usr/local/fast cd /usr/local/fast/libfastcommon-1.0.7/② 编译、安装
./make.sh ./make.sh install③libfastcommon.so 安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软链接。
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so3.安装FastDFS 解压libfastcommon到/usr/local/fast 目录下
tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local/fast cd /usr/local/fast/FastDFS② 编译、安装
./make.sh ./make.sh install③ 默认安装方式安装后的相应文件与目录(此步骤无需执行命令) A、服务脚本:
/etc/init.d/fdfs_storaged /etc/init.d/fdfs_trackerB、配置文件(这三个是作者给的样例配置文件)
/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sampleC、命令工具在 /usr/bin/ 目录下:
fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh④ FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin, 但实际命令安装在 /usr/bin/ 下。 两种方式: 》方式一是修改FastDFS 服务脚本中相应的命令路径,也就是把 /etc/init.d/fdfs_storaged 和 /etc/init.d/fdfs_tracker 两个脚本中的 /usr/local/bin 修改成 /usr/bin。
# vim fdfs_trackerd 使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin # vim fdfs_storaged 使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin》 方式二是建立 /usr/bin 到 /usr/local/bin 的软链接。
ln -s /usr/bin/fdfs_trackerd /usr/local/bin ln -s /usr/bin/fdfs_storaged /usr/local/bin ln -s /usr/bin/stop.sh /usr/local/bin ln -s /usr/bin/restart.sh /usr/local/bin注意:以上两种方式,我采用的方式一。 4.配置FastDFS跟踪器(Tracker) ①进入 /etc/fdfs,复制 FastDFS 跟踪器样例配置文件 tracker.conf.sample,并重命名为 tracker.conf。
# cd /etc/fdfs # cp tracker.conf.sample tracker.conf # vim tracker.conf②编辑tracker.conf ,标红的需要修改下,其它的默认即可。
# 配置文件是否不生效,false 为生效 disabled=false # 提供服务的端口 port=22122 # Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建) base_path=/ljzsg/fastdfs/tracker # HTTP 服务端口 http.server_port=8080③创建tracker基础数据目录,即base_path对应的目录
mkdir -p /ljzsg/fastdfs/tracker注意:mkdir命令。使用 -p 参数来创建多级文件夹,例如: test01/test02/test03 ④防火墙中打开跟踪端口(默认的22122) Centons7 X64位系统默认的防火墙是firewall
首先查看防火墙状态:(在防火墙开启的状态下添加端口)firewall-cmd --state
开端口命令: firewall-cmd --zone=public --add-port=22122/tcp --permanent 重启防火墙: systemctl restart firewalld.service此处可以参考莉婶的另外一个博文链接: https://blog.csdn.net/fly_77/article/details/100806274 ⑤启动Tracker 初次成功启动,会在 /ljzsg/fdfsdfs/tracker/ (配置的base_path)下创建 data、logs 两个目录。
可以用这种方式启动 # /etc/init.d/fdfs_trackerd start 也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式 # service fdfs_trackerd start上述两种方式都可以启动。 查看 FastDFS Tracker 是否已成功启动 ,22122端口正在被监听,则算是Tracker服务安装成功。
netstat -unltp|grep fdfs关闭Tracker命令:
service fdfs_trackerd stop⑥设置Tracker开机启动
chkconfig fdfs_trackerd on 或者: # vim /etc/rc.d/rc.local 加入配置: /etc/init.d/fdfs_trackerd start⑦ tracker server 目录及文件结构 Tracker服务启动成功后,会在base_path下创建data、logs两个目录。目录结构如下:
${base_path} |__data | |__storage_groups.dat:存储分组信息 | |__storage_servers.dat:存储服务器列表 |__logs | |__trackerd.log: tracker server 日志文件5.配置 FastDFS 存储 (Storage) ①进入 /etc/fdfs 目录,复制 FastDFS 存储器样例配置文件 storage.conf.sample,并重命名为 storage.conf ② storage.conf.sample,并重命名为 storage.conf。
# cd /etc/fdfs # cp storage.conf.sample storage.conf # vim storage.conf③ 编辑storage.conf ,标红的需要修改下,其它的默认即可。
# 配置文件是否不生效,false 为生效 disabled=false # 指定此 storage server 所在 组(卷) group_name=group1 # storage server 服务端口 port=23000 # 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳) heart_beat_interval=30 # Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成) base_path=/ljzsg/fastdfs/storage # 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。 store_path_count=1 # 逐一配置 store_path_count 个路径,索引号基于 0。 # 如果不配置 store_path0,那它就和 base_path 对应的路径一样。 store_path0=/ljzsg/fastdfs/file # FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 # 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。 subdir_count_per_path=256 # tracker_server 的列表 ,会主动连接 tracker_server # 有多个 tracker server 时,每个 tracker server 写一行 此处需要修改为tracker_server所在的ip地址和端口 tracker_server=106.13.64.22:22122 # 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。 sync_start_time=00:00 sync_end_time=23:59 # 访问端口 http.server_port=80④ 创建storage基础数据目录,即base_path对应的目录
mkdir -p /ljzsg/fastdfs/storage注意:mkdir命令。使用 -p 参数来创建多级文件夹,例如: test01/test02/test03 ⑤ 防火墙中打开跟踪端口(默认的23000) Centons7 X64位系统默认的防火墙是firewall
首先查看防火墙状态:(在防火墙开启的状态下添加端口) firewall-cmd --state 开端口命令: firewall-cmd --zone=public --add-port=23000/tcp --permanent 重启防火墙: systemctl restart firewalld.service此处可以参考莉婶的另外一个博文链接: https://blog.csdn.net/fly_77/article/details/100806274 ⑥ 启动Storage 初次成功启动,会在 /ljzsg/fdfsdfs/storage/ (配置的base_path)下创建 data、logs 两个目录。
可以用这种方式启动 # /etc/init.d/fdfs_storaged start 也可以用这种方式,后面都用这种 # service fdfs_storaged start上述两种方式都可以启动。 查看 Storage 是否成功启动,23000 端口正在被监听,就算 Storage 启动成功。
netstat -unltp|grep fdfs关闭Storage命令:
# service fdfs_storaged stop查看Storage和Tracker是否在通信:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf⑦设置 Storage 开机启动
# chkconfig fdfs_storaged on 或者: # vim /etc/rc.d/rc.local 加入配置: /etc/init.d/fdfs_storaged start⑧ Storage 目录 同 Tracker,Storage 启动成功后,在base_path 下创建了data、logs目录,记录着 Storage Server 的信息。 在 store_path0 目录下,创建了N*N个子目录:
6.文件上传测试 ①修改 Tracker 服务器中的客户端配置文件
# cd /etc/fdfs # cp client.conf.sample client.conf # vim client.conf修改如下配置即可,其它默认。
# Client 的数据和日志目录 base_path=/ljzsg/fastdfs/client # Tracker端口 tracker_server=106.13.64.22:22122创建目录
cd /ljzsg/fastdfs/client②上传测试 在linux内部执行如下命令上传 /soft/aa.jpg图片
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /soft/aa.jpg上传成功后返回文件ID号:group1/M00/00/00/rBAABF26VpiAWdrVAAE4oMCn_Qo037.jpg
返回的文件ID由group、存储目录、两级子目录、fileid、文件后缀名(由客户端指定,主要用于区分文件类型)拼接而成。 三、安装Nginx 上面将文件上传成功了,但我们无法下载。因此安装Nginx作为服务器以支持Http方式访问文件。同时,后面安装FastDFS的Nginx模块也需要Nginx环境。 Nginx只需要安装到StorageServer所在的服务器即可,用于访问文件。我这里由于是单机,TrackerServer和StorageServer在一台服务器上。
1、安装nginx所需环境 ①安装nginx所需的依赖
yum install pcre yum install pcre-devel yum install zlib yum install zlib-devel2、安装Nginx 将nginx-1.17.3.tar.gz放到/soft目录 ② 解压
# tar -zxvf nginx-1.17.3.tar.gz # cd nginx-1.17.3③使用默认配置
# ./configure④编译、安装
# make && make install⑤启动nginx
# cd /usr/local/nginx/sbin/ # ./nginx 其它命令 # ./nginx -s stop # ./nginx -s quit # ./nginx -s reload⑥设置开机启动
# vim /etc/rc.local 添加一行: /usr/local/nginx/sbin/nginx # 设置执行权限 # chmod 755 rc.local⑦查看nginx的版本及模块
/usr/local/nginx/sbin/nginx -V⑧ 防火墙中打开Nginx端口(默认的 80) 添加后就能在本机使用80端口访问了。
首先查看防火墙状态:(在防火墙开启的状态下添加端口) firewall-cmd --state 开端口命令: firewall-cmd --zone=public --add-port=80/tcp --permanent 重启防火墙: systemctl restart firewalld.service3、访问文件 简单的测试访问文件 ①修改nginx.conf
# vim /usr/local/nginx/conf/nginx.conf 添加如下行,将 /group1/M00 映射到 /ljzsg/fastdfs/file/data location /group1/M00 { alias /ljzsg/fastdfs/file/data; }② 在浏览器访问之前上传的图片、成功。 http://106.13.64.22/group1/M00/00/00/rBAABF26VpiAWdrVAAE4oMCn_Qo037.jpg
四、FastDFS 配置 Nginx 模块 1、安装配置Nginx模块(在 Storage 所在的服务器安装nginx模块) ① fastdfs-nginx-module 模块说明 FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进行文件复制, 有同步延迟的问题。 假设 Tracker 服务器将文件上传到了 192.168.51.128,上传成功后文件 ID已经返回给客户端。 此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.51.129,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.51.129 上取文件,就会出现文件无法访问的错误。 而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。 ② 下载 fastdfs-nginx-module、解压 解压fastdfs-nginx-module_v1.16.tar.gz到上级目录的fast目录下 tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C …/fast/ cd /usr/local/fast/fastdfs-nginx-module/src/目录下,修改配置文件 这里必须修改配置文件 vim config 将/usr/local/include修改为/usr/include/ 如下图: ③ 重新安装nginx并在nginx中配置fast-module 在nginx的解压目录下执行 删除/usr/local/nginx rm -rf /usr/local/nginx 重新解压nginx的压缩包 tar -zxvf nginx-1.17.3.tar.gz 解压后,cd nginx-1.17.3 重新安装nginx所依赖的压缩包 yum install pcre yum install pcre-devel yum install zlib yum install zlib-devel
安装好了nginx所必需的的依赖包之后,在nginx中增加模块fast-module
./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src
make && make install ④ 查看Nginx的模块 /usr/local/nginx/sbin/nginx -V ⑤ 复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录, 并修改 cd /usr/local/fast/fastdfs-nginx-module/src/ cp mod_fastdfs.conf /etc/fdfs/ 修改如下配置,其它默认 vim /etc/fdfs/mod_fastdfs.conf
# 连接超时时间 connect_timeout=10 # Tracker Server tracker_server=file.ljzsg.com:22122 # StorageServer 默认端口 storage_server_port=23000 # 如果文件ID的uri中包含/group**,则要设置为true url_have_group_name = true # Storage 配置的store_path0路径,必须和storage.conf中的一致 store_path0=/ljzsg/fastdfs/file⑥ 复制 FastDFS 的部分配置文件到/etc/fdfs 目录 切换到FastDFS 的配置目录下:
cd /usr/local/fast/FastDFS/conf拷贝配置文件到/etc/fdfs 目录
cp anti-steal.jpg http.conf mime.types /etc/fdfs/⑦ 在/ljzsg/fastdfs/file 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /ljzsg/fastdfs/file/data/ /ljzsg/fastdfs/file/data/M00⑧ 配置nginx,修改nginx.conf
vim /usr/local/nginx/conf/nginx.conf修改配置,其它的默认 在80端口下添加fastdfs-nginx模块
location ~/group([0-9])/M00 { ngx_fastdfs_module; }如下图所示: 注意: listen 8080 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=8080 (前面改成8080了)相对应。如果改成其它端口,则需要统一,同时在防火墙中打开该端口。 location 的配置,如果有多个group则配置location ~/group([0-9])/M00 ,没有则不用配group。
⑨ 启动nginx,执行如下命令
# /usr/local/nginx/sbin/nginx⑩ 在地址栏访问。 能下载文件就算安装成功。注意和第三点中直接使用nginx路由访问不同的是,这里配置 fastdfs-nginx-module 模块,可以重定向文件链接到源服务器取文件。 http://106.13.64.22:8080/group1/M00/00/00/rBAABF26VpiAWdrVAAE4oMCn_Qo037.jpg
注意:上述访问的ip必须是storage服务器所在的ip地址。 最终部署结构图(盗的图):可以按照下面的结构搭建环境。