BeeGFS第一回:Ubuntu安装BeeGFS

标签:
it |
环境:Ubuntu 14.04.5
LTS
//注:本文用的root用户,非root用户请将命令加sudo.
1. 下载源码
# 2. 编译打包
// 安装依赖包
# apt-get install -y \
gcc g++ autoconf automake devscripts debhelper
libtool libattr1-dev \
xfslibs-dev lsb-release module-init-tools
librdmacm-dev libibverbs-dev \
default-jdk ant dh-systemd libcppunit-dev
zlib1g-dev libssl-dev sqlite3 \
libsqlite3-dev
# cd v6
# make -j$(nproc) -C beegfs_thirdparty/build
# make -j$(nproc) -C beegfs_opentk_lib/build
# make -j$(nproc) -C beegfs_common/build
// 开始打包...
# cd beegfs_auto_package
# ./make-debs.sh -l /tmp/log.txt -j$(nproc)
-p /tmp/my_beegfs_packages/ -K
// -K : keep previously built files (no
clean), 打印help信息:./make-debs.sh -h
// 查看打包过程: tail -f /tmp/log.txt
// 查看打好的deb包:
# ls -l
/tmp/my_beegfs_packages/
3. 安装
#
cd /tmp/my_beegfs_packages/
# dpkg -i *.deb
//
注:可以根据需要选择安装部分包,此处安装了包括客户端在内的所有包。
4. 搭建单节点集群
4.1 准备磁盘
//
建议将多个设备做成raid设备后格式化使用
//
此处将只用一个设备演示,不做raid
# mkfs.xfs
/dev/nvme0n1
# mkdir /mnt/md1
-p
#
mount /dev/nvme0n1 /mnt/md1
4.2 配置服务
#
mnmt_host=$(hostname)
# /opt/beegfs/sbin/beegfs-setup-mgmtd -p
/data/beegfs/beegfs_mgmtd
# /opt/beegfs/sbin/beegfs-setup-meta -p
/data/beegfs/beegfs_meta -s 1 -m $mnmt_host
# /opt/beegfs/sbin/beegfs-setup-storage -p
/mnt/md1/beegfs_storage -s 1 -i 1 -m $mnmt_host
# /opt/beegfs/sbin/beegfs-setup-client -m $mnmt_host
4.3 启动服务
# service beegfs-mgmtd start
# service beegfs-meta start
# service beegfs-storage start
# service beegfs-helperd start
# service beegfs-client start
# service beegfs-admon start
4.4 查看集群信息
// 查看进程
// 查看存储节点信息
# beegfs-ctl --listnodes --nodetype=storage
// 查看元数据节点信息
# beegfs-ctl --listnodes --nodetype=meta
// client节点信息
# beegfs-ctl --listnodes
--nodetype=client
// 列出storage OR
meta的所有target状态
# beegfs-ctl --listtargets --state
--nodetype=storage
5. 使用
// 查看mount, df信息
# mount
# df -h
// 拷贝文件
# cp
-r /tmp/my_beegfs_packages /mnt/beegfs
# ls
-l /mnt/beegfs/my_beegfs_packages
// 编写fio配置文件prepare1.fio,内容如下:
===============prepare1.fio==============
[global]
filename=/mnt/beegfs/test.txt
direct=1
iodepth_batch_complete=1
ioengine=libaio
rw=write
bs=128k
loops=1
size=100G
norandommap=1
randrepeat=0
group_reporting
[seqwrite]
iodepth=256
==============prepare1.fio end===============
//
运行fio,刚开始可能有点慢
# fio
prepare1.fio
7.
卸载BeeGFS软件
//
查看刚才安装的软件包的名字
#
cd /tmp/my_beegfs_packages
# ls | awk -F'_' '{print $1}'
beegfs-admon
beegfs-admon-dbg
beegfs-client
beegfs-client-compat
beegfs-client-devel
beegfs-common
beegfs-helperd
beegfs-helperd-dbg
beegfs-meta
beegfs-meta-dbg
beegfs-mgmtd
beegfs-mgmtd-dbg
beegfs-opentk-lib
beegfs-storage
beegfs-storage-dbg
beegfs-utils
beegfs-utils-dbg
beeond
beeond-thirdparty-gpl
// 全部卸载
# for i in `ls | awk -F'_' '{print $1}'`; do
apt-get purge $i -y; done
8. 结束