Ceph cluster

Быстрый план работы с кластером:

Удаление кластера:
Сперва необходимо снести демонов - можно например при помощи kill и htop-a
удалить содержимое /etc/ceph
отмантировать все osd:
          cd /var/lib/osd
        umount osd-*
sgdisk -Z /dev/[sdb-sdg] - форматируем диски
удалить ещё вот это дерьмо /var/lib/ceph/*/

-----------------------------------------------------------------------------------------------------------------------
Создание кластера:
ясен хуй, что нам сперва нужен хоть какой-то Ceph
    sudo apt install ceph

2)  получив такую хуйню докачиваем ещё ceph-deploy
    sudo apt install ceph-deploy

3) Можно хуярить кластер http://docs.ceph.com/docs/master/start/quick-ceph-deploy/ - типо быстрогайд, но у меня ещё быстрее
mkdir ceph-cock - папка для кластера
cd  ceph-cock - идём в неё
ceph-deploy new hostname - запускаем ceph-deploy, он нам создаёт файлы необходимые работы,ведь пока-что ещё нихуя нет

4) после чего надо в папку /etc/ceph из deploy закинуть .conf файл

5) Потом пилим моник

ceph-deploy  mon create-initial , ну и в /etc/ceph закидываем ещё keyring-и пользовательские

-----------------------------------------------------------------------------------------------------------------------
    после этих шагов с версии 12+
нужно ещё какой-то менеджер запилить командой

ceph-deploy mgr create node1
-----------------------------------------------------------------------------------------------------------------------







в /etc/hosts нужно добавить пары адрес - хост нэйм на все ноды, чтобы они знали друг о друге
192.168.84.71   ubuntu

192.168.84.37   node1
192.168.84.36   node2
192.168.84.35   node3

-----------------------

в файле -  nano /etc/ssh/sshd_config - поменять строку с PermitRootLogin на

PermitRootLogin yes
после сделать
/etc/init.d/ssh restart
а также
sudo passwd root

На тачке с которой идёт развёртывание сделать следующее
ssh-keygen

ssh-copy-id root@node1 (и так на все ноды)
после чего поставить пакеты
ceph-deploy install node1 node2 node3
и закинуть нужные конфигурации
ceph-deploy admin node1 node2


далее создаём osd-irb запускаем их демонов:
ceph-deploy osd create node1:vdb и т.д.


Как можно всё создавать руками:


mon

mkdir /var/lib/ceph/mon/ceph-cnsrv2

ceph-mon --cluster ceph --mkfs -i cnsrv2 --keyring /var/lib/ceph/tmp/ceph-cnsrv2.mon.keyring

systemctl enable ceph-mon@cnsrv2
systemctl start ceph-mgr@cnsrv2

mgr

mkdir /var/lib/ceph/mgr/ceph-cnsrv2
ceph auth get-or-create mgr.cnsrv2 mon 'allow profile mgr' osd 'allow *' mds 'allow *'
ceph auth get mgr.cnsrv2 >> /var/lib/ceph/mgr/ceph-cnsrv2/keyring
systemctl enable ceph-mgr@cnsrv2
systemctl start ceph-mgr@cnsrv2


filestore

mkfs.xfs /dev/{DEV}
ceph osd create
mkdir /var/lib/ceph/osd/ceph-
mount /dev/{DEV} /var/lib/ceph/osd/ceph-$ID

ceph auth get-or-create-key osd.32 osd 'allow *' mon 'allow profile osd'
ceph auth get osd.1 >> /var/lib/ceph/osd/ceph-1/keyring


ceph-osd -i $ID --mkfs

chown -R ceph:ceph /dev/{DEV}
chown -R ceph:ceph /var/lib/ceph/osd/ceph-$ID

systemctl enable ceph-osd@$ID
systemctl start ceph-osd@$ID


bluestore

ceph-disk prepare --bluestore /dev/sdX
ceph osd create
mkdir /var/lib/ceph/osd/ceph-
mount /dev/{DEV} /var/lib/ceph/osd/ceph-$ID
ceph auth get-or-create-key osd.32 osd 'allow *' mon 'allow profile osd'
ceph auth get osd.1 >> /var/lib/ceph/osd/ceph-1/keyring
ceph-osd -i 0 --mkfs
chown -R ceph:ceph /dev/{DEV}
chown -R ceph:ceph /var/lib/ceph/osd/ceph-$ID

systemctl enable ceph-osd@$ID
systemctl start ceph-osd@$ID


------------------------------------------------------------------------------------------------------------------
При помощи нижеописанных команд ставится модуль для работы с виртуалко

apt-get install kvm libvirt-bin

systemctl enable libvirt-bin
systemctl start libvirt-bin