0
Mejorar rendimiento ceph

Open 1 Respuestas 1 Views
Buenos días, me encuentro instalando un cluster de ceph.

En escencia son 5 nodos para OSD con 4 discos c/u (WD black 2tb SATA), y 3 nodos para monitor, metadata y manager.

Actualmente me entrega una tasa de transferencia de alrededor de 60MB/s, si bien no es mala, entiendo que en una red de giga se podría mejorar.

Tengo acceso a discos SSD, pero no para el volumen de datos que se quiere manejar...

La consulta es, como me convendría utilizar estos discos? Yo había pensado en ponerlos como cache, pero leí que no era recomendable... Alguno me podría ayudar?

Saludos y muchas gracias

Juan

1 Respuesta

1
Conviene instalar sistema operativo en SSD, en mi caso el rootfs tiene 3 Gigas ocupados, la partición la hice de 40 para estar tranquilo.

Al armar los OSDs usas los HDD para datos y el mismo SSD de sistema operativo para indices. A ceph-deploy le pasas los dos discos y se encarga de crear las particiones en el SSD. En mi caso, con discos de 3 y 4 Teras las particiones de indices en el SSD quedaron en 5G, una para cada OSD.

En un SSD de 120 te sobra para sistema operativo e indices de 3 discos. (Dudo que vayas a poner más de 4 satas en total por PC, por un tema de conectores y fuente)

Con red de Giga tengo transferencia tope de Giga, en ráfagas, con promedios de 800Mbps cuando hago transferencias sostenidas.

Actualmente estoy usando CEPH como RBD para los sistemas operativos de vms en proxmox y como cephfs para servers que necesitan un espacio en disco que sé que va a crecer (Mail, samba, owncloud) y si de bien 1Gbit por server es menos ancho banda que el de un sata comun no he notado que el acceso al CEPH sea el cuello de botella.
respondido por Alfrenovsky (490 puntos) Dic 11, 2017
6Comentarios
comentado por jrey (100 puntos) Dic 11, 2017
Muchas gracias!! Lo voy a probar así entonces!!!
comentado por jrey (100 puntos) Dic 11, 2017
Consulta, cuando tirás el ceph-deploy, lo haces de la siguiente manera? "ceph-deploy osd create <nombreOSD>:<discoHDD>:<discoSSD>"??
Lo estoy tirando de esta manera y sigue escribiendo todo en el HDD...
Por otro lado, el release que utilizas, es luminous?
Muchas gracias!!
comentado por Alfrenovsky (490 puntos) Dic 11, 2017
Si. lo hice así.
Cuando lo instalé era Jewel, después cuando apareció actualicé a Luminous.

En mi caso en el disco SSD solo hay una partición EFI, rootfs y mucho espacio sin particionar.
Tabla de particiones GPT, Segun veo la documentación si instalaste el sistema con tabla de particiones MSDOS no va a poder usar el sda para otra cosa. Tiene que ser GPT.

Buscame en twtitter y seguimos por privado.
comentado por Alfrenovsky (490 puntos) Dic 11, 2017
que te tira un

cat /proc/partitions

de algun nodo?
comentado por Alfrenovsky (490 puntos) Dic 11, 2017
sfdisk -d /dev/sda


?
comentado por jrey (100 puntos) Dic 12, 2017
Buenas!! Gracias por la respuesta, te paso por acá lo que me devolvio el cat y el sfdisk y la seguimos por tw!
En sda tendría data de ceph, mi disco de S.O es el sdb!

[email protected]:/home/userceph# cat /proc/partitions
major minor  #blocks  name

   8        0 1953514584 sda
   8        1     102400 sda1
   8        2 1953411143 sda2
   8       16  117220824 sdb
   8       17   41014272 sdb1
   8       18    7812096 sdb2
   8       48 1953514584 sdd
   8       32 1953514584 sdc

[email protected]:/home/userceph# sfdisk -d /dev/sda
label: gpt
label-id: 95D9E54C-C921-459A-91A1-B23DAFEB96A5
device: /dev/sda
unit: sectors
first-lba: 34
last-lba: 3907029134

/dev/sda1 : start=        2048, size=      204800, type=4FBD7E29-9D25-41B8-AFD0-062C0CEFF05D, uuid=6F5279D2-BA1A-473D-AEB7-583A3D7D0F97, name="ceph data"
/dev/sda2 : start=      206848, size=  3906822287, type=CAFECAFE-9B03-4F30-B4C6-B4B80CEFF106, uuid=E3EADC05-64E0-4BC1-8CFB-1FE6EBF0AA8D, name="ceph block"

[email protected]:/home/userceph# sfdisk -d /dev/sdb
label: gpt
label-id: 4D765FBA-4EB5-419C-917D-B79ABD28478B
device: /dev/sdb
unit: sectors
first-lba: 2048
last-lba: 234441614

/dev/sdb1 : start=        2048, size=    82028544, type=0FC63DAF-8483-4772-8E79-3D69D8477DE4, uuid=69D518C6-B95D-47FC-AEFB-21AADA12F6A4
/dev/sdb2 : start=    82030592, size=    15624192, type=0657FD6D-A4AB-43C4-84E5-0933C84B4F4F, uuid=4435A355-6900-4470-ADDC-571E21F6BA50

Muchas gracias!!
...