Lentitud al copiar ficheros

[evanfanel]

Buenas tardes,

Tengo un TS543D con 4GB de memoria adicional y una tarjeta QM2-2P-244A.

En la cabina del NAS tengo montados 4 HDD; dos discos de 2TB en RAID1 para los datos importantes, un disco de 4TB y otro de 8TB para contenido multimedia principalmente. En la targeta actualmente tengo un solo disco SSD nvm de 500 configurado como cache con una sobreaprovisionamiento del 60% (subido recientemente, antes tenia menos porcentaje configurado). Toda la red es a 1Gb.

Bien, cuando copio varios gigas desde un equipo al NAS, la velocidad se mantiene mas o menos estables a 50MB/s. Aunque el switch es nuevo, los cables en buen estado y no muy largos veo que pierdo algo de velocidad pero hasta aquí todo bien.

El problema viene cuando copio datos de una unidad a otra dentro del mismo NAS. Por ejemplo, el disco de 4TB es la unidad de descarga. Cuando muevo los ficheros a la unidad de 8TB, empieza copiando entre 200 y 300 MB/s y al minuto o menos cae en picado a pocos MB quedando a 0 muy a menudo y continuando a velocidad de caracol al poco, como si hubiera saturación. O sea, al poco de empezar baja a 10MB y se queda a 0, dos segundos después continua copiando a la misma velocidad y se vuelve a quedar a 0MB/s, y así hasta que lo ha copiado por completo.

Revisando el panel de aceleración de cache veo que casi siempre esta al 98% asignado y cuando esta mas libre es cuando aguanta mas tiempo las copias a velocidad estable.

Esta claro que el problema esta en el disco cache, ya sea la configuración o el disco en si, o puede que le falte otro disco y deba configurar un RAID pero antes de hacer la inversión quiero saber donde esta el problema.

Tenia entendido que meter un disco como cache aceleraba la velocidad de lectura/escritura de los HDD mecanicos pero la verdad es que no lo he notado en absoluto... Tambien he leido que sirve sobretodo por si varios usuarios leen en un disco al mismo tiempo (que no es el caso).

¿Como debo configurar el disco SSD nvm para tal fin? ¿ya tenia pensado comprar un segundo disco nvm pero realmente solucionara el problema?

Muchas gracias
Saludos

[yeraycito]

Coincido contigo en que es muy posible que el problema sea la gestión del caché por parte de QTS así que la solución es muy sencilla, desactiva la caché y utiliza el ssd para otra cosa. Aún así y después de quitarlo haz una prueba de copia para confirmar que el problema se ha solucionado. El caché en el nas sólo sirve cuando hay mucha gente accediendo a tu nas a la vez y según dices no es tu caso.

[adrolmar]

Las cachés, independientemente de la concurrencia de accesos, y ependiendo del tipo de datos accedidos, pueden llegar a ser completamente intranscendentes.
Si por ejemplo se emplean para acceder a contenido que rara vez se repite acceso (como puede ser una película una vez visionada, pues carece de sentido.

Deberían utilizarse para accesos a ficheros que supondrían un acceso con coste elevado (muchos ficheros, desperdigados por varios discos mecánicos, o un gran fichero fragmentado, donde son necesarias varias revoluciones para localizarlos a todos, etc).

[evanfanel]

El motivo para meter un disco de cache fue la de acelerar la copia de los ficheros en el NAS, tanto desde un equipo externo como internamente desde diferentes discos del NAS. Según el papel, la cache de escritura seria eso; cuando copio un fichero hacia un disco HDD del NAS primero se copia en el SSD y posteriormente se va dejando en su sitio con la calma en el HDD final. Por lo menos es lo que entendí yo ¿estoy equivocado entonces?

Realicé un par de pruebas desactivando el cache y efectivamente la transferencia se vuelve más estable pero muy lenta, por ejemplo del HDD de 8TB al RAID1 de 2TB a 30MB/s, otro a 50MB/s y otro a 100MB/s.

Volví a activar la cache y las primeras pruebas en cada disco fueron un éxito, todas las copias en los diferentes discos aumentaros a 230MB/s! Perfecto! pero mi gozo en un pozo cuando las siguientes copias ya empezaron a hacer lo mismo y quedándose a 0 de vez en cuando...

Quizás estoy equivocado y para hacer lo que quiero no es la mejor forma (aunque la información que he encontrado apunta a que si).
¿Que velocidades os da la transferencia entre discos HDD dentro del NAS? ¿de que forma puedo acelerar las copias?

Muchas gracias

[adrolmar]

Yo esperaría obtener mejores resultados únicamente con caché *para lectura*, para escritura no sé si te va a merecer la pena, porque al final es añadir una capa más entre el origen de datos y el almacenamiento final. Sí es cierto que aparentemente parece ir más rápido cuando cacheas, pero quizá se deba en realidad a una copia asíncrona.

Igual ocurre cuando lanzas un test de acceso sobre un disco, mediante escritura directa o mediante datos cacheados.
No es exactamente lo mismo, pero en el manual de un comando Linux empleado para estos fines (hdparm) queda algo más claro:

Código:

      -t    Perform  timings  of  device  reads  for  benchmark  and comparison purposes.  For meaningful
              results, this operation should be repeated 2-3 times on  an  otherwise  inactive  system  (no
              other  active  processes)  with at least a couple of megabytes of free memory.  This displays
              the speed of reading through the buffer cache to the disk without any prior caching of  data.
              This  measurement  is  an  indication of how fast the drive can sustain sequential data reads
              under Linux, without any filesystem overhead.  To ensure accurate  measurements,  the  buffer
              cache is flushed during the processing of -t using the BLKFLSBUF ioctl.
      -T    Perform  timings  of  cache  reads  for  benchmark  and  comparison purposes.  For meaningful
              results, this operation should be repeated 2-3 times on  an  otherwise  inactive  system  (no
              other  active  processes)  with at least a couple of megabytes of free memory.  This displays
              the speed of reading directly from the Linux buffer cache without disk access.  This measure‐
              ment  is  essentially  an indication of the throughput of the processor, cache, and memory of
              the system under test.

Adivina cuál de las dos medidas da valores más altos...

Código:

$ sudo hdparm -tT /dev/sda

/dev/sda:
Timing cached reads:   30508 MB in  2.00 seconds = 15279.26 MB/sec
Timing buffered disk reads: 1302 MB in  3.00 seconds = 433.82 MB/sec