Mi nuevo trasto o cacharro.

[mikrios]

Hola:

Después de que una seasonic gold plus de 1000w se cargara dos placas, y no poder encontrarlas en el mercado (había una pro, pero no quedaban, al pedirla) .

Encontré una buena opción en un vendedor local, la caja pues paso por la dremel y las 64Gb, no estaban alineadas sus pines o conexiones, por lo que hubo que usar lija de agua.

La Refrigeración liquida con deposito , tenía el circuito impreso con oxido, por lo que fabrique un deposito nuevo con un tubo de cobre y una nueva bomba (vieja pero sin estrenar) .

(la fuente y el otro micro, pues de pisapapeles) .

La nueva una prime x299 deluxe II , con una placa VROC (virtual raid on cpu) .

Después de tenerla en prueba, así quedo , con varios discos serie gold y ssd de 1 T de nvme ram ;



Y un pequeño boceto del ciclo de la RL (mas o menos siguiendo los consejos que daba, como no tengo ni idea, pues no se que resultado es mejor, pero en reposo suele estar por los 31ºc) .




Lo curioso es que no había soporte para linux de irst ( eso leí al principio) , pero con el vroc es casi lo mismo y creo según entiendo, linux está mejorado en esto, que en otros sistemas operativos ( me parece lógico, unix, linux, etc, suelen usarse mas en servidores, donde le benefician es en eso) , en resumen, que podemos usar eso en vez de bcache.

Para openSUSE hay que descargar 2 paquetes, uno viene instalado por defecto, el otro se llama ledmon :

HP-OMEN:~ # zypper if ledmon
Loading repository data...
Reading installed packages...


Information for package ledmon:
-------------------------------
Repository     : openSUSE-Leap-15.2-1
Name           : ledmon
Version        : 0.93-lp152.1.3
Arch           : x86_64
Vendor         : openSUSE
Installed Size : 180.4 KiB
Installed      : No
Status         : not installed
Source package : ledmon-0.93-lp152.1.3.src
Summary        : Enclosure LED Utilities
Description    : 
    The ledctl application and ledmon daemon are part of Intel(R) LED
    ControlUtilities. They help to enable LED management for software RAID
    solutions.

Y el otro comando es mas conocido.

Aunque para trabajar, se necesita un hardkey, que se tiene que conectar a la placa base, en cambio en amd, puede hacerlo sin ello y si las nuevas placas con pcie gen4 lo hacen ( ya están los de 4Teras y 8 Teras en gen4) , puede revolucionar un poco el tema ( uno de ellos por que no se monopoliza y otro por el ancho de banda) .

Bueno como el tema del hard , me interesa, haber si me entero de como les va, alguna prueba leí por la web, haber si sale alguna por el foro.

Con lo que respeta a mi, estoy testeando TW y Leap, y si dispongo de tiempo probare esos 4 nvme ram en raid 0, haber que nos cuentan.

Ojo con las cpu de amd, solo algunas son compatibles con gen4, idem lo mismo con algunas placas base .

Edito : el otro comando que usa vroc es mdadm y ya viene instalado :

HP-OMEN:~ # zypper if mdadm
Loading repository data...
Reading installed packages...


Information for package mdadm:
------------------------------
Repository     : Repositorio principal de actualizaciones
Name           : mdadm
Version        : 4.1-lp152.7.10.1
Arch           : x86_64
Vendor         : openSUSE
Installed Size : 1.2 MiB
Installed      : Yes (automatically)
Status         : up-to-date
Source package : mdadm-4.1-lp152.7.10.1.src
Summary        : Utility for configuring "MD" software RAID devices
Description    : 
    mdadm is a program that can be used to control Linux md devices.

En cuanto a las nvme , también hay utilidades, incluso algunas con la marca del dispositivo (es una forma de enterarse de primera mano de esa ssd ) :

nvme-cli - NVM Express user space tools

NVM Express (NVMe) is a direct attached storage interface. The nvme-cli package contains core management tools with minimal dependencies.


nvmftests - NVMe over Fabrics Testsuite



HP-OMEN:~ # zypper se  nvme
Loading repository data...
Reading installed packages...

S | Name                    | Summary                                                | Type
--+-------------------------+--------------------------------------------------------+-----------
i | nvme-cli                | NVM Express user space tools                           | package
  | nvme-cli                | NVM Express user space tools                           | srcpackage
  | nvme-cli-debuginfo      | Debug information for package nvme-cli                 | package
  | nvme-cli-debugsource    | Debug sources for package nvme-cli                     | package
  | nvme-cli-regress-script | A small script to test the nvme binary for regressions | package
  | nvmetcli                | Command line interface for the kernel NVMe nvmet       | package
  | nvmetcli                | Command line interface for the kernel NVMe nvmet       | srcpackage

Tener en cuenta que ya están a la venta los de pcie gen4 , y estos posiblemente usen trim y otras cosas y el tamaño maximo que he visto es de 8Teras (tener en cuenta que la construcción es 3D, por lo que la integración sea mayor , por cierto aún están caros un 2 teras puede andar sobre los 400€ y hay varios tipos de transferencia , si usais una P.B. compatible y cpu lo mismo, ver su velocidad, ya que por el precio unas pueden ser muy rápidas y otra costando lo mismo, ser mas lentas) .

HP-OMEN:~ # nvme
nvme-1.10
usage: nvme <command> [<device>] [<args>]

The '<device>' may be either an NVMe character device (ex: /dev/nvme0) or an
nvme block device (ex: /dev/nvme0n1).

The following are all implemented sub-commands:
  list                  List all NVMe devices and namespaces on machine
  list-subsys           List nvme subsystems
  id-ctrl               Send NVMe Identify Controller
  id-ns                 Send NVMe Identify Namespace, display structure
  id-ns-granularity     Send NVMe Identify Namespace Granularity List, display structure
  list-ns               Send NVMe Identify List, display structure
  list-ctrl             Send NVMe Identify Controller List, display structure
  list-secondary        List Secondary Controllers associated with a Primary Controller
  ns-descs              Send NVMe Namespace Descriptor List, display structure
  id-nvmset             Send NVMe Identify NVM Set List, display structure
  id-uuid               Send NVMe Identify UUID List, display structure
  create-ns             Creates a namespace with the provided parameters
  delete-ns             Deletes a namespace from the controller
  attach-ns             Attaches a namespace to requested controller(s)
  detach-ns             Detaches a namespace from requested controller(s)
  get-ns-id             Retrieve the namespace ID of opened block device
  get-log               Generic NVMe get log, returns log in raw format
  telemetry-log         Retrieve FW Telemetry log write to file
  fw-log                Retrieve FW Log, show it
  changed-ns-list-log   Retrieve Changed Namespace List, show it
  smart-log             Retrieve SMART Log, show it
  ana-log               Retrieve ANA Log, show it
  error-log             Retrieve Error Log, show it
  effects-log           Retrieve Command Effects Log, show it
  endurance-log         Retrieve Endurance Group Log, show it
  get-feature           Get feature and show the resulting value
  device-self-test      Perform the necessary tests to observe the performance
  self-test-log         Retrieve the SELF-TEST Log, show it
  set-feature           Set a feature and show the resulting value
  set-property          Set a property and show the resulting value
  get-property          Get a property and show the resulting value
  format                Format namespace with new block format
  fw-commit             Verify and commit firmware to a specific slot (fw-activate in old version < 1.2)
  fw-download           Download new firmware
  admin-passthru        Submit an arbitrary admin command, return results
  io-passthru           Submit an arbitrary IO command, return results
  security-send         Submit a Security Send command, return results
  security-recv         Submit a Security Receive command, return results
  get-lba-status        Submit a Get LBA Status command, return results
  resv-acquire          Submit a Reservation Acquire, return results
  resv-register         Submit a Reservation Register, return results
  resv-release          Submit a Reservation Release, return results
  resv-report           Submit a Reservation Report, return results
  dsm                   Submit a Data Set Management command, return results
  flush                 Submit a Flush command, return results
  compare               Submit a Compare command, return results
  read                  Submit a read command, return results
  write                 Submit a write command, return results
  write-zeroes          Submit a write zeroes command, return results
  write-uncor           Submit a write uncorrectable command, return results
  verify                Submit a verify command, return results
  sanitize              Submit a sanitize command
  sanitize-log          Retrieve sanitize log, show it
  reset                 Resets the controller
  subsystem-reset       Resets the subsystem
  ns-rescan             Rescans the NVME namespaces
  show-regs             Shows the controller registers or properties. Requires character device
  discover              Discover NVMeoF subsystems
  connect-all           Discover and Connect to NVMeoF subsystems
  connect               Connect to NVMeoF subsystem
  disconnect            Disconnect from NVMeoF subsystem
  disconnect-all        Disconnect from all connected NVMeoF subsystems
  gen-hostnqn           Generate NVMeoF host NQN
  show-hostnqn          Show NVMeoF host NQN
  dir-receive           Submit a Directive Receive command, return results
  dir-send              Submit a Directive Send command, return results
  virt-mgmt             Manage Flexible Resources between Primary and Secondary Controller 
  version               Shows the program version
  help                  Display this help

See 'nvme help <command>' for more information on a specific command

The following are all installed plugin extensions:
  intel           Intel vendor specific extensions
  lnvm            LightNVM specific extensions
  memblaze        Memblaze vendor specific extensions
  wdc             Western Digital vendor specific extensions
  huawei          Huawei vendor specific extensions
  netapp          NetApp vendor specific extensions
  toshiba         Toshiba NVME plugin
  micron          Micron vendor specific extensions
  seagate         Seagate vendor specific extensions
  virtium         Virtium vendor specific extensions
  shannon         Shannon vendor specific extensions
  dera            Dera vendor specific extensions

See 'nvme <plugin> help' for more information on a plugin

Gracias y espero que la información os sirva de algo , saludos cordiales

Edito: Ademas de la web, uno de los sitios principales, donde encontrar información es Intel :

HP-OMEN:~ # tree /run/media/frank/TOSHIBA/vroc/
/run/media/frank/TOSHIBA/vroc/
├── Intel_VMD_NVMe_VMWare_User_Guide.pdf
├── Intel_VROC_6.0_RHEL7.5_Release.zip
├── Linux_VROC_6-0_User_Guide.pdf
└── Windows_VROC_User_Guide.pdf

0 directories, 4 files

Donde se puede encontrar los driver y información , uno para VMWare, otro en Linux y por último en windows; desconozco si hay documentación en openSUSE, pero lo que si no falta son los repositorios ( porque no hace falta instalar los de Intel) .



Sigo editando en el otro ordenador y explicar algunas de las situaciones, sobre vrock y sobre la actual configuración de bios.
Bien ya estamos aquí con el otro pc.

Este a pesar de tener una serie de comandos (2), tiene varias configuraciones, en la bios .
La placa Vrock instalada es una económica de la marca ASROCK, la cual dispone de una serie de micro interrruptores para seleccionar el modo, su 4 nvme ram usando 4 buses que van a la cpu y quizas dependiendo del hardware, alguno de ellos (de los 4) podría estar compartiendo (share), su uso con otro dispositivo .

Ademas en bios hay varias configuraciones y disposiciones de las posibilidades de la placa, dos en vrock y una no trabaando como vrock, pero si como almacen de datos, coje cada uno de los nvme y los presenta como discos nvme ram .

Teniendo en cuenta que para trabajar n vrock, ademas de los drivers, es necesario tener un vrock_hw_key, un conector, que tiene 4 pines, 2 de masa y dos con los pines de key1 y key2, vn con una interconexión que sale del mismo conector y va a conectar al mismo conector.

Desconozco la secuencia y lo que sale de cada uno de ellos, al ser la masa común queda una ombinación de key1, key2 y masa , si espculamos un poco para las keys seria un 1 y masa un 0 , podría ser key1 y 2 la primra un 00, la segunda un 01, la tercera un 10 y la 4 un 11.

Pero al no analizar esos pines con un MSO (osciloscopio análogico con 16 entradas digitales), hablar de esto seria especular; por ejemplo se suele considerar en electronica digital que unow pines sin conectar a algún lado, suele tener un nivel 1 o alto y sería pues la combinación mostrada antes, pero como dije todo eso es especular, sin hacer pruebas no se puede afirmar nada.

Ese conector es opcional y hay que comprarlo aparte, y conectar según el comprado en la placa base, para obtener un u otro servicio raid.

Todas o casi todas las configuraciones y estados suelen aparecer en la bios, al no tener ese conector y a pesar de las pruebas, no active el vrock, ademas cambia el arranque, por lo que hay que usar, por ejemplo el de TW, que actualiza con un kernel, para que solucione el efi boot de arranque y queden operativos de nuevo Leap 15.2 y TW.

También está lo opción del modo de pasar de ahci a raid , que en está placa lo define como irst 8 el típico de Intel) , claro está que como tiene que tener raid (sobre todo uno bootable como raid matrix) , es posible que esa opción sirva, ademas de habilitar 2 M2, pone a disposición los restantes sata, para formar un volumen raid (0,1,5 y 10) .

Por otro lado una serie de opciones, para comprobar los nvme y demás.

Ahora bien, está la opción de usar los nvme como datos (discos de almacenaje) el cual junto con los conectados en la placa base, muestra los 4 conectaddos en el pcie :

FRANK-X299:~ # nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev  
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     183892800953         WDS500G2X0C-00L350                       1         500.11  GB / 500.11  GB    512   B +  0 B   101140WD
/dev/nvme1n1     201947449101         WDS100T3X0C-00SJG0                       1           1.00  TB /   1.00  TB    512   B +  0 B   111110WD
/dev/nvme2n1     183892801049         WDS500G2X0C-00L350                       1         500.11  GB / 500.11  GB    512   B +  0 B   101140WD
/dev/nvme3n1     1838B6802489         WDS500G2X0C-00L350                       1         500.11  GB / 500.11  GB    512   B +  0 B   101140WD
/dev/nvme4n1     182008420573         WDS500G2X0C-00L350                       1         500.11  GB / 500.11  GB    512   B +  0 B   101110WD
/dev/nvme5n1     185126804622         WDS500G2X0C-00L350                       1         500.11  GB / 500.11  GB    512   B +  0 B   101140WD
/dev/nvme6n1     201947461602         WDS100T3X0C-00SJG0                       1           1.00  TB /   1.00  TB    512   B +  0 B   111110WD

Un listado de ello, es este 4 de 500Gb conectados en pcie, otro de 500Gb en placa base y otros 2 de 1 Tera en la placa base.

Pues en el total de los 500Gb, me aparecen 2 con menos transferencia en el buffer, por lo que supongo que está haciendo share o mezcla con otro dispositivo (comparte posición), y los demás una transferencia total de lo que figura en los datos del nvme (aproximado) .

Ejemplo del 4 y el 5 :

FRANK-X299:~ # hdparm -Tt /dev/nvme4n1 

/dev/nvme4n1:
 Timing cached reads:   21178 MB in  2.00 seconds = 10597.87 MB/sec
 HDIO_DRIVE_CMD(identify) failed: Inappropriate ioctl for device
 Timing buffered disk reads: 4174 MB in  3.00 seconds = 1391.09 MB/sec
FRANK-X299:~ # hdparm -Tt /dev/nvme5n1 

/dev/nvme5n1:
 Timing cached reads:   20958 MB in  2.00 seconds = 10487.97 MB/sec
 HDIO_DRIVE_CMD(identify) failed: Inappropriate ioctl for device
 Timing buffered disk reads: 9716 MB in  3.00 seconds = 3238.48 MB/sec

Saludos

This contains NVMe Over Fabrics unit test framework. The purpose of this framework is to provide a platform to create different scenarios and test specific functionality for NVMe Over Fabrics Subsystem (NVMeOF).