Buona base hardware, piattaforma software non (ancora) al livello.
L'hardware fa il suo lavoro. Lo stack software è invece al di sotto di ciò che ci si aspetta visto il prezzo.
La base Ubuntu è buona, però il supporto ARM per i vari docker crea regolarmente problemi.
Ordinandone uno, ci si rende conto che spesso ne servirebbe un secondo per far girare modelli recenti con un numero di token /s decente.
Però è minuscolo e praticamente del tutto silenzioso. Non ho ancora avuto l'occasione di testare la connettività in fibra.
Asus fa quanto di meglio si possa trovare in rapporto qualità / prezzo per i GB10. Nulla da dire sull'NVM per il momento. Ed è sempre possibile cambiarlo se mai servisse davvero un 2 o 4 TB (anche se con un 10GB/s uno storage esterno va bene).
Siamo lontani dal "plug and play" venduto da nvidia però: solo per finalizzare l'installazione di docker / containerd ci vogliono alcune ore; quindi, da lì a vendere il finetuning di grossi modelli, preparatevi un po'.
