Cotización para probar modelos de IA. Presupuesto: Un palo 7

[Zuljin]

Acá nos pidieron probar el rendimiento de unos modelos de IA que pudiésemos desarrollar y/o adquirir y como no tenemos equipamiento especializado nos tiraron unas chauchas para adquirir algo.

Software que se va a ejecutar: es desarrollo propio pero para efectos de estimar arquitectura hagan cuenta que le vamos a meter un Ollama con distintos modelos LLM.

Presupuesto: $1.700.000 IVA incluido.

Periféricos: no es necesario, seguramente lo vamos instalar en la oficina y luego lo vamos a meter en el datacenter conectado a la red.

Sistema Operativo base: Tenemos licenciamiento Windows Server así que bien podríamos instalarle un hyper-v. En una de esas proxmox, no sé. La huea es que puede ser bare metal o un hypervisor que permita compartir el procesamiento nVidia en máquinas virtuales.

 

[unreal4u]

¿Habrá un benchmark sintético de procesamiento de modelos? Onda para saber que es mejor, una GPU de gama alta con poca ram y poco ancho de bus o una GPU de gama media con más ram y más bus.

cuántas veces te hemos dicho que es mejor más VRAM? xD

Más VRAM significa que le puedes meter más modelos / modelos más pesados, velocidad no importa tanto. Una 3080 con 12GB en VRAM puede correr más y mejores modelos a prácticamente la misma velocidad que una 5080. La diferencia es que con la 5080 estarás limitado a modelos más livianos (y por lo tanto más pencas).

Una A40 de hecho usa la misma CPU que un 3080, pero claro tiene 48GB de VRAM en vez de unos míseros 12GB.

Así que a ojos cerrados mi iría mil veces por más VRAM, no más CPU. E iría por alguna que tenga 16GB como mínimo (Más tampoco vas a conseguir en el segmento consumidor).

Saludos.

 

[Joan B]

Por casualidad has evaluado adquirir un equipo con el APU AMD Ryzen™ AI Max+ ?
https://www.amd.com/en/blogs/2025/a...-to-128-billion-parameter-llms-lm-studio.html

La marca framework tiene a la venta unos mini pc de escritorio bastante interesantes, con hasta 128GB de memoria compartida

https://frame.work/desktop

 

[Soujiro]

@Zuljin porfiado, del principio te dijimos más ram, por eso nos fus fuimos por la p40 usada en Ebay, era la que más ram daba a poco costo, además que por ser de datacenter podíamos poner 2 en paralelo pa correr cosas más grandes sin dramas.
Sin embargo en las pruebas salió que todo eso con suerte aguanta 2 usuarios, para más necesitas poco menos que un cluster de huas y allí ya se complica todo, por eso cambiamos a usar una solución ya empaquetada

 

[Zuljin]

Al final llegó un equipo con una 3060 con harta RAM y un bus grande (no se exactamente el modelo).

Las soluciones tipo P40 solamente las podríamos adquirir si existiese un proveedor en Chile que las venda. No podemos comprar por ebay.

 

[dwyer]

Al final llegó un equipo con una 3060 con harta RAM y un bus grande (no se exactamente el modelo).

Las soluciones tipo P40 solamente las podríamos adquirir si existiese un proveedor en Chile que las venda. No podemos comprar por ebay.

Te agarraste la comision de NiceOne jajaja

 

[Zuljin]

Te agarraste la comision de NiceOne jajaja

jajajaja, no, se lo adjudicó otra empresa.

 

[PHLAKO]

que son capos ustedes... no entendí un carajo de lo que hablan.

 

[dwyer]

jajajaja, no, se lo adjudicó otra empresa.

Igual por interno te puedo dar el dato de una empresa, que te puede importar las gpu y armarte un server según tus requerimientos

 

[razordasquad]

tuve un lab con 3080ti de 24gb, andaba liso con lo que necesitaba 64gb de ram ddr5 y un 12900k. sui hubiera querido pasar aa 70b... upa habria que meter otra 3080ti

 

[Soujiro]

El problema es ese, armar un lab es "relativamente" conveniente, pero para pasar a "producción" se te va todo al carajo por qué el grado de complejidad escala rápidamente con el número de usuarios concurrentes y las limitaciones del software actual de IA