Cotización para probar modelos de IA. Presupuesto: Un palo 7

Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
Acá nos pidieron probar el rendimiento de unos modelos de IA que pudiésemos desarrollar y/o adquirir y como no tenemos equipamiento especializado nos tiraron unas chauchas para adquirir algo.

Software que se va a ejecutar: es desarrollo propio pero para efectos de estimar arquitectura hagan cuenta que le vamos a meter un Ollama con distintos modelos LLM.

Presupuesto: $1.700.000 IVA incluido.

Periféricos: no es necesario, seguramente lo vamos instalar en la oficina y luego lo vamos a meter en el datacenter conectado a la red.

Sistema Operativo base: Tenemos licenciamiento Windows Server así que bien podríamos instalarle un hyper-v. En una de esas proxmox, no sé. La huea es que puede ser bare metal o un hypervisor que permita compartir el procesamiento nVidia en máquinas virtuales.
 
Última modificación:
Sort by date Sort by votes
Harima

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.986
venia a recomendar un minipc como por si las moscas, pero hasta esos se van del presupuesto

es.aliexpress.com

GMKtec EVO-X2 AI Mini-PC AMD Ryzen Al Max+ 395 128 GB LPDDR5X 8000 MHz (16 GB*8) 2 TB PCIe 4.0 SSD WiFi 7 BT5.4 Mini-Gaming-Computer - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com
es.aliexpress.com es.aliexpress.com
es.aliexpress.com

SZBOX FEVM FAEX9 Ryzen AI MAX+ 395 Mini PC Windows 11 LPDDR5 128GB 1TB 7000MB/S Wifi7 BT5.4 Desktop AI Mini PC Oculink - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com
es.aliexpress.com es.aliexpress.com
es.aliexpress.com

FEVM FA-EX9 AMD Ryzen AI MAX+ 395 Strix Halo 8060S GPU Mini-PC LPDDR5X 128 GB 8000 MHz 70B LLMs Max. 120 W Leistung OCulink WiFI7 BT5.3 - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com
es.aliexpress.com es.aliexpress.com
 
Upvote 0
unreal4u

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.745
Con ese presupuesto tendrás que comprar tarjetas de video para público normal, y esas no soportan repartir GPUs entre máquinas virtuales hasta donde sé (si son nvidia que es lo que supongo querrás armar).

Hay unos métodos para habilitar esto, pero no es oficial así que puede (o no) funcionar.

Ni idea de precios actuales, pero trataría de buscar algo con la mayor cantidad de VRAM posible, como mínimo 16GB. No sé si sea posible comprar 2 y combinarlas.

Saludos.
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
No quiero armar el terrible cluster de la huea, simplemente probar uno que otro modelo.
 
Upvote 0
ArK@nTos

ArK@nTos

Capo
Se incorporó
28 Mayo 2006
Mensajes
210
Necesitas una gpu con la mayor cantidad de memoria de video posible.
Con ese presupuesto creo que no sería tan mala idea optar por una 5060ti de 16GB. Estaba viendo los precios y una 5070ti está sobre el millon.
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
Le voy a pedir a mi compadre @masacre que me cotice en NiceOne lo mejor que se pueda con 1 palo 7. Ahí les muestro lo que resulta.
 
Upvote 0
Soujiro

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.465
Em nosotors compramos una p40 usada en ebay, era lo que mas cosot/efectivo. El equipo aprendio ene gracias a ella pero al final nos decantaremos por usar alguno de las alternativas pagadas y ya empaquetadas

www.ebay.com

Nvidia P40 | eBay

Explore a wide range of our Nvidia P40 selection. Find top brands, exclusive offers, and unbeatable prices on eBay. Shop now for fast shipping and easy returns!
www.ebay.com
 
Upvote 0
dwyer

dwyer

Sonidista-Computin
Se incorporó
10 Mayo 2005
Mensajes
2.970
Soujiro dijo:
Em nosotors compramos una p40 usada en ebay, era lo que mas cosot/efectivo. El equipo aprendio ene gracias a ella pero al final nos decantaremos por usar alguno de las alternativas pagadas y ya empaquetadas

www.ebay.com

Nvidia P40 | eBay

Explore a wide range of our Nvidia P40 selection. Find top brands, exclusive offers, and unbeatable prices on eBay. Shop now for fast shipping and easy returns!
www.ebay.com
Haz clic para expandir...
Acá en la pega nos fuimos por una de esas soluciones ya empaquetadas, estamos a la espera de que nos llegue.

Para @Zuljin quizas una AMD, aunque no sé como anda con IA

www.ebay.com

Amd Radeon Instinct Mi50 32Gb Gpu Server Workstation Graphics Card Ai Fan-cooled | eBay

Amd Radeon Instinct Mi50 32G 1. Product AMD Radeon Instinct MI50 32GB. GPU Architecture Vega. Display Outputs None (designed for compute and AI workloads). Use Cases Machine Learning, High-Performance Computing (HPC), AI, Deep Learning.
www.ebay.com
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
Esto me cotizaron en NiceOne:

32GB RAM DDR5
Un tera en almacenamiento PCI Express
Una Mobo MSI PRO Z790-P

Y acá viene lo que me va a afectar más el procesamiento de los modelos

GPU: ASUS PRIME RTX 5060 Ti 8GB 128-Bit GDDR7. $530.000.- (me hizo buen precio)
Procesador: Intel Core i7 12700KF 12Gen. $260.000.-

La RTX 5060 TI tiene soporte CUDA 12 pero es de 128 bits nomás.

Puedo cotizar una GPU de más ancho de banda pero ahí bajo a una VGA 3060 entonces la cosa me queda

RTX 5060 TI 8GB 128 bits
o
RTX 3060 12GB 192 bits
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
dwyer dijo:
Acá en la pega nos fuimos por una de esas soluciones ya empaquetadas, estamos a la espera de que nos llegue.

Para @Zuljin quizas una AMD, aunque no sé como anda con IA

www.ebay.com

Amd Radeon Instinct Mi50 32Gb Gpu Server Workstation Graphics Card Ai Fan-cooled | eBay

Amd Radeon Instinct Mi50 32G 1. Product AMD Radeon Instinct MI50 32GB. GPU Architecture Vega. Display Outputs None (designed for compute and AI workloads). Use Cases Machine Learning, High-Performance Computing (HPC), AI, Deep Learning.
www.ebay.com
Haz clic para expandir...

¿Saben si existen en Chile? ¿Si un proveedor local los vende?

Voy a googlear pero si tienen el dato les agradecería que lo compartan.
 
Upvote 0
ArK@nTos

ArK@nTos

Capo
Se incorporó
28 Mayo 2006
Mensajes
210
Zuljin dijo:
Esto me cotizaron en NiceOne:

32GB RAM DDR5
Un tera en almacenamiento PCI Express
Una Mobo MSI PRO Z790-P

Y acá viene lo que me va a afectar más el procesamiento de los modelos

GPU: ASUS PRIME RTX 5060 Ti 8GB 128-Bit GDDR7. $530.000.- (me hizo buen precio)
Procesador: Intel Core i7 12700KF 12Gen. $260.000.-

La RTX 5060 TI tiene soporte CUDA 12 pero es de 128 bits nomás.

Puedo cotizar una GPU de más ancho de banda pero ahí bajo a una VGA 3060 entonces la cosa me queda

RTX 5060 TI 8GB 128 bits
o
RTX 3060 12GB 192 bits
Haz clic para expandir...
Es que si es para LLM´s creo que es necesario que la tarjeta sea de más de 8GB de Vram. Idealmente 16GB, como la 5060TI de 16GB.

No es tanta diferencia en precio desde los 530 mil que vale la de 8GB.

Si no vas por una placa madre demasiado cara como la msi pro z790, te alcanzaría. (Salvo que necesites los M.2 extra que te da una placa más cara)


Edit: Con 3 M.2

www.myshop.cl

M/B LGA s1700 (Intel) - ASUS TUF GAMING B760M-PLUS WIFI II - 4x DDR5 - HDMI/DisplayPort - Micro ATX

Busca mas productos en https://www.myshop.cl
www.myshop.cl www.myshop.cl
 
Última modificación:
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.976
¿Habrá un benchmark sintético de procesamiento de modelos? Onda para saber que es mejor, una GPU de gama alta con poca ram y poco ancho de bus o una GPU de gama media con más ram y más bus.
 
Upvote 0
ArK@nTos

ArK@nTos

Capo
Se incorporó
28 Mayo 2006
Mensajes
210
No sé si habran benchmark con una data de distintos gpus comparados, pero en general para modelos de IA locales es mejor tener más VRAM.

Si le preguntas a gemini o chatgpt te dirá que la 3060 12gb es mejor opción que una 5060 ti de 8GB. He probado el LM studio, y necesitas buena cantidad de Vram para cargar modelos más grandes.
 
Upvote 0
dieg_lhix

dieg_lhix

Miembro Activo
Baneado
Se incorporó
5 Agosto 2025
Mensajes
25
Zuljin dijo:
Acá nos pidieron probar el rendimiento de unos modelos de IA que pudiésemos desarrollar y/o adquirir y como no tenemos equipamiento especializado nos tiraron unas chauchas para adquirir algo.

Software que se va a ejecutar: es desarrollo propio pero para efectos de estimar arquitectura hagan cuenta que le vamos a meter un Ollama con distintos modelos LLM.

Presupuesto: $1.700.000 IVA incluido.

Periféricos: no es necesario, seguramente lo vamos instalar en la oficina y luego lo vamos a meter en el datacenter conectado a la red.

Sistema Operativo base: Tenemos licenciamiento Windows Server así que bien podríamos instalarle un hyper-v. En una de esas proxmox, no sé. La huea es que puede ser bare metal o un hypervisor que permita compartir el procesamiento nVidia en máquinas virtuales.
Haz clic para expandir...
necesitan una 5090/4090 y 96 gb ram para montar modelos 70B en local. al menos que monten chatbots chiquititos
 
Upvote 0
dwyer

dwyer

Sonidista-Computin
Se incorporó
10 Mayo 2005
Mensajes
2.970
Pregunta a chatgpt @Zuljin

Para poder correr un modelo de Ollama LLaMA 2/3 70B o similar de 70 mil millones de parámetros, los requisitos de hardware son altos. Te detallo los mínimos reales y las recomendaciones:


✅ Requisitos mínimos (para poder cargarlo apenas)

  • GPU(s):
    • Necesitas al menos 2 tarjetas de 24 GB de VRAM c/u (ej: RTX 4090, A5000, A6000) usando split across GPUs o una GPU de 48 GB (A6000, H100 80GB, etc).
    • Idealmente, 65-70 GB de VRAM total disponible.
  • RAM del sistema:
    • Al menos 64 GB de RAM (mejor 128 GB).
  • CPU:
    • Cualquier CPU moderno multi-core está bien. No es tan importante como la GPU.
  • Almacenamiento:
    • ~40 GB libres para el modelo + espacio para cache. SSD obligatorio (NVMe ideal).


🧠 Recomendado para que funcione bien​


RecursoRecomendado
GPU2× RTX 4090 (24 GB cada una) o 1× H100 / A100 80 GB
RAM sistema128 GB
VRAM total70+ GB
AlmacenamientoNVMe con 100 GB libres


Ejemplos de hardware que sí puede​


GPU / Config¿Sirve para 70B?
1× RTX 4090 (24GB)❌ No
2× RTX 4090 (48GB en total)✅ Con Q4
1× A6000 48GB✅ Con Q4 o Q5
1× A100 80GB✅ Sí
1× H100 80GB✅ Sí
4× RTX 3090 24GB✅ Sí


❓¿Se puede correr un modelo 70B (como llama2 70b) en una MI50 de 32 GB de VRAM?​


Respuesta corta:
👉 NO, una sola MI50 con 32 GB no tiene memoria suficiente para cargar un modelo de 70B, ni aunque esté cuantizado en Q4.



Detalle técnico:​


  • Una AMD MI50 tiene 32 GB de VRAM.
  • Un modelo LLaMA 70B cuantizado en Q4 necesita entre 38 y 40 GB de VRAM mínimo.
  • Aunque AMD ROCm soporta modelos grandes, no cabe completo en 32GB, ni siquiera en Q4.
  • Podrías dividir un modelo entre 2 GPUs MI50 (2 x 32 GB = 64GB) y ahí sí sería posible.


Conclusión​


Hardware¿Carga LLaMA 70B?
1× AMD MI50 (32GB)❌ No
2× AMD MI50 (64GB total)✅ Sí, en Q4
1× MI250 (128GB)✅ De sobra
 
Upvote 0
You must log in or register to reply here.
Subir