Cotización para probar modelos de IA. Presupuesto: Un palo 7

[Zuljin]

Acá nos pidieron probar el rendimiento de unos modelos de IA que pudiésemos desarrollar y/o adquirir y como no tenemos equipamiento especializado nos tiraron unas chauchas para adquirir algo.

Software que se va a ejecutar: es desarrollo propio pero para efectos de estimar arquitectura hagan cuenta que le vamos a meter un Ollama con distintos modelos LLM.

Presupuesto: $1.700.000 IVA incluido.

Periféricos: no es necesario, seguramente lo vamos instalar en la oficina y luego lo vamos a meter en el datacenter conectado a la red.

Sistema Operativo base: Tenemos licenciamiento Windows Server así que bien podríamos instalarle un hyper-v. En una de esas proxmox, no sé. La huea es que puede ser bare metal o un hypervisor que permita compartir el procesamiento nVidia en máquinas virtuales.

 

[Soujiro]

tas kgado con las lucas.... creo que p40 usadas sria tu mejor alternativa para tener mas gpu-ram

 

[ricm]

Arrendar gpu en la nube no?

 

[Harima]

venia a recomendar un minipc como por si las moscas, pero hasta esos se van del presupuesto

GMKtec EVO-X2 AI Mini-PC AMD Ryzen Al Max+ 395 128 GB LPDDR5X 8000 MHz (16 GB*8) 2 TB PCIe 4.0 SSD WiFi 7 BT5.4 Mini-Gaming-Computer - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com

es.aliexpress.com

SZBOX FEVM FAEX9 Ryzen AI MAX+ 395 Mini PC Windows 11 LPDDR5 128GB 1TB 7000MB/S Wifi7 BT5.4 Desktop AI Mini PC Oculink - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com

es.aliexpress.com

FEVM FA-EX9 AMD Ryzen AI MAX+ 395 Strix Halo 8060S GPU Mini-PC LPDDR5X 128 GB 8000 MHz 70B LLMs Max. 120 W Leistung OCulink WiFI7 BT5.3 - AliExpress 7

Smarter Shopping, Better Living! Aliexpress.com

es.aliexpress.com

 

[Soujiro]

pa lo de usar mini pcs en "cluster"
tdlr no es buena idea aun, software inmaduro

 

[unreal4u]

Con ese presupuesto tendrás que comprar tarjetas de video para público normal, y esas no soportan repartir GPUs entre máquinas virtuales hasta donde sé (si son nvidia que es lo que supongo querrás armar).

Hay unos métodos para habilitar esto, pero no es oficial así que puede (o no) funcionar.

Ni idea de precios actuales, pero trataría de buscar algo con la mayor cantidad de VRAM posible, como mínimo 16GB. No sé si sea posible comprar 2 y combinarlas.

Saludos.

 

[Zuljin]

No quiero armar el terrible cluster de la huea, simplemente probar uno que otro modelo.

 

[ArK@nTos]

Necesitas una gpu con la mayor cantidad de memoria de video posible.
Con ese presupuesto creo que no sería tan mala idea optar por una 5060ti de 16GB. Estaba viendo los precios y una 5070ti está sobre el millon.

 

[Zuljin]

Le voy a pedir a mi compadre @masacre que me cotice en NiceOne lo mejor que se pueda con 1 palo 7. Ahí les muestro lo que resulta.

 

[Soujiro]

Em nosotors compramos una p40 usada en ebay, era lo que mas cosot/efectivo. El equipo aprendio ene gracias a ella pero al final nos decantaremos por usar alguno de las alternativas pagadas y ya empaquetadas

Nvidia P40 | eBay

Explore a wide range of our Nvidia P40 selection. Find top brands, exclusive offers, and unbeatable prices on eBay. Shop now for fast shipping and easy returns!

www.ebay.com

 

[dieg_lhix]

necesitas 4 millones para eso

 

[dwyer]

Em nosotors compramos una p40 usada en ebay, era lo que mas cosot/efectivo. El equipo aprendio ene gracias a ella pero al final nos decantaremos por usar alguno de las alternativas pagadas y ya empaquetadas

Nvidia P40 | eBay

Explore a wide range of our Nvidia P40 selection. Find top brands, exclusive offers, and unbeatable prices on eBay. Shop now for fast shipping and easy returns!

www.ebay.com

Acá en la pega nos fuimos por una de esas soluciones ya empaquetadas, estamos a la espera de que nos llegue.

Para @Zuljin quizas una AMD, aunque no sé como anda con IA

Amd Radeon Instinct Mi50 32Gb Gpu Server Workstation Graphics Card Ai Fan-cooled | eBay

Amd Radeon Instinct Mi50 32G 1. Product AMD Radeon Instinct MI50 32GB. GPU Architecture Vega. Display Outputs None (designed for compute and AI workloads). Use Cases Machine Learning, High-Performance Computing (HPC), AI, Deep Learning.

www.ebay.com

 

[Zuljin]

Esto me cotizaron en NiceOne:

32GB RAM DDR5
Un tera en almacenamiento PCI Express
Una Mobo MSI PRO Z790-P

Y acá viene lo que me va a afectar más el procesamiento de los modelos

GPU: ASUS PRIME RTX 5060 Ti 8GB 128-Bit GDDR7. $530.000.- (me hizo buen precio)
Procesador: Intel Core i7 12700KF 12Gen. $260.000.-

La RTX 5060 TI tiene soporte CUDA 12 pero es de 128 bits nomás.

Puedo cotizar una GPU de más ancho de banda pero ahí bajo a una VGA 3060 entonces la cosa me queda

RTX 5060 TI 8GB 128 bits
o
RTX 3060 12GB 192 bits

 

[Zuljin]

Acá en la pega nos fuimos por una de esas soluciones ya empaquetadas, estamos a la espera de que nos llegue.

Para @Zuljin quizas una AMD, aunque no sé como anda con IA

Amd Radeon Instinct Mi50 32Gb Gpu Server Workstation Graphics Card Ai Fan-cooled | eBay

Amd Radeon Instinct Mi50 32G 1. Product AMD Radeon Instinct MI50 32GB. GPU Architecture Vega. Display Outputs None (designed for compute and AI workloads). Use Cases Machine Learning, High-Performance Computing (HPC), AI, Deep Learning.

www.ebay.com

¿Saben si existen en Chile? ¿Si un proveedor local los vende?

Voy a googlear pero si tienen el dato les agradecería que lo compartan.

 

[Caturro]

Creo que el precio que te dieron es el que está publicado en la página, anduve cotizando hace un tiempo por eso hago el alcance

https://n1g.cl/Home/computacion/3369-asus-prime-rtx-5060-ti-8gb-128-bit-gddr7-pci-e-50-x8-dlss-40-geforce-prime-rtx5060ti-o8g.html

 

[ArK@nTos]

Esto me cotizaron en NiceOne:

32GB RAM DDR5
Un tera en almacenamiento PCI Express
Una Mobo MSI PRO Z790-P

Y acá viene lo que me va a afectar más el procesamiento de los modelos

GPU: ASUS PRIME RTX 5060 Ti 8GB 128-Bit GDDR7. $530.000.- (me hizo buen precio)
Procesador: Intel Core i7 12700KF 12Gen. $260.000.-

La RTX 5060 TI tiene soporte CUDA 12 pero es de 128 bits nomás.

Puedo cotizar una GPU de más ancho de banda pero ahí bajo a una VGA 3060 entonces la cosa me queda

RTX 5060 TI 8GB 128 bits
o
RTX 3060 12GB 192 bits

Es que si es para LLM´s creo que es necesario que la tarjeta sea de más de 8GB de Vram. Idealmente 16GB, como la 5060TI de 16GB.

https://www.winpy.cl/venta/tarjeta-de-video-asus-dual-geforce-rtx-5060-ti-oc-de-16gb-gddr7/?ref=sltd

No es tanta diferencia en precio desde los 530 mil que vale la de 8GB.

Si no vas por una placa madre demasiado cara como la msi pro z790, te alcanzaría. (Salvo que necesites los M.2 extra que te da una placa más cara)

https://www.winpy.cl/venta/placa-madre-msi-b760-gaming-plus-wifi-lga1700-ddr5-4800-7200mhz-m-2-x2-atx/?ref=sltd

Edit: Con 3 M.2

M/B LGA s1700 (Intel) - ASUS TUF GAMING B760M-PLUS WIFI II - 4x DDR5 - HDMI/DisplayPort - Micro ATX

Busca mas productos en https://www.myshop.cl

www.myshop.cl

 

[Zuljin]

¿Habrá un benchmark sintético de procesamiento de modelos? Onda para saber que es mejor, una GPU de gama alta con poca ram y poco ancho de bus o una GPU de gama media con más ram y más bus.

 

[ArK@nTos]

No sé si habran benchmark con una data de distintos gpus comparados, pero en general para modelos de IA locales es mejor tener más VRAM.

Si le preguntas a gemini o chatgpt te dirá que la 3060 12gb es mejor opción que una 5060 ti de 8GB. He probado el LM studio, y necesitas buena cantidad de Vram para cargar modelos más grandes.

 

[dieg_lhix]

Acá nos pidieron probar el rendimiento de unos modelos de IA que pudiésemos desarrollar y/o adquirir y como no tenemos equipamiento especializado nos tiraron unas chauchas para adquirir algo.

Software que se va a ejecutar: es desarrollo propio pero para efectos de estimar arquitectura hagan cuenta que le vamos a meter un Ollama con distintos modelos LLM.

Presupuesto: $1.700.000 IVA incluido.

Periféricos: no es necesario, seguramente lo vamos instalar en la oficina y luego lo vamos a meter en el datacenter conectado a la red.

Sistema Operativo base: Tenemos licenciamiento Windows Server así que bien podríamos instalarle un hyper-v. En una de esas proxmox, no sé. La huea es que puede ser bare metal o un hypervisor que permita compartir el procesamiento nVidia en máquinas virtuales.

necesitan una 5090/4090 y 96 gb ram para montar modelos 70B en local. al menos que monten chatbots chiquititos

 

[dwyer]

Pregunta a chatgpt @Zuljin

Para poder correr un modelo de Ollama LLaMA 2/3 70B o similar de 70 mil millones de parámetros, los requisitos de hardware son altos. Te detallo los mínimos reales y las recomendaciones:

---

✅ Requisitos mínimos (para poder cargarlo apenas)

• GPU(s):
  • Necesitas al menos 2 tarjetas de 24 GB de VRAM c/u (ej: RTX 4090, A5000, A6000) usando split across GPUs o una GPU de 48 GB (A6000, H100 80GB, etc).
  • Idealmente, 65-70 GB de VRAM total disponible.
• RAM del sistema:
  • Al menos 64 GB de RAM (mejor 128 GB).
• CPU:
  • Cualquier CPU moderno multi-core está bien. No es tan importante como la GPU.
• Almacenamiento:
  • ~40 GB libres para el modelo + espacio para cache. SSD obligatorio (NVMe ideal).

---

🧠 Recomendado para que funcione bien​

Recurso	Recomendado
GPU	2× RTX 4090 (24 GB cada una) o 1× H100 / A100 80 GB
RAM sistema	128 GB
VRAM total	70+ GB
Almacenamiento	NVMe con 100 GB libres

Ejemplos de hardware que sí puede​

GPU / Config	¿Sirve para 70B?
1× RTX 4090 (24GB)	❌ No
2× RTX 4090 (48GB en total)	✅ Con Q4
1× A6000 48GB	✅ Con Q4 o Q5
1× A100 80GB	✅ Sí
1× H100 80GB	✅ Sí
4× RTX 3090 24GB	✅ Sí

❓¿Se puede correr un modelo 70B (como llama2 70b) en una MI50 de 32 GB de VRAM?​

Respuesta corta:
👉 NO, una sola MI50 con 32 GB no tiene memoria suficiente para cargar un modelo de 70B, ni aunque esté cuantizado en Q4.

---

Detalle técnico:​

• Una AMD MI50 tiene 32 GB de VRAM.
• Un modelo LLaMA 70B cuantizado en Q4 necesita entre 38 y 40 GB de VRAM mínimo.
• Aunque AMD ROCm soporta modelos grandes, no cabe completo en 32GB, ni siquiera en Q4.
• Podrías dividir un modelo entre 2 GPUs MI50 (2 x 32 GB = 64GB) y ahí sí sería posible.

---

Conclusión​

Hardware	¿Carga LLaMA 70B?
1× AMD MI50 (32GB)	❌ No
2× AMD MI50 (64GB total)	✅ Sí, en Q4
1× MI250 (128GB)	✅ De sobra