nVidia Chat With RTX

Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.768
¿Alguien lo ha instalado y usado?

Los requerimientos son una RTX familia 30 de por lo menos 8 gigas de VRAM.

El instalador pesa 35 gigas y el instalarlo tarda unas dos horas aproximadamente.

Yo con mi notebook que tiene una méndiga GTX 1650 lo intenté instalar y me saltó un error de pobreza


HOQLElc.jpeg



¿Qué es Chat RTX? Da para un artículo que espero armar uno de estos días, pero así en corto es una especie de chatgpt local en tu computador. Es una definición muy gruesa pero es lo que puedo decir en una sola frase.


Descargar

www.nvidia.com

NVIDIA ChatRTX

Your Personalized AI Chatbot.
www.nvidia.com


Si alguien cuenta con el hardware y tiene muchos documentos personales o de pega y quiere hacer IA con eso, prueben el software y cuenten sus impresiones.

 
Sort by date Sort by votes
brujoadr

brujoadr

Capo
Se incorporó
24 Septiembre 2019
Mensajes
488
No lo he hecho pero esto se ve mucho más simple....



1712717185678.png


1712717276567.png

1712717628395.png


y toda esa BD ocupa menos de 4GB, lista para ser descargada "for free", increible.
 
Última modificación:
Upvote 0
unreal4u

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
ollama tb corre en linux y le puedes cargar distintas librerías, algunas más pesadas que otras. Si quieres un muy buen reemplazante de chatgpt tb necesitas hardware más potente, como mínimo igual una 3060 con unos 12GB en VRAM, pero mientras más equipo tengas mejor.

Sin embargo, el enfoque de nvidia es algo distinto, además es más click & play (como es windows...)

Yo me he entretenido bastante con ollama ajajaja de hecho tb tengo un artículo pendiente con eso!

Saludos.
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.768
unreal4u dijo:
ollama tb corre en linux y le puedes cargar distintas librerías, algunas más pesadas que otras. Si quieres un muy buen reemplazante de chatgpt tb necesitas hardware más potente, como mínimo igual una 3060 con unos 12GB en VRAM, pero mientras más equipo tengas mejor.

Sin embargo, el enfoque de nvidia es algo distinto, además es más click & play (como es windows...)

Yo me he entretenido bastante con ollama ajajaja de hecho tb tengo un artículo pendiente con eso!

Saludos.
Haz clic para expandir...

Ja, yo estoy instalando ollama acá en la pega para hacer unas pruebas de rendimiento.

Mis servidores son x86-64 estándar y el culiao se demora como 5 minutos en darme una respuesta. En cambio en un notebook con rtx 30x el mismo ollama le responde en menos de la mitad de tiempo.

Como ven, la prueba de rendimiento era saber cuál es el performance de un servidor estándar con procesamiento de IA. Respuesta: hace la pega pero se demora tanto que no es funcional.
 
Upvote 0
unreal4u

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
Zuljin dijo:
Ja, yo estoy instalando ollama acá en la pega para hacer unas pruebas de rendimiento.

Mis servidores son x86-64 estándar y el culiao se demora como 5 minutos en darme una respuesta. En cambio en un notebook con rtx 30x el mismo ollama le responde en menos de la mitad de tiempo.

Como ven, la prueba de rendimiento era saber cuál es el performance de un servidor estándar con procesamiento de IA. Respuesta: hace la pega pero se demora tanto que no es funcional.
Haz clic para expandir...
pero pásale la tarjeta de video a ollama, sino se va a demorar caleta jajajja

Sin CUDA ufff se demora ene, necesitas eso para hacerlo rendir. Yo tengo una GTX970 no más pero se demora aprox. 30 segundos en generarme un texto, la primera vez de una respuesta se demora más si pq tiene que generar los assets para meterlos a VRAM. Las posteriores respuestas son más rápidas (aunque: depende del modelo, yo estoy usando los siguientes modelos para probar:

Screenshot_2024-04-10_16-40-43.png


PD:

Screenshot_2024-04-10_16-42-15.png


Eso es con la GTX970. Con una 3060+ se demoraría un par de segundos no más.

Saludos.
 
Upvote 0
Zuljin

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.768
unreal4u dijo:
pero pásale la tarjeta de video a ollama, sino se va a demorar caleta jajajja
Haz clic para expandir...

La prueba en cuestión era para demostrarle empíricamente a los tomadores de decisión que si quieren implementar una solución de IA en la pega tienen que meter lukas en fierro adecuado, porque el fierro actual no es óptimo.
 
Upvote 0
You must log in or register to reply here.
Subir