Modelo IA liviano que sirva pa generar codigo

La calidad de los locales siempre va a ser inferior al lado de los comerciales y tiene que ver con que los parámetros que aceptan son muchos más ya que tienen a su disposición mega tarjetas de video con 48GB o más de VRAM.

Por el otro lado... voh dale no más! Experimentando las cosas por cuenta propia siempre te deja la mayor cantidad de conocimiento posible.

En cuanto a posibles modelos, codellama (https://www.ollama.com/library) parece ser enfocada más a código, aunque la verdad es que es mejor experimentar uno mismo, algunas veces otras más nuevas y más avanzadas funcionan mejor, es un campo que está evolucionando como enfermo de la cabeza así que todos los días cambia la cosa.

Con ollama de todas formas puedes descargar varias al mismo tiempo y experimentar con ellas. Recomendaría eso si una VGA, la con más VRAM posible (velocidad no importa taaaaaaaanto, es más importante para la calidad la cantidad de datos que puedas meter).

Saludos.

GORDIO dijo:

Estimeados:
Les tengo una consulta:
Leyendo el articulo de tbon (https://www.capa9.net/temas/guía-tu-propio-chatgpt-en-local.1144140/)
me pico el bichito de levantar localmente un IA en la casa, pensando en aprender a ver como se levanta el servicio y como se aprovecha mejor hacer RAG hacia carpetas de docs, conectar a DBs, autenticacion en apis y varias cosas mas q se me le ocurren.
Entonces estaba pensando en un modelo liviano pero que sea util pa generar y analizar codigo, porque entre claude, chtgpt y otras... que me dicen que llegaron al limite y espere 5 horas pa volver a usar el modelo weno, se me ocurrio levantar uno casero.

Que opinan??

Haz clic para expandir...

tbon != t3b4n

Aclarado lo anterior, queda probar no más! Dependiendo de tu hardware puedes ir probando distintos modelos disponibles. Yo al menos he tenido buenos resultados con qwen-coder y con deepseek-r1:32b (que está basado en qwen 2.5). Ahora estoy probando qwen 3, pero no he hecho nada muy complejo como para aportar. Cuando tenga nuevos datos actualizo.

lo que te faltó mencionar es el hardware y que tanta paciencia tienes, quizá podrías cargar modelos grandes pero a 1 token por segundo no a mi no me daría da la paciencia