Cómo crear tu propio LLM

El curso puede mejorar mucho. Con teoría más complementada con más ejemplos de mundo real. Se tienen disponibles muchos módelos Open Source en la actualidad, pudiera ser más interesante examinar código de esos modelos y no porciones de código aislados. El proceso de fine tuning fue muy extenso y no tenía mucha correspondencia con la parte teórica. La creación de un modelo propio no es solo Fine Tuning, sino incorporar conocimiento. Faltaron temas como RAG y Embeddings. Fue un curso corto y además el proyecto, poco tienen que ver con la vida real. Lo interesante hubiera sido, ¿Cómo construir un mejor modelo a partir de uno existente? hay modelos pequeños en cuanto a número de parámetros que pueden servir para una "Reingeniería". Por otro lado, yo soy capacitador empresarial en México, la persona que intenta dar el curso, carece de experiencia vivencial para dar más ejemplos y hacer una sesión más dinámica.

Es un curso interesante, sin embargo como fullstack engineering que está en proceso de hacer una transición a la ingeniería de datos y machine learning tengo las siguientes sugerencias: - Dada la complejidad de los conceptos como es por ejemplo LoRA y los transformers, usar más facilitación gráfica que permita enfocarse en los conceptos fundamentales de los concepto. - En el último capitulo que es la aplicación del proceso LoRA a un modelo existente, como se explica paso a paso entre diferentes videos con código incluido, llega un punto donde se pierde el panorama general de lo que se está haciendo, por lo que sugiero, similar al primer punto, una facilitación más gráfica y explicada de los puntos claves de todo el proceso aplicado.

Muy interesante conocer la arquitectura de los LLM y cómo están construidos.

Solo está enfocado en la teoría; no se explica lo esencial para crear un LLM. Aparte de solo dar por hecho lo que se hizo y no ejecutar ningún comando es pésimo.

Buen curso. Bien explicado por el profesor.