Curso: Cómo crear tu propio LLM

Este módulo introduce los conceptos básicos necesarios para comprender el funcionamiento de los modelos de lenguaje. Se explica qué es un LLM, en qué se diferencia de otros enfoques de procesamiento de lenguaje natural y cómo se representa el lenguaje a través de tokens, subpalabras y vectores semánticos. También se abordan los fundamentos del preentrenamiento y los objetivos que guían la creación de estos modelos.

En este módulo se analiza en profundidad la arquitectura Transformer. Se estudian sus principales componentes: mecanismos de atención, atención múltiple, codificación posicional y funciones de activación. Además, se presentan variantes como BERT, GPT y LLaMA, junto con sus diferencias estructurales y objetivos de entrenamiento.

Este módulo está orientado a aplicar modelos de lenguaje en la práctica. El estudiante aprenderá a utilizar herramientas como Hugging Face para cargar modelos, aplicar tareas comunes (generación de texto, resumen, clasificación), procesar datos de entrada y salida, y estructurar flujos básicos de inferencia con modelos preentrenados.

Este módulo aborda el fine-tuning de modelos de lenguaje, sus aplicaciones y técnicas de optimización como LoRA y QLoRA. Incluye el desarrollo de un proyecto completo: preparación de datos, entrenamiento, evaluación y publicación del modelo. También se presentan buenas prácticas y métodos avanzados como RAG, RLHF y MCP.