Área 3: Técnicas para mejorar los resultados del modelo

3.1 Proactively overcome foundation model limitations

Exam Guide §3.1 Common limitations (data dependency, knowledge cutoff, bias, fairness, hallucinations, edge cases) · Google-recommended practices (grounding, RAG, prompt engineering, fine-tuning, HITL) · continuous monitoring and evaluation (automatic model upgrades, KPIs, security patches and updates, versioning, performance tracking, drift monitoring, Agent Platform Feature Store).

Limitaciones de los modelos fundacionales (foundation models)

• Seis limitaciones según Exam Guide/Study Guide: dependencia de los datos (data dependency), fecha de corte del conocimiento (knowledge cutoff), sesgo (bias), equidad (fairness), alucinaciones (hallucinations), casos límite (edge cases).
• Dependencia de los datos (data dependency): el rendimiento de un modelo fundacional depende en gran medida de sus datos de entrenamiento. Los datos sesgados o incompletos se reflejan en las salidas.

Prácticas recomendadas por Google contra las limitaciones

• Ingeniería de prompts (prompt engineering): formular prompts precisos para guiar al modelo hacia la salida deseada. → 3.2
• Fundamentación (grounding): conectar la salida del modelo con fuentes de información verificables, p. ej., documentos de la empresa o la web. Resultado: respuestas más precisas, más relevantes, específicas de la empresa y comprobables. → 3.3

Monitorización y evaluación continuas (continuous monitoring and evaluation)

• Google Cloud ofrece herramientas para todo el ciclo de vida de los modelos de ML. La monitorización y la evaluación son continuas, no puntuales: los datos, el comportamiento de los usuarios y los propios modelos cambian.
• Actualizaciones automáticas del modelo (automatic model upgrades): quien usa modelos Gemini gestionados se beneficia continuamente de las mejoras del modelo y de las nuevas funciones del proveedor. La otra cara: las versiones del modelo tienen una fecha de lanzamiento y una fecha de retirada; en un cambio de versión, Google recomienda probar todas las funciones críticas para el negocio antes de desplegarlo.

3.2 Prompt engineering techniques and how they drive better results

Exam Guide §3.2 Defining prompt engineering and its significance for LLMs · prompting techniques and use cases (zero-shot, one-shot, few-shot, role prompting, prompt chaining) · advanced techniques and when to use them (chain-of-thought, ReAct).

Definición e importancia

• Ingeniería de prompts (prompt engineering) = "the art and science of creating effective inputs, known as prompts, for generative AI models to maximize their value and tailor responses to specific needs". Definición básica: → 1.1.
• Importancia para los LLM:

Técnicas básicas: zero-, one-, few-shot, role, chaining

• Prompting sin ejemplos (zero-shot prompting): plantear la tarea sin ejemplos. El modelo se apoya exclusivamente en su conocimiento previo y en la instrucción. Ejemplo: "Resume el siguiente parte de siniestro en dos frases: …"
• Prompting con un ejemplo (one-shot prompting): proporcionar exactamente un ejemplo en el que se oriente el modelo. Ejemplo: una editorial muestra un texto de contraportada ya formateado y pide un segundo con el mismo estilo.

Avanzado: chain-of-thought, ReAct, metaprompting

• Prompting de cadena de pensamiento (chain-of-thought, CoT, prompting): guiar al LLM a través de un proceso de resolución de problemas proporcionando ejemplos con pasos intermedios de razonamiento. En lugar de solo "pregunta → respuesta", los ejemplos muestran el camino del razonamiento; luego el modelo descompone por sí mismo el problema en pasos intermedios. Esto funciona solo con prompting, sin modificar los pesos del modelo.
• ReAct (Reason + Act): permite al LLM razonar sobre una consulta del usuario y ejecutar acciones. El pensamiento y la acción se alternan: el modelo reflexiona, llama a una herramienta (tool) (p. ej., búsqueda, API, base de datos), evalúa el resultado y vuelve a reflexionar.

Bucle de razonamiento (reasoning loop) (ingeniería de prompts en agentes)

• Bucle de razonamiento (reasoning loop): proceso iterativo en el que el agente observa, interpreta, razona y actúa, a menudo con ayuda de la ingeniería de prompts. Según Study Guide p. 8, ReAct, CoT y metaprompting forman parte de las técnicas de ingeniería de prompts del reasoning loop.

3.3 Grounding techniques and their use cases

Exam Guide §3.3 Concept of grounding; grounding with first-party enterprise data, third-party data, world data · how RAG affects generated output · Google Cloud grounding offerings: (a) pre-built RAG with Agent Search, (b) RAG APIs, (c) Grounding with Google Search · sampling parameters and settings (token count, temperature, top-p, safety settings, output length).

Fundamentación (grounding): concepto y tipos de datos

• Fundamentación (grounding) = conectar la salida del modelo con fuentes de información verificables.
• Efecto según la documentación de Google: menos alucinaciones, respuestas vinculadas a las fuentes de datos propias, comprobabilidad mediante enlaces a las fuentes (grounding support/citations). Además: respuestas más actuales, más allá de la fecha de corte del conocimiento, e incorporación de conocimiento que el modelo nunca ha visto (información interna de la empresa).

Generación aumentada por recuperación (retrieval-augmented generation, RAG)

• RAG por pasos:
  • Recuperación (retrieval): el LLM obtiene, con ayuda de herramientas, información relevante de fuentes externas. Herramientas/fuentes típicas: almacenes de datos (data stores), bases de datos vectoriales (vector databases), motores de búsqueda, grafos de conocimiento (knowledge graphs).
  • Aumento (augmentation): la información recuperada se incorpora al prompt que se envía al LLM. El prompt aumentado contiene la pregunta original del usuario + el contexto relevante.
  • Generación (generation): el LLM procesa el prompt aumentado y genera la respuesta (idealmente con indicación de las fuentes).
  • Iteración (opcional): el LLM puede repetir el paso de recuperación si es necesario (otros términos de búsqueda, otras fuentes) para aumentar la calidad y la relevancia.
• RAG combina la búsqueda clásica de información (bases de datos, búsqueda) con LLM generativos para que las respuestas sean más precisas, más actuales y más relevantes.

Google Cloud grounding offerings

• Agent Search (en Gemini Enterprise Agent Platform; antes: Vertex AI Search): la solución de búsqueda y recomendaciones de Google para empresas y, a la vez, la vía de RAG lista y gestionada. La documentación lo describe como un producto para crear aplicaciones de IA generativa seguras y aptas para empresas de búsqueda y recomendaciones con calidad de Google.
• RAG APIs = componentes para construir un pipeline de RAG propio y controlado de forma individual ("build-your-own RAG"), cuando Agent Search prediseñado no ofrece suficiente control. Según la documentación de Google (nombres en parte todavía con la marca Vertex AI):
  • Document AI Layout Parser (capturar documentos de forma estructurada y dividirlos en fragmentos (chunks) contextuales)
  • Embeddings API (generar vectores para texto o contenido multimodal)
  • Vector Search (encontrar entradas semánticamente similares a gran escala)
  • Ranking API (reordenar los resultados según su relevancia para la consulta)
  • Grounded generation API (generar respuestas basadas en fuentes de datos de Agent Search, datos propios o Google Search)

Parámetros de muestreo y ajustes (sampling parameters and settings)

• Parámetros de muestreo (sampling parameters) = ajustes que influyen en el comportamiento del modelo y permiten resultados personalizados. Se configuran por solicitud mediante la API o en Google AI Studio / Agent Studio.
• Recuento de tokens (token count): los tokens son fragmentos de texto con sentido (palabras, partes de palabras, signos de puntuación). Regla práctica en Gemini: 1 token ≈ 4 caracteres, 100 tokens ≈ 60–80 palabras en inglés. Los modelos tienen un límite de cuántos tokens procesan a la vez. Los tokens son también la unidad de facturación.