Bereich 3: Techniken für bessere Modellausgaben

3.1 Proactively overcome foundation model limitations

Exam Guide §3.1 Common limitations (data dependency, knowledge cutoff, bias, fairness, hallucinations, edge cases) · Google-recommended practices (grounding, RAG, prompt engineering, fine-tuning, HITL) · continuous monitoring and evaluation (automatic model upgrades, KPIs, security patches and updates, versioning, performance tracking, drift monitoring, Agent Platform Feature Store).

Limitations von foundation models

• Sechs Limitations laut Exam Guide/Study Guide: data dependency, knowledge cutoff, bias, fairness, hallucinations, edge cases.
• Data dependency: Die Leistung eines foundation model hängt stark von seinen Trainingsdaten ab. Verzerrte oder unvollständige Daten schlagen sich in den Ausgaben nieder.
• Knowledge cutoff: Modelle werden bis zu einem bestimmten Stichtag trainiert. Ereignisse danach kennen sie nicht; Fragen dazu beantworten sie unvollständig, veraltet oder falsch.

Google-recommended practices gegen Limitations

• Prompt engineering: präzise Prompts formulieren, um das Modell zur gewünschten Ausgabe zu führen. → 3.2
• Grounding: die Ausgabe des Modells mit verifizierbaren Informationsquellen verbinden, z. B. Firmendokumenten oder dem Web. Ergebnis: genauere, relevantere, unternehmensspezifische und nachprüfbare Antworten. → 3.3
• RAG ist eine Grounding-Methode: Relevante Informationen werden aus einer Wissensbasis abgerufen und dem LLM als Kontext übergeben, in den Schritten Retrieval → Augmentation → Generation (optional Iteration). Der Abruf erfolgt typischerweise per semantischer Suche, also nach Bedeutung statt nur nach Stichworten. → 3.3

Continuous monitoring and evaluation

• Google Cloud bietet Werkzeuge für den gesamten Lebenszyklus von ML-Modellen. Monitoring und Evaluation sind laufend, nicht einmalig: Daten, Nutzerverhalten und die Modelle selbst ändern sich.
• Automatic model upgrades: Wer gemanagte Gemini-Modelle nutzt, profitiert laufend von Modellverbesserungen und neuen Funktionen des Anbieters. Kehrseite: Modellversionen haben ein Release- und ein Retirement-Datum; bei einem Wechsel empfiehlt Google, alle geschäftskritischen Funktionen vor dem Ausrollen zu testen.
• Security patches and updates: AI-Systeme, ihre Abhängigkeiten und die Infrastruktur sicher und aktuell halten. Bei gemanagten Diensten übernimmt der Anbieter einen Teil davon; eigene Anwendungen, Bibliotheken und Zugriffsrechte bleiben Aufgabe des Unternehmens.

3.2 Prompt engineering techniques and how they drive better results

Exam Guide §3.2 Defining prompt engineering and its significance for LLMs · prompting techniques and use cases (zero-shot, one-shot, few-shot, role prompting, prompt chaining) · advanced techniques and when to use them (chain-of-thought, ReAct).

Definition und Bedeutung

• Prompt engineering = „the art and science of creating effective inputs, known as prompts, for generative AI models to maximize their value and tailor responses to specific needs“. Grunddefinition: → 1.1.
• Bedeutung für LLMs:
• Bausteine guter Prompts laut Google-Doku: Task (Pflicht), System instructions, Few-shot examples, Contextual information. Ergänzend: Rolle/Persona, Zielgruppe, Format-/Längenvorgaben, Einschränkungen („nur auf Basis der beigefügten Unterlagen antworten“).

Grundtechniken: zero-, one-, few-shot, role, chaining

• Zero-shot prompting: Aufgabe ohne Beispiele stellen. Das Modell stützt sich ausschließlich auf vorhandenes Wissen und die Anweisung. Beispiel: „Fasse die folgende Schadensmeldung in zwei Sätzen zusammen: …“
• One-shot prompting: genau ein Beispiel mitgeben, an dem sich das Modell orientiert. Beispiel: Ein Verlag zeigt einen fertig formatierten Klappentext und bittet um einen zweiten im selben Stil.
• Few-shot prompting: mehrere Beispiele mitgeben. Das Modell übernimmt Muster, Format, Ton und Klassifikationslogik; Beispiele sind laut Google besonders wirksam, um Stil und Ton der Antwort festzulegen. Mehr Beispiele ergeben mehr Konsistenz, kosten aber mehr Tokens/Kontext. Beispiel: Ein Logistikdienstleister gibt fünf Kundenmails mit der jeweils richtigen Kategorie („Zustellproblem“, „Adressänderung“, „Reklamation“) vor und lässt dann neue Mails einordnen.

Advanced: chain-of-thought, ReAct, metaprompting

• Chain-of-thought (CoT) prompting: das LLM durch einen Problemlöseprozess führen, indem man Beispiele mit Zwischenschritten des Denkens liefert. Statt nur „Frage → Antwort“ zeigen die Beispiele den Denkweg; das Modell zerlegt das Problem dann selbst in Zwischenschritte. Das funktioniert allein durch Prompting, ohne Änderung der Modellgewichte.
• ReAct (Reason + Act): erlaubt dem LLM, zu einer Nutzeranfrage zu schlussfolgern und Aktionen auszuführen. Denken und Handeln wechseln sich ab: Das Modell überlegt, ruft ein Tool auf (z. B. Suche, API, Datenbank), wertet das Ergebnis aus und überlegt erneut.
• CoT vs. ReAct: CoT setzt auf inneres Schlussfolgern, ReAct ermöglicht Interaktion mit der Außenwelt. Beide lassen sich kombinieren (ein ReAct-Agent denkt in seinen „thought“-Schritten oft im CoT-Stil).

Reasoning loop (Prompt engineering in Agents)

• Reasoning loop: iterativer Prozess, in dem der Agent beobachtet, interpretiert, schlussfolgert und handelt, oft mit Hilfe von prompt engineering. Laut Study Guide S. 8 zählen ReAct, CoT und Metaprompting zu den Prompt-engineering-Techniken des Reasoning loop.

3.3 Grounding techniques and their use cases

Exam Guide §3.3 Concept of grounding; grounding with first-party enterprise data, third-party data, world data · how RAG affects generated output · Google Cloud grounding offerings: (a) pre-built RAG with Agent Search, (b) RAG APIs, (c) Grounding with Google Search · sampling parameters and settings (token count, temperature, top-p, safety settings, output length).

Grounding: Konzept und Datenarten

• Grounding = die Ausgabe des Modells mit verifizierbaren Informationsquellen verbinden.
• Wirkung laut Google-Doku: weniger Halluzinationen, Antworten an die eigenen Datenquellen gebunden, Nachprüfbarkeit über Quellenlinks (grounding support/citations). Dazu: aktuellere Antworten jenseits des knowledge cutoff und Einbindung von Wissen, das das Modell nie gesehen hat (Firmeninterna).
• Grounding ist der Oberbegriff, RAG ist eine Methode davon.

Retrieval-augmented generation (RAG)

• RAG in Schritten:
  • Retrieval: Das LLM ruft mit Hilfe von Tools relevante Informationen aus externen Quellen ab. Typische Tools/Quellen: data stores, vector databases, Suchmaschinen, Knowledge Graphs.
  • Augmentation: Die abgerufenen Informationen werden in den Prompt an das LLM eingebaut. Der augmentierte Prompt enthält die ursprüngliche Nutzerfrage + relevanten Kontext.
  • Generation: Das LLM verarbeitet den augmentierten Prompt und erzeugt die Antwort (idealerweise mit Quellenangaben).
  • Iteration (optional): Das LLM kann den Retrieval-Schritt bei Bedarf wiederholen (andere Suchbegriffe, andere Quellen), um Qualität und Relevanz zu steigern.
• RAG kombiniert klassische Informationssuche (Datenbanken, Suche) mit generativen LLMs, um Antworten genauer, aktueller und relevanter zu machen.
• Semantic search findet Inhalte nach Bedeutung statt nur nach Stichworten. Dazu werden Texte als Embeddings gespeichert, also numerische Vektoren, die Bedeutung abbilden, und in einer Vector database (bzw. einem Vektorindex wie Vector Search) nach Ähnlichkeit durchsucht. Google nennt Embeddings API und Vector Search ausdrücklich als Bausteine für semantische Suche und RAG.

Google Cloud grounding offerings

• Agent Search (auf Gemini Enterprise Agent Platform; früher: Vertex AI Search): Googles Such- und Empfehlungslösung für Unternehmen und zugleich der fertige, gemanagte RAG-Weg. Die Doku beschreibt es als Produkt, um sichere, unternehmenstaugliche gen-AI-Anwendungen für Suche und Empfehlungen in Google-Qualität zu bauen.
• RAG APIs = Bausteine, um eine eigene, individuell gesteuerte RAG-Pipeline zu bauen („build-your-own RAG“), wenn das vorgefertigte Agent Search nicht genug Kontrolle bietet. Laut Google-Doku (Namen teils noch im Vertex-AI-Branding):
  • Document AI Layout Parser (Dokumente strukturiert erfassen und in kontextbezogene Chunks zerlegen)
  • Embeddings API (Vektoren für Text oder multimodale Inhalte erzeugen)
  • Vector Search (semantisch ähnliche Einträge in großem Maßstab finden)
  • Ranking API (Treffer nach Relevanz zur Anfrage neu ordnen)
  • Grounded generation API (Antworten erzeugen, die auf Agent-Search-Datenquellen, eigenen Daten oder Google Search beruhen)
• Prüfungsrelevant ist vor allem die Abgrenzung: pre-built (Agent Search) = schnell, managed, wenig Aufwand vs. RAG APIs = flexibel, anpassbar, mehr Entwicklungsaufwand.

Sampling parameters and settings

• Sampling parameters = Einstellungen, die das Verhalten des Modells beeinflussen und angepasste Ergebnisse ermöglichen. Sie werden pro Anfrage über die API oder in Google AI Studio / Agent Studio gesetzt.
• Token count: Tokens sind sinnvolle Textstücke (Wörter, Wortteile, Satzzeichen). Faustregel bei Gemini: 1 Token ≈ 4 Zeichen, 100 Tokens ≈ 60–80 englische Wörter. Modelle haben ein Limit, wie viele Tokens sie auf einmal verarbeiten. Tokens sind auch die Abrechnungseinheit.
• Temperature steuert die „Kreativität“ bzw. Zufälligkeit der Wortwahl. Niedrig = fokussiert, vorhersehbarer (Fakten, Extraktion, Code). Hoch = vielfältiger, überraschender (Brainstorming, kreatives Schreiben). Bei 0 wird praktisch immer das wahrscheinlichste Token gewählt, kleine Abweichungen sind dennoch möglich.