#54 - Die Zukunft von LLMs: Retrieval Augmented Generation mit Tanja Nündel, Teil 2

In „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz. Thema der heutigen Folge: Wenn Unternehmen heute ein großes Sprachmodell wie ChatGPT produktiv einsetzen wollen, gibt es eine Reihe von Herausforderungen, die gelöst werden müssen, um zuverlässige, vertrauenswürdige, sichere und gesetzeskonforme Ergebnisse zu erzielen. Ein großer Bereich, in dem derzeit geforscht und gearbeitet wird, ist die Richtigkeit und Sicherheit der Daten, insbesondere die folgenden drei Punkte: Halluzinationen, Datentrennung und Datenschutz. Einer der vielversprechendsten Lösungsansätze ist die sogenannte Retrieval Augmented Generation (RAG), die verspricht, die aktuellen Probleme der LLMs kostengünstig und zuverlässig zu lösen. Im zweiten Teil des Interviews mit Tanja Nündel geht es darum, wie Retrieval Augmented Generation die Probleme der Halluzination, der Datenkapselung und des Datenschutzes lösen kann, welche Voraussetzungen dafür z.B. in einem KMU erfüllt sein müssen und wie dies konkret in einem Chatbot-Projekt aussehen könnte. Zeitstempel: 00:00 Intro 01:06 Wie wird das Problem der Datenrichtigkeit durch Retrieval Augmented Generation gelöst? 02:45 Datenkapselung in großen Sprachmodellen<br /> 06:23 Große Sprachmodelle selbst hosten<br /> 08:00 Datenschutz gewährleisten 10:21 Wissensmanagement als Voraussetzung für Retrieval Augmented Generation 12:10 Retrieval Augmented Generation mit einem Chatbot kombinieren 16:20 Ausblick: Retrieval Augmented Generation als Standardmethode 00:22:30 Outro Weitere Informationen: Oliver Schonschek, Aug 2023 "Lässt sich ChatGPT datenschutzgerecht nutzen?" https://www.security-insider.d....e/laesst-sich-chatgp Najeeb Nabwani, Sept 2023 "Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You?" https://deci.ai/blog/fine-tuni....ng-peft-prompt-engin Cobus Greyling, Jan 2024 "Large Language Model Hallucination Mitigation Techniques" https://cobusgreyling.medium.c....om/large-language-mo Patrick Lewis et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" https://arxiv.org/abs/2005.11401v4 Siqing Huo et al., 2023 "Retrieving Supporting Evidence for LLMs Generated Answers" (preprint) https://arxiv.org/abs/2306.13781v1 Cobus Greyling, Oct 2023 "Emerging RAG & Prompt Engineering Architectures for LLMs" https://cobusgreyling.medium.c....om/updated-emerging- Oded Ovadia et al. "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs" (preprint) https://arxiv.org/abs/2312.05934 Heute zu Gast: Tanja Nündel ist Expertin auf dem Gebiet der KI-gestützten Langtext- und Dokumentenanalyse sowie der KI-gestützten Suche und arbeitet seit über drei Jahren bei assono. Derzeit forscht sie zum Thema Retrieval Augmented Generation (RAG). https://www.linkedin.com/in/tanja-nuendel/ Über Thomas Bahn: Thomas Bahn ist Geschäftsführer, Mitgründer und Gesellschafter der assono GmbH. Seit mehr a