Talk |
BASTA! Herbst 2024
| 18.09.2024
Advanced RAG: AI-basierte Retriever-Auswahl mit Turbo
Retrieval Augmented Generation (RAG) verwendet Daten aus Retrieval-Systemen wie Vector-DBs, um die relevanten Informationen zur Beantwortung einer Benutzeranfrage zu finden. In Real-World-Szenarien geht es häufig um mehrere Quellen (Retriever) mit unterschiedlichen Datenarten. Um den zur Frage passenden Retriever auszuwählen, können wir eine MultiRoute-Chain nutzen. Hierbei wählt das LLM dynamisch die semantisch am besten passende Datenquelle für die Suche. Allerdings verlängert dieser Ansatz die Antwortzeit unseres AI-Workflows und kostet Tokens - also Geld.
Geht das auch schneller und günstiger? Ja! Ein Semantic Router nutzt für die Quellenauswahl kein LLM sondern ein Embedding Modell. Dieser Ansatz liefert eine mit einem LLM vergleichbare Qualität bei der Quellenauswahl, jedoch in Millisekunden und zu einem Bruchteil der Kosten.
Mit Live-Coding implementieren wir in einem Sample unter Verwendung des LangChain-Frameworks zuerst eine MultiRoute-Chain und optimieren dann auf eine Variante mit Semantic Router. Letztendlich zeigen beide Ansätze, wie die Leistung von RAG bei der Beantwortung von Benutzeranfragen deutlich verbessert werden kann.
Principal Consultant für Generative AI bei Thinktecture mit Fokus auf effektiver Integration von AI in Geschäftsapplikationen und Prozessen.
Event
BASTA! Herbst 2024
16.09.24
- 20.09.24
@ Mainz
(DE)
Slidedeck
Weitere Artikel zu AI, Generative AI, LangChain
AI
Die Llama 4-Revolution: Wie Metas neue KI-Familie den Open-Source-Markt neu definiert
Meta hat mit der Llama 4-Familie eine neue Generation von KI-Modellen vorgestellt, die durch zwei wesentliche Innovationen hervorsticht: ein 10-Millionen-Token-Kontextfenster und native Multimodalität. Die Familie besteht aus Scout (109 Milliarden Parameter), Maverick (400 Milliarden Parameter) und dem noch in Entwicklung befindlichen Behemoth (2 Billionen Parameter). Durch die Mixture-of-Experts-Architektur und Unterstützung für 200 Sprachen bieten diese Modelle europäischen Unternehmen eine attraktive Alternative zu proprietären Lösungen. Trotz hoher Hardware-Anforderungen und einiger Lizenzeinschränkungen ermöglichen sie eine souveräne KI-Strategie ohne Vendor Lock-in bei gleichzeitig wettbewerbsfähiger Leistung und Kosteneffizienz.
06.04.2025
AI
AI-Funktionen zu Angular-Apps hinzufügen: lokal und offlinefähig
Künstliche Intelligenz (KI) ist spätestens seit der Veröffentlichung von ChatGPT in aller Munde. Wit WebLLM können Sie einen KI-Chatbot in Ihre eigenen Angular-Anwendungen integrieren. Wie das funktioniert und welche Vor- und Nachteile WebLLM hat, lesen Sie hier.
26.02.2024
AI
Integrating AI Power into Your .NET Applications with the Semantic Kernel Toolkit – an Early View
With the rise of powerful AI models and services, questions come up on how to integrate those into our applications and make reasonable use of them. While other languages like Python already have popular and feature-rich libraries like LangChain, we are missing these in .NET and C#. But there is a new kid on the block that might change this situation. Welcome Semantic Kernel by Microsoft!
03.05.2023