KI-Wissensmanagement und RAG: Leitfaden für Unternehmenswissen

In diesem ultimativen Komplettkurs lernst du komplett kostenfrei, wie du dein Wissen so speicherst, auffindbar machst und jeder KI zur Verfügung stellst, dass du nicht nur selbst deutlich mehr aus KI herausholst, sondern die wohl wertvollste und gefragteste Fähigkeit der nächsten Jahre erlernst und zwar KI-Wissensmanagement. Denn während 99 % bei KI immer nur an das nächste noch größere Modell oder KI-Tool denken, entscheidet in Wahrheit etwas ganz anderes darüber, ob KI im Unternehmen wirklich funktioniert und zwar das Wissen, auf das sie zugreifen kann. Schau nur, wie viel Wissen allein in deinem Unternehmen jeden einzelnen Tag ungenutzt herumliegt oder schlicht verloren geht in irgendwelchen E-Mails, in alten PDFs, in den Köpfen von Menschen und in tausenden Dokumenten, die niemand mehr findet. Eine aktuelle Atlassian Studie aus dem Jahr 2025 mit 12.000 Wissensarbeitern und 200 Führungskräften zeigt, dass Teams und Führungskräfte im Schnitt 25 % ihrer Zeit allein damit verbringen, nach Antworten zu suchen. Bei einer 40-Stunden-Woche sind das rund 10 Stunden pro Woche. Das ist also so, als würde ein Unternehmen vier Mitarbeiter einstellen, aber nur drei erscheinen wirklich zur Arbeit, weil der vierte permanent nur nach Informationen sucht, anstatt tatsächlich Wert zu schaffen. Jetzt wirst du sicherlich sagen: Aber Moment mal, es gibt doch schon KI. Ich kann doch einfach all mein Wissen, meine Dokumente und im Zweifel auch meine E-Mails meinem KI-Assistenten, sei es Chat GPT, Claude, Code oder was auch immer, freigeben und vielleicht in ein paar Markdown-Files ablegen, wenn ich gut bin, dann ist doch das Problem längst gelöst. Und für kleine Use Cases funktioniert das natürlich auch, doch in der Praxis wirst du schnell vor diese fünf Grenzen dabei stoßen. Erstens, laut der aktuellen McKinsey State of AI-Studie setzen mittlerweile 88 % aller Unternehmen KI in irgendeiner Form bereits ein, doch gerade einmal 7 % haben es geschafft, KI wirklich flächendeckend im Betrieb auszurollen. Das heißt, fast jeder hat KI inzwischen mal ausprobiert, aber nur ein verschwindend kleiner Bruchteil bekommt sie so zum Laufen, dass sie im ganzen Unternehmen echten Mehrwert liefert. Die Wahrscheinlichkeit liegt also gerade bei über 90 %, dass dein Unternehmen es noch nicht geschafft hat, KI optimierte Wissenssysteme für alle Mitarbeiter auszurollen. Zweitens, aktuelle KI-Chatbots wie Chat GPT oder auch Agenten wie Claude, Code und Codex, selbst mit einer Vielzahl von Dokumenten, können das, was Unternehmen brauchen, überhaupt gar nicht. Sie schauen ja auf dein Unternehmenswissen wie durch ein Schlüsselloch in eine riesige Bibliothek. Was genau in diesem Sichtfeld liegt, das können sie beeindruckend gut analysieren, aber alles links und rechts davon bleibt unsichtbar und das zeigt sich dann in ganz realen Problemen wie Halluzinationen und schlicht falschen Aussagen, Ergebnissen, die plötzlich immer schlechter werden und Antworten, die sich ständig ändern. Grenze Nummer 3, das ist natürlich der Datenschutz und Geschäftsgeheimnisse. Du kannst natürlich nicht einfach all dein Firmenwissen an irgendwelche US-KI-Systeme übergeben. Genauso wenig können Unternehmen es aber einfach verbieten. Stand heute nutzen laut Walkme und SAP ca. 80 % aller Mitarbeiter Schatten-KI-Systeme, sprich fast acht von zehn Mitarbeitern blasen dann gesamtes Firmenwissen, Geschäftsgeheimnisse und personenbezogene Daten gerade einfach in irgendwelche kostenfreien Chat GPT-Pläne und von dort aus landen sie nahtlos in den Trainingsläufen der nächsten Modelle, auf die die gesamte Welt Zugriff hat. Viertens, selbst wenn Open AI, Anthropic meinetwegen auch Microsoft Copilot irgendwann mal all diese Probleme lösen sollten, will doch niemand von diesen Unternehmen abhängig sein. Erstens entwickelt sich der Markt dafür einfach viel zu schnell, als sich auf einen einzigen Spieler festzulegen. Und zweitens willst du dein Unternehmenswissen doch bei dir haben und auch mit lokalen Modellen, also offline und sicher wirklich produktiv darauf zugreifen können. Und fünftens, einfache Basteleien mit n8n Chatbots oder Vektordatenbanken sind schlicht ein Fass ohne Boden. Jeder, der schon versucht hat, sich mit RAG und Wissensmanagement auseinanderzusetzen, gibt nach kurzer Zeit entmutigt auf, da es zu komplex ist und am Ende mehr Zeit kostet, als es dann doch einfach wieder händisch zu machen. Also, du bist nicht mal schuld daran, wenn ihr jetzt noch kein Wissensmanagement im Unternehmen habt. Die Großen können oder wollen es nicht für euch lösen und es selbst zu machen, erfordert einen enormen Aufwand, den sich aktuell oft nicht mal große Konzerne leisten. Das Potenzial, wenn du es aber beherrscht und das wirst du in dieser Komplettanleitung hier lernen, ist auf der anderen Seite gewaltig. Nur mal ein ganz kurzer Überblick, was dir das ganz konkret bringt. Erstens, du kannst mit all deinen Dateien mit wichtig allen KI-Modellen chatten, egal ob mit PDFs, mit Word-Dokumenten oder sogar technischen Zeichnungen und das Modell unabhängig. Also egal welches KI-Tool diese Woche führend ist, dein System bleibt immer bestehen und du wechselst die Modelle einfach per einem Klick. Zweitens, du sparst reale Arbeitszeit und wie wir vorhin gesehen haben, sogar ganze Stellen, die aktuell nur Zeit mit der Wissenssuche verschwenden und diese Zeit, die kann doch viel Gewinnbringender eingesetzt werden, so dass ihr mit dem gleichen Personaleinsatz mehr Umsatz und mehr Gewinn macht. Drittens, klingt banal, aber Mitarbeiter sind tatsächlich motivierter, nicht nur, weil sie endlich nicht mehr andere Menschen ständig nerven müssen, um einfache Informationen zu bekommen, sondern weil sie endlich ein KI-System haben, dass sie wirklich produktiv und rechtsicher im Arbeitsalltag nutzen können, ohne auf die Stärke und die Leistung von Claude, Chat GPT und Gemini zu verzichten. Viertens, die Einarbeitung neuer Mitarbeiter wird massiv beschleunigt, denn viele Unternehmen ist es Standard, dass die Einarbeitung neuer Leute mindestens mal 6 bis 12 Monate dauert, bis die Person wirklich wirtschaftlich ist. Stell dir nur mal vor, du kannst das einfach nur halbieren. Bei uns ist nicht mal einen Zehntel dieser Zeit notwendig, aber sagen wir, du halbierst es nur, dann ist jeder neue Mitarbeiter Monate früher produktiv und verursacht weniger Rückfragen, was wiederum auch Führungskräfte noch produktiver macht. Fünftens, natürlich trifft dein Unternehmen viel bessere Entscheidungen, weil ihr nicht mehr entweder nur einen Menschen nach seinem Bauchgefühl oder ein LLM, welches euer Unternehmen gar nicht kennt, fragt, sondern ein LLM, das euer gesamtes Firmenwissen und alle Daten in Entscheidungsprozesse mit einbezieht. Natürlich ist das ein Wettbewerbsvorteil, der gleichzeitig eine einheitliche Qualität sowie ausschließlich datenbasierte Entscheidungen sicherstellt. Mit Everlast AI habe ich gemeinsam mit meinem 35-köpfigen Team allein in den letzten 12 Monaten über 600 Unternehmen von mittelständischen Familienunternehmen bis hin zu europäischen Weltmarktführern bei der Einführung von genau solchen KI-Wissensmanagementsystemen unterstützt und daher habe ich mir die Frage gestellt, wieso es eigentlich so wenig Content zu diesem Thema gibt. In den USA gibt es wirklich nicht ein Video, welches das Thema mal wirklich sinnvoll aufbereitet und erst dadurch bin ich wirklich auf den Hauptgrund gekommen, wieso das Ganze für mich persönlich mittlerweile ein so großes Anliegen ist, dass ich ihm ein ganzes Video hier widme. Ja, wir denn gerade hierzulande kann man sich ja oft gar nicht vorstellen, dass jemand so viel Zeit in kostenfreie Videos investiert ohne irgendwelche Hintergedanken zu haben oder nur etwas verkaufen zu wollen und deswegen will ich gleich klarstellen, dass ich ein riesiges egoistisches Eigeninteresse daran habe, dass es unseren Unternehmen, speziell in Deutschland, Österreich und der Schweiz, die unsere Großeltern und Urgroßeltern mit harter Arbeit aufgebaut haben, wirtschaftlich gut geht. Je besser es dem deutschen Mittelstand geht, desto besser geht es mir und uns allen und das, was mir persönlich im so große Sorge bereitet, momentan, dass das Fundament, auf dem der gesamte deutsche Mittelstand seit Jahrzehnten seinen weltweiten Erfolg aufgebaut hat, gerade dabei ist, lautlos zu zerbröckeln und das liegt jetzt nicht an der Politik oder makroökonomischen Auseinandersetzung, denn der gesamte Erfolg des deutschen Mittelstands der immerhin 99,2 % aller deutschen Unternehmen über 53 % aller Beschäftigten und ganze 69 % aller Ausbildungsplätze stellt, basiert eben nicht auf besonders günstigen Steuern, nicht auf günstigen Rohstoffen, nicht auf billigem Kapital und auch nicht auf irgendeiner staatlichen Förderung, sondern auf einem einzigen, weltweit konkurrenzlosen Asset und zwar extrem tiefen, oft über drei oder vier Generationen verfeinerten Spezialwissen in radikal engen Nischen. Genau das ist doch der Zellkern der sogenannten Hidden Champions. Nehmen wir nur mal das Unternehmen Vakuumschmelzer als Beispiel. Wieso holt Donald Trump ein deutsches mittelständisches Familienunternehmen aus Hanau, ein hessischer Ort mit nicht mal 100.000 Einwohnern, für über 500 Millionen US-Dollar in die USA, damit dieser eine deutsche Mittelständler Amerika auf dem Weg endlich aus der vollständigen chinesischen Abhängigkeit bei strategischen Hochleistungsmagneten und elektromagnetischen Spezialwerkstoffen befreit. Ja, weil dort seit jetzt über 100 Jahren ein metallurgisches Spezialwissen aufgebaut wurde, dass die USA mit eigener Forschung und eigenem Kapital schlicht nicht in vertretbarer Zeit selbst nachbauen können und genau dieses Spezialwissen, das über Generationen aufgebaut und weitergegeben wird, das ist jetzt dabei, in einer Geschwindigkeit zu verschwinden, die einfach kaum jemand wahrhaben möchte. Deutschland steckt mitten in dem größten demografischen Umbruch der Geschichte. Laut dem Statistischen Bundesamt werden allein in den nächsten 15 Jahren rund 13,4 Millionen Erwerbspersonen in Rente gehen. Das sind knapp ein Drittel aller heutigen Erwerbspersonen verloren. Laut dem KFW Nachfolgemonitoring aus Januar sind mittlerweile 57 % aller Mittelständler, halte ich fest, 55 Jahre oder älter, während es vor 20 Jahren noch 20 % waren und während aktuell jährlich rund 109.000 dieser Unternehmen aktiv nach einem Nachfolger suchen, planen 114.000 Mittelständler pro Jahr ihre Firma einfach zu schließen, weil sie überhaupt niemanden mehr finden, der sie übernehmen kann. Ja und das noch viel größere Problem, das ist die Geburtenrate, die 2024 auf nur noch 1,35 Kindern je Frau gefallen ist und nach den vorläufigen Zahlen für 2025 sogar auf dem niedrigsten Stand der Nachkriegsgeschichte abgerutscht ist. Nur mal zum Einordnen, damit deine Bevölkerung rein rechnerisch sich überhaupt selbst erneuern kann, bräuchte es eigentlich 2,1 Kinder pro Frau. Bis 2050 schrumpft die deutsche Erwerbsbevölkerung selbst bei moderater Zuwanderung von 51 auf nur noch 48 Millionen und gleichzeitig wächst die Zahl der über 67-Jährigen um ein volles Viertel, also auf rund 20 Millionen. Auf 100 Arbeitende kommen heute bereits 33 Rentner und bis 2070 kommen auf 100 Erwerbstätige 61 Rentner. Bereits heute verlassen jeden einzelnen Werktag rund 4.000 erfahrene Köpfe den deutschen Arbeitsmarkt und nehmen ihr Wissen einfach mit. Wir erleben damit den ersten Moment in der deutschen Wirtschaftsgeschichte, in dem der Wissenstransfer von Mensch zu Mensch demografisch und mathematisch einfach unmöglich geworden ist. Und genau deswegen sind all die anderen Themen, über die wir eingangs gesprochen haben, also Datenschutz, Produktivität oder die Abhängigkeit von amerikanischen Anbietern im Vergleich zu dem, was hier im Hintergrund gerade passiert, fast schon Nebenkriegsschauplätze. Denn wenn dieses Wissen, dass unsere mittelständischen Weltmarktführer überhaupt erst zu Weltmarktführern gemacht hat, einfach unbemerkt mit in den Ruhestand wandert, ohne dass es jemand vorher gesichert hat, dann haben wir hier am Ende schlicht nichts mehr, was uns von der Konkurrenz aus China oder den USA überhaupt noch unterscheidet. So, und da du nun weißt, wieso dieses Thema für uns alle so existenziell ist und warum ich hier so viel Zeit in kostenfreie Videos investiere, ohne irgendwelche Hintergedanken zu haben, oder nur etwas verkaufen zu wollen, schauen wir uns jetzt gemeinsam diese fünf Kapitel an, in denen du lernst, wie du Wissen nicht nur sicherst, sondern mit KI wirklich nutzbar machst. Erstens, die Grundlagen. Zunächst gehen wir noch mal ganz grundlegend der Frage nach, was KI-Wissensmanagement eigentlich ist, was es bedeutet und was es von früheren Ansätzen fundamental unterscheidet. Zweitens, darauf aufbauend gehen wir Begriffe für Begriff alles durch, was technisch dahinter steckt, also RAG, Embeddings, Vektordatenbanken, Chunking, semantische Suche, Reranking bis hin zu Knowledge Graphs und GraphRAG und was du davon auch wirklich brauchst und was du ignorieren kannst. Selbst wenn du bisher noch nie etwas davon gehört hast, wirst du nach diesem Kapitel besser mitreden können als 99 % aller Manager und Berater da draußen. Drittens, die Umsetzung. Wir bauen gemeinsam von A bis Z eine vollständige RAG-Pipeline auf, die du eins zu eins in dein Unternehmen einsetzen kannst. Du schaust mir dabei live über die Schulter, siehst jeden einzelnen Schritt und kannst direkt mitmachen. Viertens, sprechen wir über Use Cases, also wir gehen noch mal zahlreiche konkrete Anwendungsfälle durch, wie wir und unsere Kunden KI-Wissenssysteme wirklich in der Praxis nutzen am Beispiel eines echten Corporate LLMs. Und fünftens, die Monetarisierung, also wie verwandelst du selbst dieses ganze Wissen jetzt in Umsatz, mehr Gehalt oder einen echten Wettbewerbsvorteil. Du bekommst von mir einen klaren Fahrplan, wie du als Angestellter, als Selbstständiger oder KI-Agentur einen der heißesten B2B Use Cases der nächsten Jahre verkaufst und wie du als Unternehmer dein eigenes Firmenwissen zum vielleicht stärksten Wettbewerbsvorteil deiner Branche machst, damit auch dieses Wissen hier am Ende nicht nur in deinem Kopf bleibt, sondern sich direkt in deinem Geldbeutel bemerkbar macht. Also fangen wir noch mal ganz vorne an. Was ist KI-Wissensmanagement jetzt eigentlich genau? Stell dir vor, du betrittst eine Bibliothek von unendlicher Größe mit sechseckigen Räumen, hohen Regalen und Büchern in jeder einzelnen Wand. In dieser Bibliothek steht jedes nur denkbare Buch, das je geschrieben werden könnte, jede Wahrheit, jede Lüge und jede Kombination aus Buchstaben. Genau diese Bibliothek hat der argentinische Schriftsteller Jorge Luis Borges schon 1941 in seiner heute weltberühmten Erzählung die Bibliothek von Babel beschrieben. Borges Bibliothekare verbringen ihr ganzes Leben damit durch die endlosen Gänge zu wandern auf der Suche nach einem Buch, dass ihre Frage beantwortet. Sie finden aber nie etwas, weil zwischen den unendlich vielen Wahrheiten genauso viele Variationen davon stehen, die sich nur durch ein einziges Wort oder ein einziges Komma unterscheiden. Diese Bibliothek von Babel enthält also die ganze Wahrheit der Welt, aber niemand kann sie finden. Wissensmanagement an sich ist also keineswegs ein neues Thema. Im Juli 1945, nachdem der Zweite Weltkrieg gerade vorbei ist, veröffentlicht Vannevar Bush, das ist derselbe Mann, der zuvor das gesamte amerikanische Manhattan-Projekt wissenschaftlich koordiniert hatte, im US-Magazin The Atlantic einen Aufsatz mit dem unscheinbaren Titel "As We May Think". Darin formuliert er einen Gedanken, der den gesamten weiteren Verlauf der Computer- und Informationsgeschichte substanziell bringen wird. Das eigentliche Problem unserer Zeit, schreibt Bush, sei längst nicht mehr neues Wissen zu erzeugen, sondern dieses gewaltige, bereits existierende Wissen im richtigen Moment überhaupt wiederzufinden. Es braucht also nicht einmal die Bibliothek von Babel, bereits das verfügbare Wissen vor 80 Jahren ist so gewaltig, dass sich die US-Regierung intensiv damit beschäftigt. Bush selbst entwirft dann als Lösung eine fiktive Maschine namens Memex, das ist ein Schreibtisch, der über Mikrofilm das gesamte Wissen eines einzelnen Forscher speichern und über klickbare Verknüpfungen, also das, was wir heute Hyperlinks nennen, blitzschnell abrufbar machen sollte. Aus diesem Aufsatz aus 1945 ist am Ende fast alles entstanden, was wir heute völlig selbstverständlich benutzen, also vom Internet, über jede Suchmaschine, über jedes Wiki bis hin zu RAG-Pipelines, mit der moderne KI-Systeme im Hintergrund arbeiten. Auch Borges selbst hat das 1945 noch mal aufgegriffen, allerdings spiegelt verkehrt in einer zweiten weltberühmten Erzählung namens das Aleph. Das Aleph ist bei Borges ein einziger Punkt in einem dunklen Kellergewölbe in Buenos Aires, in dem die gesamte Information des Universums simultan versammelt ist. Also jede Bibliothek, jedes Gesicht, ja jede einzelne Sekunde der Weltgeschichte, alles ist dort auf einmal sofort abrufbar an einem einzigen Punkt. Wo die Bibliothek von Babel ja das ohnmächtige Wandern durch unendliche Regale formuliert, beschreibt das Aleph, also das Gegenteil: Alles Wissen ist verdichtet, sofort zugänglich, exakt geordnet im Augenblick der Frage. Genau dieses Aleph technisch herzustellen, also einen einzigen Punkt zu bauen, von dem aus die KI in deinem Unternehmen in Millisekunden auf jede relevante Information zugreifen kann, ist im Kern alles, was KI-Wissensmanagement zu leisten versucht und was heute mit KI erstmals wirklich realisierbar ist. Und um zu verstehen, wie konkret das nun technisch funktioniert, ist zunächst wichtig zu verstehen, was kein wirkliches Wissensmanagement ist und welche typischen Fehler die meisten dabei machen. Den wirklich häufigsten Fehler hat auch Borges schon ein Jahr nach der Bibliothek von Babel, also 1942 mit einer eigenen Figur erfunden, namens Irenio Funes. Funes ist ein junger Uruguayer, der nach einem Sturz vom Pferd die unheimliche Fähigkeit erhält, sich an jedes einzelne Detail seines Lebens vollkommen zurück zu erinnern, egal ob der Schatten einer vorbeiziehenden Wolke, jede Maserung eines Holzbretts oder jede einzelne Sekunde der letzten 20 Jahre. Das klingt zunächst wie das perfekte Aleph, ist in Wahrheit aber das genaue Gegenteil. Funes ist unfähig zu denken, weil sein Gedächtnis ihn mit Detailflut und er weder abstrahieren, noch unterscheiden kann, was relevant ist und was nicht. Einfach gesagt, Funes weiß alles und versteht doch nichts. Genau dieses Funes-Problem nennt sich heute Kontext-Stuffing. Einfach gesagt, bedeutet das, immer wenn du deinem Agenten eine riesige Klotterd oder Agens.de, also eine zentrale Anweisungsdatei schreibst, Custom GPTs oder Ordner mit 50 PDFs bereitstellst oder seitenlange Systemprompts vorsetzt, du dein Modell exakt in diese Funes-Falle drückst. Es bekommt alles auf einmal vorgesetzt und kann im Moment deiner Frage aber nicht mehr unterscheiden, was jetzt wirklich relevant ist und liefert dir entweder schwammige, halluzinierte oder schlicht falsche Antworten. Sicherlich hast du das schon mal erlebt. Stell dir das noch mal ganz konkret vor. Du stellst deinem internen KI-System, egal ob Claude, Copilot oder was auch immer, eine einzige simple Frage. Welches unserer Angebote aus den letzten 12 Monaten haben wir an einen ähnlichen Kunden mit vergleichbarem Volumen verschickt und zu welchen Konditionen? Die Antwort auf diese Frage steckt irgendwo verstreut in 800 PDFs auf dem SharePoint, in den Mails von vier verschiedenen Vertrieblern und in einer Excel-Liste, die jemand mal angefangen und nach drei Wochen wieder aufgegeben hat. Jetzt kannst du das LLM auf all diese Informationen senden. Doch du hast faktisch deine eigene kleine Bibliothek von Babel gebaut, denn im naivsten Fall geht dieser KI-Bibliothekar jetzt los und liest jede einzelne PDF komplett von vorne bis hinten durch, nur um die paar Sätze herauszufischen, die deine Frage tatsächlich beantworten. Genau das ist Kontext-Stuffing, also dein Modell bekommt das gesamte Material in seinen Kontext gestopft und muss alles selbst durchwühlen. Dadurch wird es langsam, es wird teuer und es verliert die Mitte, also der sogenannte Lost in the Middle-Effekt und antwortet im besten Fall mit dem, was zufällig oben lag. Wenn du besonders fiffig bist, dann wirst du jetzt zurecht einwenden: Moment doch mal. Das geht doch schon längst besser. Der Bibliothekar, der kann doch einfach nach Schlagworten suchen. Insbesondere Coding-Agenten wie Claude Code haben ja Zugriff auf Bash-Befehle wie Grep, die genau das machen. Das ist im Kern auch der viel zitierte Ansatz, den Andrew Karpathy als seine persönliche LLM Knowledge Base vorgestellt hat. Das LLM nutzt im Wesentlichen simple Grep-Befehle und Volltextsuche auf einer riesigen Anzahl Markdown-Files. Für Karpathys eigene Forschung mit rund 100 Artikeln und 4.000 Wörtern funktioniert das tatsächlich auch überraschend gut, doch er positioniert seinen Ansatz selbst ausdrücklich als persönliches Wissens-Setup für die eigene Recherche, nicht als Lösung für echtes Unternehmenswissen mit tausenden verteilten Dokumenten in 50 verschiedenen Formaten. Wer schon einmal in einem 50-seitigen Vertrags-PDF nach z.B. Force Majeure gesucht hat, weiß genau warum die wirklich relevante Klausel heißt im Dokument oft ganz anders, als wir es im Kopf hatten und spätestens dann scheitert dieser Grep-Ansatz. So dem dauert in der Praxis sehr lange und ist auf Dauer super ineffizient. Die eigentliche Lösung ist also eine andere. Du gibst deinem Bibliothekar nicht nur die Bücher, sondern zusätzlich noch ein Verzeichnis. Und zwar nicht irgendein alphabetisches Stichwortverzeichnis, sondern eins, in dem vorab nach Bedeutung katalogisiert wurde, auf welcher Seite welche Akte welche Information thematisch und sinngemäß verankert ist. Stellst du jetzt deine Frage, schlägt dieser Bibliothekar weder in den Büchern selbst noch in einem reinen Wortindex nach, sondern direkt in diesem Bedeutungsverzeichnis. Er zieht in Sekundenbruchteilen exakt die drei Seiten heraus, die deine Frage tatsächlich beantworten und nutzt allein diese drei Seiten, um dir eine präzise Antwort zu liefern. Das ist im Wesentlichen der Kern von echtem RAG. Also noch mal auf einen Satz auf den Punkt gebracht, Wissensmanagement ist das, was du in deinem Unternehmen weißt und wie du es ordnest. RAG ist die Maschine, die im richtigen Moment das richtige Stück herausfindet und es deiner KI in die Hand drückt und wie du siehst, das eine ohne das andere bringt nichts. Du brauchst immer beide dieser Dinge. Und Glückwunsch, du weißt schon mal eine ganze Menge und zwar, was KI-Wissensmanagement wirklich ist, wieso einfache Markdown oder PDF-Dateien nicht ausreichen und dass es also ein richtiges RAG-System braucht. Nun schauen wir uns noch mal übersichtlich an, welche Arten von RAG es gibt, was der Unterschied zu Knowledge Graphs und GraphRAG ist und wie das technisch im Detail funktioniert, sodass du es selbst implementieren kannst. Im Kern ist RAG, also Retrieval Augmented Generation, nichts anderes als die technische Auflösung unseres Angebotsbeispiels von vorhin. Statt deiner KI vor jeder einzelnen Anfrage erst die kompletten 800 PDFs samt aller Mails und der angefangenen Excel-Liste in den Kontext zu kippen, schlägt RAG deine Frage in einem separat angelegten Bedeutungsverzeichnis nach und übergibt dem Modell anschließend nur die drei oder vier Stellen, die deine konkrete Angebotsfrage tatsächlich beantworten. Dadurch verschwinden auf einen Schlag drei Probleme. Das Modell halluziniert nicht mehr, zumindest kann es auf bis zu Null reduziert werden, das werden wir uns gleich anschauen, welche Hebel du dafür hast, weil es seine Antwort auf konkrete Belege aus deinen tatsächlichen Angeboten stützen muss. Zweitens, es bleibt schnell und token-effizient, weil es nicht für jede Frage tausende Seiten neu verarbeiten muss und es bleibt immer aktuell, weil neue Angebote, neue Verträge oder Protokolle einfach in den Wissensspeicher nachgepflegt werden können, ohne dass das Modell jemals neu trainiert werden müsste. Doch RAG ist heute längst nicht mehr gleich RAG. Es gibt mittlerweile eine ganze Klaviatur an Ansätzen, um Wissensmanagement zu lösen. Architektonisch unterscheidet die Praxis mittlerweile mindestens sieben eigenständige Varianten: das klassische Vector RAG, Hybrid RAG, Knowledge Graph RAG oder kurz GraphRAG oder Agentic RAG, hierarchisches RAG, Self-Reflective RAG und Iterative bzw. Multi-Hop RAG. Innerhalb dieser Architekturen kommt dann noch eine Reihe spezialisierter Optimierungstechniken zum Einsatz, mit denen sich die Qualität jeder Variante deutlich steigern lässt, wie Reranking, Contextual Retrieval, Query Expansion, Multi-Query, Late Chunking, Context-Aware Chunking und Fine-Tuned Embeddings. In ernsthaften produktivsystemen werden typischerweise eine Architektur plus drei bis fünf dieser Optimierungstechniken sinnvoll miteinander kombiniert. Und genau davon sollte man sich jetzt nicht erschlagen lassen, denn im Kern lässt sich jedes dieser Systeme auf zwei klar getrennte Phasen herunterbrechen, die wir jetzt gemeinsam durchgehen und auch umsetzen. Erstens, die Indexierungsphase, in der dein Wissen einmalig vorab aufbereitet und durchsuchbar gemacht wird. Und zweitens die Retrieval- und Generierungsphase, die bei jeder einzelnen Frage live abläuft. Innerhalb dieser zwei Phasen werden die konkret folgenden Begriffe immer wieder begegnen: Chunking, Embedding, Embedding-Modell, Dimensionen, Vektordatenbank, semantische Suche, BM25, Hybrid Search und Reranking. Das klingt erstmal auch nach viel auf einmal, doch keine Sorge, in den nächsten Minuten gehen wir genau diese zwei Phasen Schritt für Schritt durch und du wirst die einzelnen Begriffe danach sicherer einordnen können als 99 % aller KI-Gurus da draußen. Beginnen wir also mit der Indexierungsphase. Die zentrale Frage dieser ersten Phase lautet ganz simpel: Wie speichern wir unser Unternehmenswissen eigentlich so ab, dass eine KI es am Ende überhaupt verstehen und durchsuchen kann? Und hierbei ist ein zentraler Punkt zunächst elementar wichtig zu verstehen. Ein neuronales Netz, also auch jedes Sprachmodell wie Chat GPT oder Claude, versteht ganz grundsätzlich keine Wörter oder Buchstaben, so wie wir Menschen das tun. Es arbeitet ausschließlich auf Zahlen. Den Begriff Token hast du in dem Zusammenhang sicher schon mal gehört und ein Token ist im Kern genau das, also ein Wort oder ein kleines Wortbruchstück, das vom Modell intern in eine Zahl umgewandelt wird, mit der es dann tatsächlich mathematisch rechnen kann. Einer der einfachsten Wege zu verstehen, was das in der Praxis bedeutet, ist einfach auf Google Open AI Tokenizer einzugeben und dann wird dir auch gleich die erste Seite und zwar Tokenizer OpenAI API vorgeschlagen. Ja und in dieses Tokenizerfeld kannst du einen Text jeglicher Art reinschreiben, z.B. die Nordmark Antriebstechnik GmbH ist seit 2001 nach ISO 9001:2015 zertifiziert. Ja und hier siehst du sofort, was damit gemeint ist, wenn wir uns nämlich mal anschauen, wie viele Wörter dieser Satz hat, der hat nur 11 Wörter, allerdings wurde er in 25 Tokens verarbeitet. Du siehst die Aufteilung der einzelnen Tokens, die ist hier farblich markiert. Es ist relativ vergleichbar mit Silben, sind aber nicht genau Silben, denn du siehst, sie können auch teilweise einfach Leerzeichen enthalten oder eben entsprechend anders abgeschnitten werden und in den Token-IDs siehst du jetzt genau diese Zahlen-Repräsentation, also die Repräsentation des Wortbereichs "Die" hier an dieser Stelle ist der Token-Wert 8796 und hier steht auch der hilfreiche Richtwert und zwar 100 Tokens sind etwa 75 Wörter. Diese Info, die hat auch schon ganz reale Implikationen. Du kennst ja wahrscheinlich schon das Kontext-Window, also neue Modelle haben ein Kontextfenster von einer Million heutzutage, das bedeutet 750.000 Wörter kannst du innerhalb eines solchen Kontextfensters verarbeiten. Ja und diese einzelne Token-Nummer sagt noch überhaupt nichts darüber aus, was dieses Wort nun eigentlich bedeutet. Deshalb wird jedem dieser Wortstücke zusätzlich eine ganze Liste von Zahlen zugewiesen, die seine Bedeutung im Verhältnis zu allen anderen Wörtern der Sprache abbildet, so dass Wörter mit ähnlicher Bedeutung in diesem Zahlenraum nah bei einander liegen und Wörter mit völlig anderer Bedeutung weit voneinander entfernt sind. Und genau diese Zahlenliste, die nennt man Vektor. So und das zeige ich dir jetzt auch direkt mal in der Praxis. Und zwar arbeite ich hier an der Stelle mit Claude Code. Du kannst auch mit Codex arbeiten, du kannst auch mit Claude über die Desktop-App arbeiten, mein bevorzugter Weg ist hier das Arbeiten mit Claude Code über das Terminal. Das macht uns das Ganze jetzt deutlich einfacher. Und zwar will ich dir jetzt zeigen, wie sieht so ein Vektor denn überhaupt aus? Dafür nutze ich, so wie alles weitere n8n. Ich werde dir alle Ressourcen auch in der Videobeschreibung verlinken, sodass du es jetzt kostenlos auch mit nachmachen kannst. Und nein, wir werden diesen n8n Workflow jetzt nicht händisch zusammenklicken, sondern dafür nutze ich einen MCP und zwar den Schlonkowski n8n MCP, das ist nämlich mittlerweile auch der einzige Weg, mit dem ich empfehle mit n8n zu arbeiten. Ja, also du brauchst eben nicht mehr über das visuelle Dashboard noch irgendwas machen. Aber wie gesagt, das machen wir in diesen Demos jetzt gleich parallel mit. Das heißt, ich empfehle dir, dir einmal diesen n8n MCP zu installieren und hier gehst du jetzt wahrscheinlich in diese Sektion, dort findest du die Setup-Anweisungen, die kannst du dir einfach in Cloud Code kopieren, das einzige, was du brauchst, ist die Domain deiner n8n Instanz und dein n8n API-Key. Wie gesagt, beides findest du einerseits über die URL, über die dein n8n gehostet wird und über Settings und dann n8n API-Key, beides hinterlegst du in dieser Nachricht. Ich zeige dir das noch mal ganz kurz, dann startest du einfach eine neue Terminal-Session und drückst auf Enter und der MCP funktioniert. So, und Cloud ist in dem Moment auch schon fertig geworden. Er sagt der Workflow ist fertig gebaut und bereits zum Start. Das schauen wir uns jetzt mal an. Wenn ich jetzt hier auf Overview klicke, dann sehe ich jetzt hier, das genau wollte ich haben, Kurs Vektor Beispiel vor 2 Minuten. Es hat er gebaut und das testen wir jetzt mal aus und zwar execute workflow. Ja, sieht doch schon mal gut aus. Es scheint funktioniert zu haben. Das scheint funktioniert zu haben. Ja schauen wir uns noch mal kurz an, was der Prompt überhaupt gemacht hat. Einfach gesagt, haben wir den Begriff Hund, den Begriff Katze und den Begriff Auto als Vektoren gespeichert und hier bekommen wir das Ergebnis angezeigt. Das sind die Vektoren, also diese Zahlen Repräsentationen von Wörtern, ja und hier siehst du nun die Vektoren, also der Bedeutungsraum dieser Wörter. Ja und hier sehen wir auch den Vergleich dieser Wörter, was entsprechend Sinn macht, dass Hund und Katze bei einer vereinfache ich spreche jetzt vereinfacht bei einer Ähnlichkeit von 0,71 liegen und Hund und Auto liegen bei 0,65 in diesem Zahlen basierten Bedeutungsraum und das macht demnach auch super viel Sinn, weil Hund und Katze ja von der Bedeutung näher beieinander liegen als Hund und Auto. Das sind also Vektoren. Und nehmen wir uns jetzt mal als konkretes Beispiel ein einzelnes Dokument, sagen wir das QM-Handbuch nach ISO 9001 der Nordmark GmbH mit dutzende numerierten Abschnitten auf rund 40 Seiten. Ich habe das Ganze auch noch mal in Code hier parallel geöffnet, hier siehst du das Dokument zu Arbeitssicherheit mit 11 Seiten, zu IT-Datenschutz, also wirklich PDF-Dateien, formatiert aus einem Word-Dokument, streng vertraulich natürlich. Und hier habe ich das QM-Handbuch mit 44 Seiten, in Summe haben wir es hier also mit sechs PDF-Dateien im Rahmen des QM-Managements zu tun mit hunderten Seiten und jetzt schauen wir uns an, was eigentlich passieren muss, damit die KI dieses Dokument überhaupt sinnvoll benutzen kann. Und im allerersten Schritt muss dieses QM-Handbuch nun von seiner Wortform in seine Vektorform übersetzt werden. Und für diese Übersetzung gibt es eine ganze Klasse spezialisierter KI-Modelle, die sogenannten Embedding-Modelle. Dazu gebe ich, das ist jetzt der gleiche Ordner, den du gerade schon gesehen hast, und hier habe ich, wie gesagt, Cloud offen, ich gebe ihm jetzt schon mal den nächsten Prompt und zwar soll Cloud die gesamte RAG-Pipeline inklusive Embedding-Modell jetzt schon mal initialisieren. Cloud hat aber auch von dem Workflow von vorhin automatisch ein Embedding-Modell genutzt, weil er weiß, um das Thema Vektoren zu erklären, macht es Sinn ein Embedding-Modell zu nutzen und in dem Beispiel, wie man hier sieht, hat er ein Embedding-Modell von Mistral, also dem französischen KI-Unternehmen genommen. Und davon gibt es eben auch eine ganze Menge. Wenn du z.B. zu Open Router gehst und dann auf Modelle, also Open Router ist im Wesentlichen einfach nur ein API-Provider, der deine Anfragen an alle KI-Modelle, die es so gibt, weiterleitet und hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst, also die Claude-Modelle, Gemini-Modelle, Chat GPT-Modelle, Nvidia-Modelle, und hier siehst du nun auch die Embeddings. Also, wenn du hier auf Embeddings klickst, dann sieht man, es gibt eine ganze Vielzahl von Embedding-Modellen hier. Wir haben ein Gemini-Embedding-Modell, auch Open AI hat Text-Embedding-Modelle. Hier wir haben ein Mistral, also dem französischen KI-Unternehmen genommen und davon gibt es eben auch eine ganze Menge. Wenn du z.B. zu Open Router gehst und dann auf Modelle, also Open Router ist im Wesentlichen einfach nur ein API-Provider, der deine Anfragen an alle KI-Modelle, die es so gibt weiterleitet und hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst. Ja und hier siehst du nun auch die Embeddings. Also, wenn du hier auf Embeddings klickst, dann sieht man es gibt eine ganze Vielzahl von Embedding-Modellen hier. Wir haben ein Gemini-Embedding-Modell, auch Open AI hat Text-Embedding-Modelle, hier haben wir ein Mistral Codestral. Ja, und da gibt es eben auch eine ganze Menge, wenn du z.B. zu Open Router gehst und dann auf Modelle. Ja, hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst, also die Claude-Modelle, Gemini-Modelle, Chat GPT-Modelle, Nvidia-Modelle, und hier siehst du nun auch die Embeddings. Also, wenn du hier auf Embeddings klickst, dann sieht man es gibt eine ganze Vielzahl von Embedding-Modellen hier. Wir haben ein Gemini-Embedding-Modell, auch Open AI hat Text-Embedding-Modelle. Hier wir haben ein Mistral, also dem französischen KI-Unternehmen genommen und davon gibt es eben auch eine ganze Menge. Wenn du z.B. zu Open Router gehst und dann auf Modelle. Also Open Router ist im Wesentlichen einfach nur ein API-Provider, der deine Anfragen an alle KI-Modelle, die es so gibt, weiterleitet und hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst, also die Claude-Modelle, Gemini-Modelle, Chat GPT-Modelle, Nvidia-Modelle, und hier siehst du nun auch die Embeddings. Also, wenn du hier auf Embeddings klickst, dann sieht man es gibt eine ganze Vielzahl von Embedding-Modellen hier. Wir haben ein Gemini-Embedding-Modell, auch Open AI hat Text-Embedding-Modelle, hier wir haben ein Mistral, also dem französischen KI-Unternehmen genommen und davon gibt es eben auch eine ganze Menge. Ja, und da gibt es eben auch eine ganze Menge, wenn du z.B. zu Open Router gehst und dann auf Modelle. Die Cloud hat aber auch von dem Workflow von vorhin automatisch ein Embedding-Modell genutzt, weil er weiß, um das Thema Vektoren zu erklären, macht es Sinn ein Embedding-Modell zu nutzen und in dem Beispiel, wie man hier sieht, hat er ein Embedding-Modell von Mistral, also dem französischen KI-Unternehmen genommen und davon gibt es eben auch eine ganze Menge. Wenn du z.B. zu Open Router gehst und dann auf Modelle. Also Open Router ist im Wesentlichen einfach nur ein API-Provider, der deine Anfragen an alle KI-Modelle, die es so gibt, weiterleitet und hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst. Auch OpenAI hat Text-Embedding-Modelle. Hier, wir haben ein Mistral, also dem französischen KI-Unternehmen genommen und davon gibt es eben auch eine ganze Menge. Wenn du z.B. zu Open Router gehst und dann auf Modelle. Also Open Router ist im Wesentlichen einfach nur ein API-Provider, der deine Anfragen an alle KI-Modelle, die es so gibt, weiterleitet und hier hast du zum einen die ganz normalen textbasierten KI-Modelle, die du alle auch kennst. Nimm mir mal das einfache Beispiel, was ist der Standort der Nordmark GmbH? Ja, so die Abfrage ist sofort durchgelaufen und jetzt wurden entsprechend die fünf Chunks, darauf haben wir es ja begrenzt zurückgegeben. Ja, in diesen etwas zu dieser Frage steht. Und das sieht auf den ersten Blick auch ganz gut aus, also hier steht auf jeden Fall etwas zum Standort drin. Im zweiten Chunk steht nichts drin, so wie ich es erkennen kann und bei den anderen, beim letzten steht, wie es aussieht, glaube ich, noch mal was drin oder könnte etwas drin stehen. Ja, jetzt ist das, wie gesagt, die schlicht nackte Vektordatenbankabfrage. In der Praxis schalten wir noch ein LLM dazu. Das machen wir nämlich gleich, weil mir jetzt erstmal wichtig ist festzuhalten, dass du an dieser Stelle bereits den klassischen RAG-Ansatz vollständig verstanden und auch umgesetzt hast. Also damit erst mal herzlichen Glückwunsch, du gehört es nicht zur breiten Masse und bist mit deinem Wissen jetzt schon 99 % aller KIs, Berater und Agenturen da draußen meilenweit voraus. Du darfst dir an dieser Stelle also wirklich einmal selbst auf die Schulter klopfen und das hier auch mal ehrlich feiern. Und wenn dir dieser Kurs hier gefallen hat, findest du auf diesem Kanal hier bereits eine ganze Reihe weiterer solcher Megakurse in genau dieser Tiefe etwa zu Corporate LLMs, zu eigenen KI-Apps, zu Claude Code, zu Workflow-Automations und vielen weiteren Themen, die ich dir an dieser Stelle wirklich noch mal von Herzen empfehle. Ja, und wenn du Unternehmer bist, dann bitte renn jetzt nicht einfach blind drauf los und führe das erstbeste RAG-Tool da draußen ein, dass dir irgendein Berater auf dem Tisch knallt. Die teuerste Variante ist nämlich nicht die, in der du gar nichts machst, sondern die, in der du ein halbfertiges System einführst oder dich am Ende verhaften lässt in irgendwelchen Lösungen, aus denen du dann so schnell nicht mehr rauskommst. Der erste Schritt ist also erstmal die Bestandsaufnahme. Wo liegt euer Wissen aktuell? In welchem Zustand ist es? Welche zwei oder drei konkreten Wissensmanagement-Use Cases würden eurem Unternehmen gerade den größten Hebel bringen? Und genau das ist auch im Kern das, was wir bei Everlast AI allein in den letzten 12 Monaten mit über 600 Unternehmen gemacht haben, von klassischen Mittelständlern über Hidden Champions bis hin zu europäischen Weltkonzernen und wenn du Lust hast, dieses Thema jetzt einmal unverbindlich in einem Strategiegespräch zu lösen, dann findest du den Link dazu auf kiberatung.de. Ja, und das Verrückte an KI-Wissensmanagement ist nämlich genau das, es ist kein Hype oder spektakuläre Schlagzeile und auch kein neues Modell, das bald schon wieder veraltet ist, sondern es ist einfach nur gesunder Menschenverstand und das ist auch der Grund, weshalb es so wenig Menschen da draußen machen. Während sich die gesamte KI-Welt immer nur auf die neuesten Tools und Agenten stürzt, fliegt der eigentliche Engpass, an dem aktuell in der Praxis fast jedes ernsthafte KI-Projekt scheitert, vollständig unter dem Radar und das ist der produktive Zugriff auf das eigene Wissen. Und genau deshalb ist KI-Wissensmanagement die wahrscheinlich größte unentdeckte Chance der nächsten Jahre und gleichzeitig der perfekte Einstieg, um KI wirklich gewinnbringend für Unternehmen auszurollen. Und wenn du tatsächlich bis hierhin noch dabei bist, dann möchte ich mich jetzt wirklich von Herzen noch mal bei dir bedanken. Im Schnitt bleiben bis an diese letzte Minute hier eines solchen langen Videos nur noch rund 1 % aller Zuschauer übrig und dass du diesen kompletten Kurs hier bis zum Ende durchgehalten und durchgearbeitet hast, das beweist ganz deutlich, du gehörst nicht zur breiten Masse und bist mit deinem Wissen jetzt schon 99 % aller KI-Berater und Agenturen und Manager da draußen meilenweit voraus. Du darfst dir an dieser Stelle also wirklich einmal selbst auf die Schulter klopfen und das hier auch mal ehrlich feiern. Und wenn dir dieser Kurs hier gefallen hat, findest du auf diesem Kanal hier bereits eine ganze Reihe weiterer solcher Megakurse in genau dieser Tiefe etwa zu Corporate LLMs, zu eigenen KI-Apps, zu Claude Code, zu Workflow-Automations und vielen weiteren Themen, die ich dir an dieser Stelle wirklich noch mal von Herzen empfehle. Ich freue mich riesig dich dort wiederzusehen. Bis dahin, bleib am Ball, hol das Maximum aus dem Gelernten hier heraus und wir sehen uns dann dort drüben. Dein Leo.