Der beAnywhere Chatbot ist eine selbst entwickelte Applikation, die auf einem für Textkonversation-optimierten Large Language Model (LLM) aufbaut. Mit diesem Tool können Besucher unserer Website selbständig und interaktiv mit dem Content interagieren.
Technologie
Es handelt sich um eine Retrieval Augmented Generation Application (oft auch RAG Application genannt), die die Fähigkeiten von LLMs mit Domain-Know-how eines Unternehmens oder einer Organisation kombiniert und so zu deutlich informativeren Ergebnissen gelangt. Ein Large Language Model wie beispielsweise GPT 4 ist mit zig Millionen Datensätzen trainiert worden und besitzt dadurch eine beeindruckende Fähigkeit für die Generierung von Text oder Code. Dennoch haben diese Modelle keinen Einblick in Organisations-spezifische Daten und können deswegen spezifische Anfragen nicht oder nicht zufriedenstellend beantworten.
Bei einer RAG Application werden unsere Informationen mit einer semantischen, Vektor-Datenbank-basierten Suche und einer klassischen Keyword-Suche mit der Anfrage eines Besuchers kombiniert und mit dem so entstandenen Kontext an das Foundation Model (das zugrunde liegende Large Language Model) gesendet. Die generierte Ausgabe bezieht mit einer bestimmten Gewichtung den Kontext sowie das eigene "Wissen" des LLM in die Antwort mit ein.
Wir verwenden folgende Technologien und Techniken:
- Ein auf multilinguale Textgenerierung optimiertes Foundation Model (LLM) wie Mistral Large oder Anthropic Claude.
- ETL (Extract – Transform - Load) Pipelines zum Erstellen sogenannter Embeddings, die in einer Vector-Datenbank gespeichert werden. Hierbei wird dafür vorgesehener Content der beAnywhere Website mit einem Embeddings Model geparst und in maschinell lesbare Vektoren umgewandelt.
- In einer speziellen Vector-Datenbank werden die Embeddings indexiert.
- Suchanfragen werden mithilfe einer Semantic Search sowie einer Keyword Search durchgeführt.
- Die Ergebnisse werden als Kontext an das Foundation Model gesendet, um die finale Antwort zu generieren.
- Mithilfe von Prompt Engineering wird auf die Tonalität sowie weitere Inhalte Einfluss genommen.
Qualität der Antworten
Die Inhalte der Antworten basieren auf dem kombinierten "Wissen" unserer Website sowie den trainierten Daten des Foundation Models. Obwohl wir durch kontinuierliche Weiterentwicklung bestrebt sind, hochwertige Antworten zu ermöglichen, solltest du die erhaltenen Antworten immer mit gesundem Menschenverstand betrachten und gegebenenfalls weitere Informationen aus anderen Quellen einholen. Die RAG-Technologie ist ein wichtiger Schritt, um das sogenannte "Haluzinieren" von LLMs zu verringern; dennoch sind Fehler nicht ausgeschlossen.
Datenschutz
Die Bearbeitung von Daten (Eingaben von Benutzern sowie interne Daten) erfolgt ausschliesslich in Datenzentren innerhalb der Europäischen Union. Die Daten (Fragen sowie Antworten) verlassen in keinem Fall die EU. Ebenso werden die Daten nicht für das Training von LLMs verwendet, weder durch uns noch durch Anbieter von Large Language Modellen. Sämtliche Daten werden ausserdem verschlüsselt übermittel (encrypted in transit) und für die Dauer einer Anfrage gespeichert (encrypted at rest). Für die Verschlüsselung werden CMEK (Customer-managed Encryption Keys) verwendet.
Es erfolgt keine personenbezogene Speicherung von Daten (Anfragen oder Antworten des Chatbots). Ebenso werden keine Informationen wie IP-Adressen oder ähnliches gespeichert.
Weitere Informationen
Für weitere Informationen rund um Retrievak Augmented Generation und dem Einsatz von Künstlicher Intelligenz auf Websites kannst du uns gerne kontaktieren. Mit Gyden, unserer Agentur für Cloud Solutions und Gen AI Entwicklung, bieten wir modernste und massgeschneiderte Lösungen für Unternehmen an.