Off-Cloud KI-Appliance
Silent AI
100% local, 100% secure, 100% yours.
Herausforderungen
für den Einsatz einer GenAI (GPT) im Unternehmen
KI im Unternehmen
KI kann mehrere Datenquellen nach gewünschten Informationen durchsuchen und die Ergebnisse in einer verständlichen Antwort zusammenfassen.
Auch Zusammenfassungen von ausführlichen Inhalten, Übersetzungen und Umformulierungen gehören zu den Stärken generativer KI.
Der Einsatz von Generativer KI (GenAI) wie ChatGPT bringt unbestritten eine Menge an Potenzial für Unternehmen und Institutionen mit sich.
Anders als Machine Learning, was seit Jahren für Predictive Maintenance und ähnliche Anwendungen eingesetzt wird, ist GenAI relativ neu. Durch große Sprachmodelle (Large Language Models, LLM) lassen sich komplexe Fragestellungen "menschlich" beantworten, anstatt nur eine Liste von Suchergebnissen zu liefern.
Fragen ersetzt Suchen, Antworten ersetzen Suchergebnisse.
Unternehmen und Institutionen erhoffen sich dadurch vor allem Steigerungen in der Effizienz bei der Beantwortung immer gleichen Fragestellungen, z. B. im First Level Support.
Bei der konkreten Planung für den Einsatz einer GenAI ergeben sich jedoch eine Reihe von Problematiken, die öffentliche GenAI-Lösungen mit sich bringen: Am drängendsten ist die Frage nach Privatsphäre und Datensicherheit, da bei Cloud-Lösungen die verwendeten Daten zum Training des LLM verwendet werden, um dessen "Wissen" anzureichern. Auch Halluzinieren und die intransparente Preisgestaltung bilden Hürden für den Einsatz öffentlich verfügbarer GPT-Lösungen.
It's your data.
Silent AI.
100% local, 100% secure, 100% yours.
Silent AI ist eine KI-Appliance, in der alle Komponenten für eine autarke KI kombiniert sind.
Die Plattform besteht aus einer hochmodernen Architektur, die für höchsten Datendurchsatz zwischen Storage und Prozessoren optimiert wurde.
Der Speicher basiert auf unseren hochsicheren und langjährig bewährten Storage-Systemen und bietet höchste Sicherheit vor Datenverlust und Cyber-Attacken.
Die Software setzt auf einem gehärteten Linux auf. Mehrere Vektor-Datenbanken mit integrierter Rechteverwaltung beinhalten die Informationen, die vorher über unsere Parser und Anbindungen aus Ihren Quelldaten erstellt wurden. Das verwendete Sprachmodell (LLM) ist für Ihre Anforderungen vortrainiert und vollständig autark. Das API erlaubt die Einbindung von Silent-AI-Funktionalität in andere Anwendungen.
Der Service im Rahmen von FAST LTA CARE kümmert sich um den reibungslosen und sicheren Betrieb des Systems, auf Wunsch stehen wir 24/7 zur Verfügung. Langfristig gleichbleibende Kosten sorgen für Planungssicherheit.
Lokal.
Silent AI läuft komplett in lokaler Umgebung und funktioniert ohne jede Online-Verbindung. So behalten Sie stets die vollständige Kontrolle über Ihre Daten, die Sie auch jederzeit, auch teilweise, entfernen können.
Privat.
Silent AI ist in Ihre Rechte- und Benutzerverwaltung eingebunden. Der Zugriff auf die verwendeten Daten richtet sich nach den Rechten der Nutzer. Ihre Daten verlassen niemals die lokale Umgebung.
Sicher.
Silent AI basiert auf unserer jahrzehntelangen Erfahrung mit hochsicheren Speichersystemen, bei denen niemals Daten verloren gehen oder durch Missbrauch kompromittiert werden dürfen.
Managed KI.
Silent AI wird als schlüsselfertige Appliance für KI-gestütztes Enterprise Knowledge Management verfügbar sein, z. B. zur Unterstützung für Vertrieb oder Kundendienst. Dabei können Daten aus verschiedenen Quellen integriert werden.
Nachhaltig.
Da in Silent AI kein Training des LLMs stattfindet, kommt das System mit viel weniger GPU-Ressourcen aus als vergleichbare Systeme. Das spart Energie und sorgt für niedrigen CO2-Abdruck.
Aus Deutschland.
Silent AI wird in Deutschland entwickelt und ist konform mit DSGVO und der Europäischen KI-Gesetzgebung. Sie haben Zugang zu lokalem Support und werden persönlich betreut.
Kein Nachtrainieren.
Lokale Sprachmodelle mit RAG ermöglichen eine komplett autarke KI.
Lokales LLM
Inzwischen sind jedoch nicht mehr nur kommerzielle "Black Box"-Sprachmodelle verfügbar. Die Open-Source-Community hat eine Vielzahl von frei verfügbaren LLMs hervorgebracht, die sich in Punkto Leistung nicht vor ChatGPT und anderen verstecken müssen.
Diese Modelle können lokal und damit komplett ohne jeden Internet-Zugriff eingesetzt werden.
Anstatt sehr große, universelle Sprachmodelle einsetzen zu müssen, die enorme Ressourcen zum Training und im Einsatz erfordern, können diese LLMs für spezielle Aufgaben vortrainiert und damit schlank gehalten werden.
RAG Injection
Um dieses lokale Sprachmodell dazu zu bringen, private Datenquellen zu berücksichtigen, werden diese mittels RAG (Retrieval Augmented Generation) zum Zeitpunkt der Abfrage mit dem Prompt übergeben. Die Informationen daraus bezieht das LLM aus einer Vektor-Datenbank, die vorab aus diesen Quelldaten erzeugt wurde.
Entfernt man für das LLM den Zugriff auf diese Datenbank, so sind auch keine Ergebnisse mehr abrufbar, die nur aus diesen privaten Informationen stammen können.
Der Einsatz einer schlanken LLM und RAG-Injection erlaubt es damit, die Sprache (Verständnis und Ausgabe) vom Wissen (Informationsquellen) zu trennen.
Transparente Nutzung
Anbieter öffentlicher GenAI-Lösungen werden zur Deckung der immensen Kosten verschiedene Werbemodelle in ihre Dienste integrieren müssen, so wie gerade von Perplexity angekündigt. Grundlage dafür ist natürlich die Auswertung der eingegebenen Anfragen und der resultierenden Antworten.
Selbst nach Anonymisierung besteht die Gefahr, dass aufgrund der Fragestellungen Firmeninterna bei GenAI-Anbietern gespeichert und verwendet werden.
Silent AI verzichtet selbstverständlich auf jede Art von Auswertung der Anfragen und Antworten. Nutzer können optional nach einer Anfrage die Qualität der Antwort bewerten und diese Bewertungen FAST LTA zur Verfügung stellen.
Privatsphäre und Datenschutz
ChatGPT im Unternehmen?
Eine aktuelle Studie unter Unternehmen in USA zeigt: Sicherheit und Privatsphäre sind die größten Herausforderungen beim Einsatz generativer AI in Unternehmen.
Quelle: sas.com, März 2024
Wir haben Perplexity gefragt:
Warum ist es keine gute Idee, sensible Unternehmensdaten bei ChatGPT hochzuladen?
Zusammenfassend lässt sich sagen, dass die Nutzung von ChatGPT für sensible Unternehmensdaten erhebliche Risiken birgt, die sowohl die Datensicherheit als auch die Einhaltung von Datenschutzvorschriften betreffen. Es ist daher ratsam, äußerst vorsichtig mit der Eingabe solcher Daten umzugehen und alternative, sicherere Lösungen in Betracht zu ziehen.
Anwendungen
Silent AI eignet sich für eine Reihe von text-basierten Anwendungen, bei denen private Daten den lokalen Standort nicht verlassen dürfen.
Intelligent Knowledge Management
Wissensmanagement gehört zu den größten Herausforderungen in Unternehmen und Behörden. Die Möglichkeit, schnell korrekte Antworten auf wiederkehrende Fragen zu erhalten, erhöht die Effizienz und senkt die Einarbeitungszeit.
Trotz fortschreitender Digitalisierung sind Informationen oft über mehrere Quellen und Systeme verteilt. Die Informationsbeschaffung findet in den meisten Fällen über mehrere Suchanfragen in der jeweiligen Plattform statt. Als Ergebnisse bekommen Mitarbeiter mehr oder weniger passende Suchtreffer, aus denen dann mühsam die relevanten Informationen herausgesucht werden müssen.
Silent AI transformiert die Informationsbeschaffung von mehreren Suchanfragen zu einer verständlichen Antwort mit genauen Quellangaben.
So können Mitarbeiter schnell relevante Antworten aus verschiedenen Quellsystemen finden.
Da Silent AI das bestehende Rechte-Management berücksichtigt, bekommen Mitarbeiter auch nur Antworten zu Informationen, zu denen sie Zugang haben. Außerdem können durch Entkoppeln von Datenbanken ganze Informationsbereiche temporär oder permanent unzugänglich gemacht werden.
Intelligent Coding Assistant
Längst hilft KI bei der Software-Entwicklung. Aktuelle Assistenz-Systeme basieren jedoch auf öffentlichen Cloud-Diensten. Dabei ist nicht immer transparent, welche Informationen und Code-Teile zur Verbesserung der KI beim Anbieter gespeichert und verwertet werden. Im schlimmsten Fall kann Code mit hohem Entwicklungsaufwand und entsprechendem Wert plötzlich frei für alle zur Verfügung stehen, ohne dass entsprechende Lizenzbedingungen eingehalten werden.
Der Einsatz von Silent AI beschränkt die Hilfestellung auf die lokale Entwicklungsumgebung.
Dazu können spezielle LLMs eingesetzt werden, die für die jeweilig eingesetzten Programmiersprachen optimiert wurden. Auch bereits im Unternehmen vorhandener Code kann per RAG zur Hilfestellung genutzt werden.
Silent AI kann für verschiedene Anwendungen unterschiedliche Open Source LLMs einsetzen, die auf die jeweiligen Anforderungen hin optimiert wurden.
KI-Integration
Silent AI lässt sich auch in vorhandene Software integrieren. Ersetzen Sie das Suchfeld Ihrer Lösung durch ein Fragefeld. Ihre Anwender erhalten Antworten mit Informationen direkt aus Ihrer Software, mit hoher Relevanz und genauen Quellenangaben.
Wir bieten ein umfangreiches API an, um Silent AI in Ihre Anwendung zu integrieren.
Ob DMS, Finanz-Anwendung, Dokumentation, Ticket-System oder Ihre spezielle Branchenlösung: Lokale KI-Integration mit Silent AI verbessert die User Experience und steigert die Produktivität.
Fragen und Antworten
Silent AI ist eine KI-Appliance, die in Ihrem oder einem Edge-Rechenzentrum installiert ist. Sie haben die komplette Kontrolle darüber, welche Verbindungen Silent AI aufbauen darf, welche Daten verarbeitet werden und wer Zugriff auf die Appliance hat. Silent AI setzt keine Verbindung zu irgendeinem Cloud-Dienst voraus (außer zum optionalen Monitoring des Systems selbst).
Silent AI basiert auf einer speziellen Storage-Plattform, die von unserer langjährigen Erfahrung im Bereich der sicheren Speichersysteme profitiert. Der Fokus bei der Entwicklung lag neben dem hohen internen Datendurchsatz auf Datensicherheit und Data Privacy.
Silent AI wird direkt an Ihre Datenquellen angebunden und erfordert keinen "Upload" von Dokumenten. Unsere Parser können dabei mit unterschiedlichen text-basierten Quellen umgehen, wie z. B. Office365 & Sharepoint, Confluence / Jira, Webseiten / Intranet. SIe bestimmen, wie häufig die Informationen von den jeweiligen Quellen aktualisiert werden.
Silent AI ist je Einheit und Anwendung für bis zu 50 Nutzer ausgelegt. Silent AI respektiert als lokale Appliance Ihr vorhandenes Rechte-Management (z. B. AD) und kann Funktionen und Zugang zu Datenbanken entsprechend freigeben und einschränken.
Silent AI basiert nicht auf einer token-basierten Abrechnung, die Sie "bestraft", je mehr Sie das System nutzen. Neben der Hardware sorgen gleichbleibende Lizenz- und Wartungsgebühren für langfristig planbare, niedrige Kosten.
Die meisten KI-Appliances zielen darauf ab, ein eigenes KI-Modell (meist Machine Learning, seltener GenAI / LLM) aufzubauen und für den speziellen Anwendungsfall zu trainieren. Dieser Prozess ist langwierig, erfordert extrem hohe GPU-Rechenleistung und ist dementsprechend sehr Energie- und kostenintensiv.
Silent AI kombiniert ein generelles, schlankes Open Source Sprachmodell mit gezielter RAG-Injection aus lokalen Vektor-Datenbanken. Dafür ist kein Training eines KI-Modells notwendig. Das Erstellen und Abrufen der Vektor-Datenbanken erfordert einen Bruchteil der GPU-Rechenleistung anderer KI-Appliances.
Machine Learning wird seit Jahrzehnten eingesetzt, um aus möglichst vielen historischen Daten möglichst hochwertige Prognosen für bestimmte Bereiche zu erhalten. Predictive Maintenance, Finanzprognosen und Wetterberichte gehören zu den üblichen Anwendungen.
Generative AI verbindet Informationen aus unterschiedlichen Quellen und kann in verständlicher Sprache befragt werden und Antworten liefern, aber auch Bilder, Töne, Videos erzeugen, Zusammenfassungen erstellen, Muster erkennen (Bild-Analyse), Analysen verfassen. Prognosen gehören nicht zum Repertoire von GenAI.
Nein, Silent AI ist eine textbasierte GenAI. Sie kann in verständlicher Sprache befragt werden und Antworten verfassen, die sich auf die zum Zeitpunkt der Abfrage zur Verfügung gestellten Zusatzinformationen per RAG bereitgestellten Informationen stützen. Darüber verfügt Silent AI über die Fähigkeiten des jeweiligen Sprachmodells, kann also Texte zusammenfassen, umformulieren und auch übersetzen.
Interessiert?
Gerne stellen wir Ihnen Silent AI im persönlichen Gespräch vor und evaluieren mit Ihnen mögliche Einsatz-Szenarien. Wir sind uns sicher: auch Ihr Unternehmen kann vom Einsatz lokaler generativer KI profitieren.
KI von FAST LTA?
FAST LTA ist bekannt als Spezialist für sichere und zuverlässige Speichersysteme. Warum entwickelt FAST LTA nun eine KI-APpliance und begibt sich damit in den Anwendungsmarkt?
Sicher & privat.
Wir sehen ein Problem bei derzeitigen KI-Angeboten. Cloud-basierte Dienste wie ChatGPT basieren auf der Idee, dass sich das Sprachmodell ständig verbessert. Dazu müssen Daten und Informationen, die bei der Nutzung der Dienste verwendet werden, zur Verbesserung des LLM herangezogen werden.
Dies kann nicht im Sinne unserer Kunden sein, deren Hauptanliegen es ist, ihre sensiblen Daten vor unerlaubtem Zugriff und Missbrauch zu schützen.
Deswegen schaffen wir mit Silent AI eine KI-Lösung, die 100% lokal und 100% sicher ist. Wir setzen damit unseren Anspruch fort, Verantwortung für Daten unserer Kunden zu übernehmen. Unser Engagement gegen Datenverlust geht weit über die üblichen Anstrengungen von IT-Anbietern hinaus. Das wollen wir auch im momentan am stärksten wachsenden Bereich anbieten können.
Zuverlässig & langlebig.
Basierend auf dem Grundsatz der Datensicherheit entwickeln wir Lösungen, die sich besonders durch ihre Zuverlässigkeit und Langlebigkeit auszeichnen. Dies setzen wir auch bei der Plattformentwicklung für Silent AI fort.
Da es bei dem Einsatz von KI im Unternehmen um Produktivität und Effizienz geht, ist die Zuverlässigkeit der Lösung von entscheidender Bedeutung. Deshalb lassen wir unsere Erfahrung der letzten Jahrzehnte in Silent AI einfließen.
Nachhaltig & persönlich.
Wir achten darauf, immer die nachhaltigste Lösung für eine Aufgabenstellung zu wählen. Das können wir nur umsetzen, wenn wir tatsächlich selbst kontrollieren können, welche Komponenten verwendet und wie sie eingesetzt werden.
ChatGPT hat laut Expertenschätzung einen CO2-Abdruck von 1,5-2 Gramm pro Anfrage (im Vergleich: eine Suchanfrage bei Google "kostet" ca. 0,2 Gramm). Große, öffentliche Sprachmodelle sind aufgrund ihres massiven Ressourcenhungers nicht nachhaltig.
Auch wenn die genauen Messergebnisse noch ausstehen, können wir bereits jetzt sicher vorhersagen: Lokale, vortrainierte LLMs verbrauchen sehr viel weniger Energie.
Zudem sind wir als deutsches – europäisches – Unternehmen um lokales Sourcing und kurze Wege bemüht. Sie profitieren von lokalen Ansprechpartnern, kurzen Lieferzeiten und direkten Kontakt mit persönlichen Ansprechpartnern.
