KARLI: Die KI-Agenten Plattform aus Österreich für Behörden und kritische Infrastruktur 

Künstliche Intelligenz ist längst keine Zukunftsmusik mehr. In vielen Unternehmen, Städten und Organisationen unterstützt sie bereits heute die tägliche Arbeit. Doch während US-basierte Lösungen häufig mit Datenschutzbedenken einhergehen, setzt KARLI aus Österreich auf Transparenz, CO₂-Neutralität und höchste Sicherheitsstandards – ganz im Sinne europäischer Werte. 

In diesem Beitrag erfährst du, warum KARLI gerade für öffentliche Einrichtungen, Energieversorger:innen und Unternehmen der kritischen Infrastruktur eine besonders spannende Lösung ist. 

Hinter KARLI steht FiveSquare 

Entwickelt wurde KARLI von FiveSquare, einem Unternehmen aus Linz mit klarer Mission: KI soll nicht nur leistungsfähig, sondern auch sicher, vertrauenswürdig und regional angepasst sein. Genau deshalb wurde KARLI auf Deutsch entwickelt, auf Anforderungen im DACH Raum zugeschnitten und für die Bedürfnisse großer Organisationen angepasst – ein deutlicher Vorteil gegenüber internationalen Systemen. 

Ein KI-System, das wirklich hilft 

KARLI ist kein weiteres ChatGPT-Interface mit hübscher Oberfläche. Hinter dem Namen stehen tief integrierte, anpassbare KI-Agenten, die gezielt auf den deutschsprachigen Raum abgestimmt sind. Betrieben auf Servern in Österreich, Deutschland und der Schweiz und entwickelt für reale Anforderungen von Organisationen, Unternehmen und Verwaltungen verstehen die Agenten von Hochdeutsch über Dialekte bis zu tief Wienerisch alles.

Statt generischer Antworten bietet KARLI präzise Informationen aus internen Wissensdatenbanken, kann Workflows automatisieren und kann bei Bedarf laufend mit den Daten des jeweiligen Unternehmens synchronisiert werden. Dadurch wird KARLI zu einem/einer echten digitalen Kollegen:in, der nicht nur antwortet, sondern durch modernste Modelle und Technologien dahinter Anfragen versteht, Prozesse automatisieren und den Arbeitsalltag unterstützen kann. 

Praxisnahe Einsatzbereiche: Drei konkrete Beispiele 

KARLI ist keine theoretische Spielerei, sondern ein System, das heute schon wirkt. Hier drei Beispiele, wie der Assistent Organisationen unterstützt: 

1. Kritische Infrastruktur: Linz AG Die Linz AG nutzt KARLI als internen „Intranet-Buddy“. Mitarbeiter:innen erhalten sofort Antworten auf wiederkehrende Fragen, schnellen Zugang zu Formularen und Hilfestellung bei Prozessen. Das spart Zeit, senkt Rückfragen – und fördert die Selbstständigkeit im Unternehmen. 

2. Öffentlicher Sektor: Landesrechnungshof OÖ Ein weiteres Beispiel liefert der Landesrechnungshof Oberösterreich. Dort hilft KARLI bei der Analyse von Förderdaten – etwa zur Kesseltausch-Förderung. Durch die intelligente Suche nach Unstimmigkeiten werden Prüfprozesse effizienter und transparenter gestaltet. 

3. Industrie: Poloplast Gemeinsam mit Poloplast wird KARLI auch in der Prozessautomatisierung eingesetzt. Egal ob die automatisierte Unterstützung von Ausschreibung , Email Bearbeitung oder Klassifizierung von deren Inhalt – mit KARLI und seinen Agents kann weit mehr als nur Chatbots gebaut werden. 

KARLI Voice: Fragen stellen, Antworten bekommen – einfach per Sprache 

Ein Highlight ist KARLI Voice. Damit interagierst du mit dem System einfach über Sprache – ganz gleich, ob am Desktop oder über mobile Geräte. Per Knopfdruck kannst du KARLI mitlaufen lassen und live Meetings transkribieren lassen oder deine Gegenüber direkt übersetzen, um Sprachbarrieren zu überwinden. Mit über 50 unterstützten Sprachen, regionalen Dialekten und sprachlichen Besonderheiten versteht KARLI Voice dich und dein Gegenüber in jedem Augenblick.

Und wenn einmal etwas nicht erkannt wird oder du spezifische Anforderungen hast, lässt sich das System gezielt auf deine Wünsche hin trainieren. Besonders stark wird KARLI Voice durch sogenannte Agentic Workflows: Sie ermöglichen interaktive Sprachsteuerung über den gesamten Prozess hinweg – sei es bei der Dokumentation im Pflegebereich, der Kommunikation mit Dritten oder in alltäglichen Arbeitsabläufen. 

Vom echten Einsatz zur Technik dahinter 

Ob als Sprachassistent:in, interner Wissensmanager oder Prozesshelfer – KARLI überzeugt im Alltag. Werfen wir nun einen Blick hinter die Kulissen. 

Flexibel integrierbar: API-Anbindung an deine Tools 

Die Stärke von KARLI liegt nicht zuletzt in seiner Offenheit: Per API lässt sich der Assistent in gängige Systeme wie ERP, CRM, DMS, PIM, MES und Intranet einbinden. 

Die Integration ist nahtlos und auf deine IT-Landschaft abgestimmt – dadurch wird KARLI zum zentralen Wissens- und Arbeitsassistenten, ohne dass bestehende Software ersetzt werden muss. 

KARLI LLM: Lokales Sprachverständnis auf höchstem Niveau 

Im Inneren arbeitet ein leistungsfähiges, lokal trainiertes Large Language Model (LLM). Anders als bei internationalen Anbieter:innen wurden diese Modelle von Fivesquare.ai zusätzlich mit österreichischen und deutschen Daten weiterentwickelt. 

Dank des Mixture-of-Experts-Ansatzes, der es uns ermöglicht aus den modernsten und hochentwickeltsten Modellen auszuwählen, wird immer jenes Modell verwendet, das für die konkrete Aufgabe am besten geeignet ist – egal ob es um Textzusammenfassungen, komplexe Anfragen oder Code-Erstellung geht. Ergebnis: Höhere Genauigkeit, bessere Sprachqualität, optimale Antworten. Und Open Source aus Österreich spielt dabei eine immer wichtigere Rolle. 

Datenschutz & Sicherheit: Europäische Standards, österreichischer Betrieb 

Ein zentrales Versprechen von KARLI: Maximale Sicherheit bei vollem Funktionsumfang. Wie das Team das garantiert, lest ihr in den folgenden Punkten: 

Serverstandort & CO₂-Neutralität 

KARLI wird vollständig auf österreichischen Servern betrieben – genauer gesagt in einem der modernsten Rechenzentren des DACH-Raums, das ausschließlich mit grünem Strom aus Wind- und Solarenergie betrieben wird. Übrige Emissionen werden durch CO₂-Zertifikate ausgeglichen. 

Attack Prevention Toolkit 

KARLI kann mehrschichtige Sicherheitsmechanismen nutzen, um Modellverzerrungen, manipulative Eingaben und sicherheitskritische Angriffe frühzeitig erkennen zu können. Dazu zählen Module wie Prompt- und Content-Filter, Erkennung von Prompt-Injektion, Jailbreak-

Versuchen sowie Monitoring von Antwortmustern für Bias auf spezifische Use-Cases optimiert. Das Ergebnis ist eine robuste, widerstandsfähige KI-Umgebung mit hohem Schutz vor Fehlverhalten und externen Angriffsvektoren. Vor allem Anwendungen, die öffentlich zugänglich sind und auf eine konkrete Wissensbasis fokussieren, profitieren von diesen Mechanismen. 

Halluzination-Prevention Framework 

KARLI verwendet in spezifischen Szenarien unterschiedlichster Mechanismen, um die Antwortqualität zu maximieren. Neben Antwortvalidierung, Konfidenz-Scoring und Quellprüfungen nutzt KARLI modernste Methoden, um unsichere oder inkonsistente Modellausgaben frühzeitig zu erkennen und zu verhindern. 

ISO-zertifizierte Sicherheit 

KARLI befindet sich im Zertifizierungsprozess nach ISO 27001 – dem wichtigsten Standard für Informationssicherheit. Bereits heute aber arbeitet KARLI und das Team mit diesen Standards und erfüllt höchste EU-Anforderungen. Das bietet verlässlichen Schutz und Datensicherheit – auch für sensible Organisationen. Und weil das noch nicht reicht, arbeitet das Team mit ewwITandTEL zusammen und hosted sämtliche Agenten auf ebenfalls zertifizierten Rechenzentren – weil doppelt hält immer besser. 

Sicherheitslayer von FiveSquare 

Ein zusätzlicher Layer sorgt für die gezielte Steuerung sensibler Inhalte. So kann durch ein User-Management definiert werden, wer auf welche Inhalte zugreifen darf. Diese feingranulare Kontrolle ist besonders für den Einsatz im öffentlichen Raum, bei Stadtwerken oder Verwaltungen ein entscheidender Vorteil.