Vertrauen in KI-Modelle

Ständig kommt die Frage auf, wie wir LLM-Anbieter auswählen, nach welchen Kriterien wir entscheiden und ob es neben Kosten, Laufzeiten und anderen eher technischen Kriterien, weitere Kriterien gibt. Wir fassen diese Punkte zusammen unter dem Begriff Trust.

Es geht in dieser Betrachtung weniger um den App Nutzer, den Privatkunden, sondern mehr wie sich das LLM in einem integrierten System verhält, beispielsweise als Agentic AI Lösung, wie ein Akten-Assistent.

Zugegeben, hängt es sehr stark davon ab, was man benötigt, weil das Einsatzszenario auch darüber entscheidet, ob ein LLM benutzt wird, dass eher geschwätzig ist oder genau umgekehrt, also eher „wortkarg“. Dies muss in die Bewertung als Kriterium einfließen – geschwätzig kann im Generative AI-Umfeld positiv sein, beim Akten-Assistenten für die Versicherungsbranche weniger.

Schon mal vorweggenommen:

Vertrauen in KI ist kein technisches Problem. Es ist ein Problem der Intentionen, der Governance und der kulturellen Infrastruktur, aus der ein Modell hervorgeht.

Das Ergebnis:

Das Ergebnis ist eine Einstufung, der aktuell verfügbaren LLMs am Markt unterteilt nach Trust-Level: hoch, mittel oder gering.

Wir beurteilen hierbei auch, fernab von Kosten und IT-Kriterien, ob und wie wir den Ergebnissen trauen, also qualitativ. Für das Kriterium Trust versuchen wir LLMs eher geringer auszuschließen, wenn diese ideologisch übersteuert sind. Für unsere Einsatzzwecke bevorzugen wir meist die LLMs, welche pragmatisch agieren, und wo wir verstehen, welche Intentionen im Hintergrund wirken.

Der Trust-Report zu aktuellen LLMs kann direkt bei sol4data info@sol4data.com  angefordert werden. Buchen Sie hierzu einen Termin bei einem KI-Architekten.

Zusammenfassung:

Modelle unterscheiden sich weniger durch Parameter, sondern durch das Wertesystem der Organisation, die sie baut. Die generierten Antworten spiegeln dies wider.

Wir bieten Anleitung zur Auswahl von LLMs auch wenn es weit über Preise für Token hinausgeht.