Bei der KI-Inferenz verarbeitet ein trainiertes Modell Echtzeitdaten, um eine Ausgabe zu erzeugen. Da Unternehmen von grundlegenden Copiloten zu KI-nativen Systemen übergehen, erfordert die Inferenz eine viel geringere Latenz und höhere Zuverlässigkeit.
Wichtige Erkenntnisse
-
Diese Infografik basiert auf Daten aus dem Bericht „Der Zustand von KI-Inferenz“ von Akamai, für den über 200 KI-Ingenieure und -Architekten befragt wurden.
-
Um auf eine KI-native Infrastruktur umzusteigen, müssen 61 % der Teams Reaktionszeiten von unter 100 Millisekunden erreichen.
-
Teams setzen zunehmend auf verteilte Cloudinferenz, um Workloads näher an die Nutzer und Daten heranzubringen.
-
Die Workloads gehen über die Automatisierung von Mitarbeiterprozessen hinaus, um das Vertrauen der Kunden zu stärken und sie vor Betrug zu schützen.
Häufig gestellte Fragen (FAQ)
Häufig gestellte Fragen (FAQ)
Die zentralisierte Inferenz leitet alle Nutzeranfragen an ein einzelnes entferntes Rechenzentrum weiter, was zu Verzögerungen führt. Verteilte Cloudinferenz stellt KI-Modelle auf kleineren Servern bereit, die näher an Nutzern und Daten liegen.
Es sind automatisierte Netzwerkverwaltungstechniken. Die Sicherheitsüberprüfung analysiert den eingehenden KI-Traffic, während die automatische Steuerung die Nutzeranfragen an den effizientesten Cloudserver weiterleitet, um eine bestmögliche Reaktionsgeschwindigkeit der KI zu gewährleisten.