[00:00–02:30] Die verschwindende KI‑Grenze: Swapnil Bhartiya gibt eine Einführung zum aktuellen Wandel: von KI, die in isolierten Bereichen arbeitet, hin zur Durchdringung sämtlicher Anwendungen und Workflows. Danielle Cook erklärt, dass die klare Unterscheidung zwischen KI- und anderen Anwendungen heute nicht mehr funktioniert: Sämtliche Anwendungen enthalten heute KI, verbinden sich per API mit KI, speisen Daten in KI ein oder unterstützen KI – damit ist jede Anwendung Teil des KI‑Ökosystems.
[02:31–03:25] Transparenz und Schatten‑KI: Cook erläutert die unterschiedlichen Transparenzgrade, die Unternehmen in Bezug auf die KI‑Nutzung haben. Während regulierte Branchen möglicherweise über strenge Kontrollen verfügen, müssen die meisten Unternehmen davon ausgehen, dass in ihren Workflows eine weit verbreitete, nicht genehmigte Schatten‑KI-Nutzung stattfindet. Und das stellt für Plattformteams und Entwickler eine erhebliche Herausforderung bei der Überwachung dar.
[03:26–04:56] Anforderungen an KI‑Experimente und -Produktion im Vergleich: Durch die Umstellung von KI auf die Produktion verlagert sich der Fokus von der Modellperformance auf die Unterstützung realer Nutzer, Latenzanforderungen, kontinuierliche Inferenz und tatsächliche Kosten. Cook hebt hervor, dass GPUs nur ein Teil der Architektur sind: Die Produktion erfordert außerdem Computing, Speicher und Netzwerkfunktionen. Außerdem müssen Unternehmen erkennen, dass viele unterstützende Aufgaben (wie API‑Aufrufe und Datenbanken) effektiv auf CPUs ausgeführt werden können.
[04:57–06:09] Umgestaltung der Infrastrukturstrategie: Architekten müssen die gesamte Infrastruktur aus KI‑Perspektive betrachten, da KI in Echtzeit interagiert und eine kontinuierliche Datenverschiebung erfordert. Dies erfordert die Implementierung von Strategien wie Modellweiterleitung und semantischem Caching, um flächendeckend kosteneffiziente und hochwertige Kundenerlebnisse zu bieten.
[06:09–08:01] Datengravitation und Edge Computing: Das Paradigma verschiebt sich: Heute werden Daten nicht mehr zum Computing verschoben, sondern das Computing erfolgt dort, wo sich die Daten befinden. Da Daten aufgrund von Größe, Compliance oder Sensibilität häufig die Komponente sind, die sich am schlechtesten bewegen lässt, entwickeln sich Workload-Platzierung und vorhersehbare Egress-Kosten zu wichtigen Architekturentscheidungen.
[08:02–09:56] Die Komplexität einer einzelnen KI-Anfrage: Eine einzige Nutzeranfrage an eine KI‑Anwendung kann Dutzende verteilter Hintergrundanfragen auslösen, die mehrere Modelle, Vektordatenbanken und APIs umfassen. Cook merkt an, dass sich eine geringe, aber wiederholte Netzwerklatenz schnell aufaddieren kann, weil sich diese Systeme nicht nahe beieinander befinden. Damit sind heute Netzwerk oder Speicher der eigentliche Engpass – nicht die GPU.
[09:57–11:35] Verwaltung von verteilten Daten und Egress-Kosten: Da Unternehmensdaten über Public Clouds, private Infrastrukturen und Edge-Standorte verteilt sind, werden Datenbewegungen aufgrund gesetzlicher und geografischer Faktoren immer kostspieliger und komplexer. Cook betont, wie wichtig es ist, Datenübertragungsgebühren beim Aufbau der Architektur im Voraus zu berücksichtigen, um unerwartete Egress-Kosten zu vermeiden, die jährlich Milliarden erreichen können.
[11:36–13:08] Umgestaltung der KI‑Architektur: Für Teams, die heute eine Plattform aufbauen, empfiehlt Cook, Datenbewegungen ab dem ersten Tag zu berücksichtigen. Hierzu müssen sie von verteilten Anwendungen ausgehen, Workloads flexibel platzieren, um Nutzern effektive Services bereitzustellen, und die Portabilität gewährleisten, um schnelle Änderungen bei Modellen und Infrastruktur zu bewältigen.
[13:09–14:23] Ausgangspunkte für die Umgestaltung: Teams, die ihre Infrastruktur umstrukturieren, sollten zunächst die verfügbaren Computing-Ressourcen bewerten; bestimmen, welche Modelle ausgeführt werden sollen; bewerten, wer für die Daten verantwortlich ist; entscheiden, ob sie Infrastruktur selbst entwickeln oder einkaufen wollen; und die Token-Ökonomie analysieren.
[14:24–15:16] Der Wert kleinerer Modelle: Während sich die Branche auf die größten Modelle konzentriert, weist Cook darauf hin, dass kleinere Modelle manchmal bessere und kostengünstigere Ergebnisse liefern können. Indem Unternehmen für bestimmte Aufgaben ein kleineres Modell auf einer CPU nutzen, können sie Geld sparen und die Effizienz durch optimale Workload-Weiterleitung verbessern.
[15:17–16:15] Die Rolle des Edge Computings: Edge Computing stellt Rechenressourcen in der Nähe der Endnutzer bereit. Das kann verteilte GPU‑Standorte oder containerisierte Edge-Umgebungen umfassen – je nachdem, was der Kunde benötigt, um sein gewünschtes Erlebnis bereitzustellen und gleichzeitig die finanziellen Auswirkungen zu managen.
[16:16–20:23] KI-Strategien jenseits des Hypes: Cook merkt an, dass es kein universelles Reifegradmodell für KI gibt. Unternehmen müssen ihre Entscheidungen rund um die KI‑Infrastruktur auf ihre spezifischen Geschäftsziele abstimmen – egal, ob das bedeutet, dass sie einfach einen externen KI‑Service nutzen, interne GPUs für die Optimierung ausführen, Modelle von Grund auf neu trainieren oder serverlose Inferenz nutzen.