[00:00–00:21] Die versteckten Kosten der Datenbewegung: Swapnil Bhartiya gibt eine Einführung zum Thema und erklärt, dass die Egress-Kosten Teams oft überraschen, wenn sie KI in der Produktion bereitstellen. Er stellt die Frage, welcher Anteil der zentralen Inferenzkosten auf Datenbewegungen zurückzuführen ist und wie Unternehmen diese Kosten planen können.
[00:22–01:07] Modellierung der vollständigen KI‑Rechnung: Ari Weil erklärt, dass erfolgreiche Unternehmen in den nächsten 12 bis 36 Monaten ihre gesamte Rechnung modellieren werden, anstatt sich auf die Einzelposten zu verlassen, die Hyperscaler anpreisen. Er erklärt, dass Unternehmen hierfür Skalierungsvariablen wie Nutzerakquise und Gleichzeitigkeit verstehen und genau wissen müssen, wo sich geistiges Eigentum und externe Lerndaten befinden.
[01:08–01:40] Vergleich zwischen interner und cloudbasierter Infrastruktur: Weil erklärt, dass Teams zunächst berechnen sollten, welche Kosten anfallen, wenn sie Daten in ihrer eigenen Umgebung verwalten, z. B. in einem gemieteten oder privaten Rechenzentrum, anstatt hierfür Cloud-Anbieter zu verwenden. Mit diesem Prozess können Teams Datengrenzen, Verfügbarkeitszonen und die finanziellen Auswirkungen ermitteln, die eine Verteilung über verschiedene Infrastrukturtypen mit sich bringt.
[01:41–02:24] Die finanzielle Barriere der Cloud-Egress-Kosten: Weil erläutert die hohen Kosten, die mit dem Export von Daten oder dem Verlassen einer Cloud-Partnerschaft verbunden sind, und weist darauf hin, dass Gebühren von 9 bis 12 Cent pro Gigabyte explizit dafür sorgen sollen, dass Daten an die Hyperscaler-Plattformen gebunden sind. Er fügt hinzu, dass einige Anbieter zwar eine einmalige Datendownload-Ausnahme anbieten, doch dass sich Unternehmen hierfür wirklich sicher sein müssen, dass sie die Cloud des Anbieters vollständig verlassen wollen.
[02:25–03:15] Die Umstellung auf eine neutrale Architektur: Das Gespräch verlagert sich auf neutrale Architekturen, mit denen Unternehmen Daten an einem Ort speichern, sie über verschiedene Bereiche hinweg synchronisieren und dann dort bereitstellen können, wo es am logischsten ist. Weil merkt an, dass eine konvergierte Core-to-Edge-Architektur zunächst teuer erscheinen mag, aber letztlich zu einem Kostenvorteil wird, da hiermit die Kosten für die Datenverschiebung zwischen Microservices über geografische Grenzen hinweg entfallen.
[03:16–03:48] Bestimmung der Workload-Platzierung: Weil erklärt, dass Unternehmen für eine vollständige Architekturstrategie genau bestimmen müssen, wo die Inferenz ausgeführt wird, wie häufig Training und Optimierung durchgeführt werden und wo die restliche Anwendungsaktivität stattfindet. Indem Teams dieses operative Wissen mit der Modellierung des Nutzerwachstums kombinieren, können sie genau entscheiden, welche Teile ihrer Anwendung zentralisiert und welche verteilt werden sollen.