ML Serving

ML Serving beschreibt, wie von Data Scientists erstellte und trainierte Machine-Learning-Modelle (ML-Modelle) für den dauerhaften operativen Betrieb bereitgestellt werden können. Gerade ML-Modelle werden oft Teil einer kompletten digitalen Prozesskette. Dies kann für batch- als auch Real-Time-Prozesse erfolgen.
Gerade im Real-Time Bereich kommt dem ML-Serving-Bereich viel Bedeutung zu. Hierfür bieten ML-Plattformanbieter spezielle Funktionalitäten an. Oft kommen hier auch Container/Pod-Lösungen wie Kubernetes zum Einsatz.