Verteilung von Hardware-Ressourcen mittels Orchestrator in abgetrennten Entwicklungsumgebungen

Bei der Entwicklung von neuen Technologien wird vermehrt auf den Einsatz von Künstlicher Intelligenz gesetzt. Um das Training der KI-Modelle zu beschleunigen, setzen Unternehmen auf Machine Learning Pipelines. Diese machen es möglich, die nötigen Schritte in der Entwicklung parallel ablaufen zu lassen. Eine vollständige und professionelle Machine Learning Pipeline erfordert zum einen umfangreiche Hardwareressourcen in Form von Serverstrukturen mit Grafikclustern und zum anderen die nötigen Kompetenzen, um die Pipeline zu betreuen. Hierfür wird geschultes Personal benötigt, welches die notwendigen Positionen[42] in der Pipeline besetzt. Es gibt eine Vielzahl von Spezialisierungen, die für einen optimalen Betrieb vonnöten sind. Unter anderem wird auf Data Scientists, Software Engineers, DevOps Engineers und Machine Learning Engineers zurückgegriffen. Der damit verbundene finanzielle Aufwand ist gerade für junge Unternehmen, welche weder ausreichende Hardware noch das nötige Personal besitzen, nicht realisierbar. Dennoch ist es für junge Unternehmen möglich, sich softwaretechnisch so aufzustellen, dass bereits eine Basis für eine Entwicklung einer vollständigen Pipeline geschaffen werden kann. Durch richtige Software-gebundene Entscheidungen in der frühen Entwicklung des Unternehmens, kann die KI-Entwicklung leichter skaliert werden und es lassen sich die bestehenden Strukturen besser an die immer neuen Herausforderungen des Unternehmens anpassen. In dieser Arbeit soll ein Lösungsmuster aufgezeigt werden, um mittels unterschiedlicher Hardwareausstattung, eine gemeinsame Arbeitsbasis zu schaffen, die mit den Entwicklerteams wachsen kann und einen Rahmen für eine Weiterentwicklung zu einer vollständigen Machine Learning Pipeline bietet.