Planung und
Umsetzung einer robusten Infrastruktur zur datenschutzfreundlichen
Bereitstellung und Anwendung generativer KI-Technologie unter Verwendung von
Open Source KI-Modellen.
Planung:
Erstellung
eines Proof of Concepts für LLM und Stable Diffusion
Kosteneffiziente Planung von GPU-Ressourcen
Entwicklung
eines hybriden Cloud- und On-Demand-Konzepts zur Bewältigung möglicher
Ressourcenknappheit (GPU) und Dokumentation in Confluence
Vermeidung von Vendor-Lock-ins
Evaluierung von LLM-Training
Entwicklung:
Entwicklung
einer Python REST-API für Kundendokumente zur Verwendung im KI-Modell mittels
RAG (Retrieval-Augmented Generation)
Integration und Testen von KI-Modellen aus
Huggingface
Langfristige
Qualitätssicherung der Python-Komponente für zukünftige Entwickler (Tests,
CI/CD, KPI)
Implementierung
von OpenTelemetry zur Ermöglichung von Request-Tracing
Dokumentation
mittels Markdown und Mermaid für Grafiken
Infrastruktur:
Sensibilisierung
der Teams für DevOps-Prinzipien
Umsetzung des
hybriden Cloud-Konzepts auf AWS (Managed Kubernetes) in Zusammensetzung mit Hetzner (Bare-Metal +
Cloud-Instanzen) und On-Demand-Servern (Bare Metal)
Implementierung
von CI/CD-Pipelines mittels Jenkins, Ansible, Terraform, Artifactory und eines
internen CD-Tools (Kubernetes)
Überprüfung
und Umsetzung datenschutzfreundlicher Speicherung/Löschung/Zugriff von
Kundendaten (Verschlüsselung, Benutzerrollen)
Installation,
Wartung und Nutzung von Request-Tracing-Software (Jaeger Tracing) auf
Kubernetes
Sicherstellung
der Observability mittels KPIs in Prometheus, Grafana, OpenSearch und Jaeger
Tracing
Entwicklung
und Umsetzung eines Sicherheitskonzepts für die Infrastrukturwartung
Unterstützung
des Frontend- und Backend-Teams bei der Umsetzung von Containertechnologien
Planung und
Implementierung einer Big Data-Plattform zum Training einer Computer Vision-Anwendung
für die Qualitätskontrolle.
Planung:
Sensibilisierung der Teams für DevOps-Prinzipien
und Förderung einer entsprechenden Kultur.
Entwicklung eines globalen Cloud-Konzepts (Azure)
in Zusammenarbeit mit dem Kunden zur Erfassung generischer Daten von mehreren
internationalen Standorten.
Durchführung von Sicherheitsüberprüfungen durch
das Security-Team des Kunden.
Konzept und Implementierung zum Sammeln von
Trainingsdaten mittels CVAT (Labeling Tool).
Schulung des Data-Science-Teams für die Plattform.
Entwicklung:
Erstellung einer REST-API mit Python zur Abfrage
von Daten aus der MongoDB.
Entwicklung eines Datenkonsumenten für den Event
Store in Python zur Übertragung von Daten in die MongoDB.
Integration von Voxel51 in die Plattform.
Infrastruktur:
Implementierung einer Data Pipeline mittels eines
Event Store Konzepts in Azure unter Verwendung von Managed Kubernetes (AKS),
Azure Storage und Azure Storage Queue.
Einrichtung, Wartung und Absicherung einer MongoDB
für die Big Data Plattform mit Replikation und Sharding auf Kubernetes (AKS)
unter Anwendung von GitOps-Praktiken.
Bereitstellung und Schulung des Monitorings der
Komponenten mittels Prometheus, Grafana und OpenSearch.
Implementierung von CI/CD mittels interner
Kubernetes-CD-Tools.
Agiles ProjektmanagementBackend-EntwicklungFrontend-EntwicklungSOLID PrinzipienContainerisierungInfrastructure as Code
4 Monate
2019-01 - 2019-04
Konzeption und Implementierung einer CI/CD-Plattform
DevOpsAgiles Projektmanagement
DevOps
Entwicklung und
Bereitstellung einer umfassenden CI/CD-Infrastruktur zur Unterstützung
mehrerer Projekte.
Migrationsskriptentwicklung für über 200 GitLab-Projekte zu GitHub Enterprise: Ein Migrationsskript wurde erstellt, um den nahtlosen
Transfer von über 200 GitLab-Projekten auf die GitHub Enterprise-Plattform zu
ermöglichen. Dies beinhaltete die Automatisierung des Export- und
Importprozesses, um sicherzustellen, dass alle Projekte, Branches, Commits und
Tags korrekt übertragen wurden. Das Skript wurde entwickelt, um Effizienz und
Genauigkeit zu gewährleisten und gleichzeitig potenzielle Unterbrechungen für
die Entwickler zu minimieren.
Globale CI/CD-Platform in AWS aufsetzen (USA, China, Deutschland) mit Ansible und Terraform: Eine robuste CI/CD-Plattform wurde in der
AWS-Cloud in verschiedenen geografischen Regionen (USA, China, Deutschland)
eingerichtet, um eine globale Verfügbarkeit und Leistung zu gewährleisten. Dies
umfasste die Nutzung von Ansible und Terraform zur automatisierten
Bereitstellung und Konfiguration von Ressourcen wie EC2-Instanzen, S3-Buckets,
VPCs und Load Balancern. Durch diese Einrichtung konnten Entwickler in
verschiedenen Regionen effizient auf CI/CD-Pipelines zugreifen.
Skalierbarkeit von Jenkins-Master und -Agents sicherstellen: Die Skalierbarkeit der
Jenkins-Infrastruktur wurde optimiert, um den Anforderungen des wachsenden
Entwicklerteams gerecht zu werden. Dies umfasste die Konfiguration von
Jenkins-Master-Instanzen, um Lastspitzen zu bewältigen, sowie die horizontale
Skalierung von Jenkins-Agenten, um die Ausführung von Builds und Tests zu
beschleunigen. Durch diese Maßnahmen wurde sichergestellt, dass die
Jenkins-Infrastruktur flexibel und reaktionsschnell auf die Anforderungen des
Projekts reagieren konnte.
Dezidierte Agents für Frontend-Tests (Selenium) hinzufüghen: Um die Qualitätssicherung für Frontend-Anwendungen
zu verbessern, wurden dedizierte Jenkins-Agenten mit Selenium eingerichtet.
Diese Agenten wurden speziell für die Ausführung von Frontend-Tests
konfiguriert, um sicherzustellen, dass Anwendungen konsistent auf verschiedenen
Browsern und Plattformen funktionieren. Durch die Bereitstellung von
dedizierten Ressourcen für Frontend-Tests wurde die Effizienz des Testprozesses
gesteigert und die Zeit bis zur Markteinführung verkürzt.
Backup-Strategie erarbeiten und sofort testen: Eine umfassende
Backup-Strategie wurde entwickelt und sofort getestet, um die Integrität und
Verfügbarkeit der gesamten CI/CD-Infrastruktur sicherzustellen. Dies umfasste
regelmäßige Sicherungen von Konfigurationsdateien, Datenbanken, Artefakten und
anderen wichtigen Ressourcen, um im Falle eines Ausfalls oder Datenverlusts
eine schnelle Wiederherstellung zu ermöglichen. Durch regelmäßige Tests wurde
die Zuverlässigkeit der Backup-Strategie verifiziert und sichergestellt, dass
im Ernstfall ein reibungsloser Wiederherstellungsprozess möglich ist.
Planung und
Umsetzung einer robusten Infrastruktur zur datenschutzfreundlichen
Bereitstellung und Anwendung generativer KI-Technologie unter Verwendung von
Open Source KI-Modellen.
Planung:
Erstellung
eines Proof of Concepts für LLM und Stable Diffusion
Kosteneffiziente Planung von GPU-Ressourcen
Entwicklung
eines hybriden Cloud- und On-Demand-Konzepts zur Bewältigung möglicher
Ressourcenknappheit (GPU) und Dokumentation in Confluence
Vermeidung von Vendor-Lock-ins
Evaluierung von LLM-Training
Entwicklung:
Entwicklung
einer Python REST-API für Kundendokumente zur Verwendung im KI-Modell mittels
RAG (Retrieval-Augmented Generation)
Integration und Testen von KI-Modellen aus
Huggingface
Langfristige
Qualitätssicherung der Python-Komponente für zukünftige Entwickler (Tests,
CI/CD, KPI)
Implementierung
von OpenTelemetry zur Ermöglichung von Request-Tracing
Dokumentation
mittels Markdown und Mermaid für Grafiken
Infrastruktur:
Sensibilisierung
der Teams für DevOps-Prinzipien
Umsetzung des
hybriden Cloud-Konzepts auf AWS (Managed Kubernetes) in Zusammensetzung mit Hetzner (Bare-Metal +
Cloud-Instanzen) und On-Demand-Servern (Bare Metal)
Implementierung
von CI/CD-Pipelines mittels Jenkins, Ansible, Terraform, Artifactory und eines
internen CD-Tools (Kubernetes)
Überprüfung
und Umsetzung datenschutzfreundlicher Speicherung/Löschung/Zugriff von
Kundendaten (Verschlüsselung, Benutzerrollen)
Installation,
Wartung und Nutzung von Request-Tracing-Software (Jaeger Tracing) auf
Kubernetes
Sicherstellung
der Observability mittels KPIs in Prometheus, Grafana, OpenSearch und Jaeger
Tracing
Entwicklung
und Umsetzung eines Sicherheitskonzepts für die Infrastrukturwartung
Unterstützung
des Frontend- und Backend-Teams bei der Umsetzung von Containertechnologien
Planung und
Implementierung einer Big Data-Plattform zum Training einer Computer Vision-Anwendung
für die Qualitätskontrolle.
Planung:
Sensibilisierung der Teams für DevOps-Prinzipien
und Förderung einer entsprechenden Kultur.
Entwicklung eines globalen Cloud-Konzepts (Azure)
in Zusammenarbeit mit dem Kunden zur Erfassung generischer Daten von mehreren
internationalen Standorten.
Durchführung von Sicherheitsüberprüfungen durch
das Security-Team des Kunden.
Konzept und Implementierung zum Sammeln von
Trainingsdaten mittels CVAT (Labeling Tool).
Schulung des Data-Science-Teams für die Plattform.
Entwicklung:
Erstellung einer REST-API mit Python zur Abfrage
von Daten aus der MongoDB.
Entwicklung eines Datenkonsumenten für den Event
Store in Python zur Übertragung von Daten in die MongoDB.
Integration von Voxel51 in die Plattform.
Infrastruktur:
Implementierung einer Data Pipeline mittels eines
Event Store Konzepts in Azure unter Verwendung von Managed Kubernetes (AKS),
Azure Storage und Azure Storage Queue.
Einrichtung, Wartung und Absicherung einer MongoDB
für die Big Data Plattform mit Replikation und Sharding auf Kubernetes (AKS)
unter Anwendung von GitOps-Praktiken.
Bereitstellung und Schulung des Monitorings der
Komponenten mittels Prometheus, Grafana und OpenSearch.
Implementierung von CI/CD mittels interner
Kubernetes-CD-Tools.
Agiles ProjektmanagementBackend-EntwicklungFrontend-EntwicklungSOLID PrinzipienContainerisierungInfrastructure as Code
4 Monate
2019-01 - 2019-04
Konzeption und Implementierung einer CI/CD-Plattform
DevOpsAgiles Projektmanagement
DevOps
Entwicklung und
Bereitstellung einer umfassenden CI/CD-Infrastruktur zur Unterstützung
mehrerer Projekte.
Migrationsskriptentwicklung für über 200 GitLab-Projekte zu GitHub Enterprise: Ein Migrationsskript wurde erstellt, um den nahtlosen
Transfer von über 200 GitLab-Projekten auf die GitHub Enterprise-Plattform zu
ermöglichen. Dies beinhaltete die Automatisierung des Export- und
Importprozesses, um sicherzustellen, dass alle Projekte, Branches, Commits und
Tags korrekt übertragen wurden. Das Skript wurde entwickelt, um Effizienz und
Genauigkeit zu gewährleisten und gleichzeitig potenzielle Unterbrechungen für
die Entwickler zu minimieren.
Globale CI/CD-Platform in AWS aufsetzen (USA, China, Deutschland) mit Ansible und Terraform: Eine robuste CI/CD-Plattform wurde in der
AWS-Cloud in verschiedenen geografischen Regionen (USA, China, Deutschland)
eingerichtet, um eine globale Verfügbarkeit und Leistung zu gewährleisten. Dies
umfasste die Nutzung von Ansible und Terraform zur automatisierten
Bereitstellung und Konfiguration von Ressourcen wie EC2-Instanzen, S3-Buckets,
VPCs und Load Balancern. Durch diese Einrichtung konnten Entwickler in
verschiedenen Regionen effizient auf CI/CD-Pipelines zugreifen.
Skalierbarkeit von Jenkins-Master und -Agents sicherstellen: Die Skalierbarkeit der
Jenkins-Infrastruktur wurde optimiert, um den Anforderungen des wachsenden
Entwicklerteams gerecht zu werden. Dies umfasste die Konfiguration von
Jenkins-Master-Instanzen, um Lastspitzen zu bewältigen, sowie die horizontale
Skalierung von Jenkins-Agenten, um die Ausführung von Builds und Tests zu
beschleunigen. Durch diese Maßnahmen wurde sichergestellt, dass die
Jenkins-Infrastruktur flexibel und reaktionsschnell auf die Anforderungen des
Projekts reagieren konnte.
Dezidierte Agents für Frontend-Tests (Selenium) hinzufüghen: Um die Qualitätssicherung für Frontend-Anwendungen
zu verbessern, wurden dedizierte Jenkins-Agenten mit Selenium eingerichtet.
Diese Agenten wurden speziell für die Ausführung von Frontend-Tests
konfiguriert, um sicherzustellen, dass Anwendungen konsistent auf verschiedenen
Browsern und Plattformen funktionieren. Durch die Bereitstellung von
dedizierten Ressourcen für Frontend-Tests wurde die Effizienz des Testprozesses
gesteigert und die Zeit bis zur Markteinführung verkürzt.
Backup-Strategie erarbeiten und sofort testen: Eine umfassende
Backup-Strategie wurde entwickelt und sofort getestet, um die Integrität und
Verfügbarkeit der gesamten CI/CD-Infrastruktur sicherzustellen. Dies umfasste
regelmäßige Sicherungen von Konfigurationsdateien, Datenbanken, Artefakten und
anderen wichtigen Ressourcen, um im Falle eines Ausfalls oder Datenverlusts
eine schnelle Wiederherstellung zu ermöglichen. Durch regelmäßige Tests wurde
die Zuverlässigkeit der Backup-Strategie verifiziert und sichergestellt, dass
im Ernstfall ein reibungsloser Wiederherstellungsprozess möglich ist.