AWS Architecture, Data Engineering / Data Warehousing / Data Architecture
Aktualisiert am 10.10.2024
Profil
Mitarbeiter eines Dienstleisters
Remote-Arbeit
Verfügbar ab: 30.11.2024
Verfügbar zu: 100%
davon vor Ort: 20%
Skill-Profil eines fest angestellten Mitarbeiters des Dienstleisters
deutsch
Muttersprache
englisch
Verhandlungssicher

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

3 Jahre 7 Monate
2021-01 - 2024-07

Design einer Daten- und Cloudplattform auf AWS

Projektleiter und Lead Data Engineer Einführung Datenplattform data engineering data architecture Data Lake ...
Projektleiter und Lead Data Engineer Einführung Datenplattform
Design einer Daten- und Cloudplattform auf AWS für ein
Beratungsunternehmen im publik Sektor um ein FörderprogrammMonitoring für Ministerien zu gewährleisten.
  • Leitung der Einführung einer Daten- und Cloudplattform für ein Beratungsunternehmen im öffentlichen Sektor
  • Entwurf einer Daten- und Cloudstrategie für das Unternehmen
  • Gestaltung eines sicheren Designs der Plattform unter Berücksichtigung strenger Compliance-Anforderungen wie BSI Grundschutz und C5-Standards
  • Implementierung und Verwaltung von User-Zugriffssteuerung (IAM und Identity Center) zur Gewährleistung eines sicheren und effizienten Zugriffs auf die Plattform
  • Verantwortlich für die Administration einer Multi-AccountStruktur
  • Implementierung von Infrastruktur-as-code mit Terraform
  • Entwurf und Umsetzung einer robusten Datenarchitektur (Lakehouse) in AWS S3 und Redshift
  • Umsetzung von Datenpipelines mit AWS Glue und Lambda
  • Einführung von Sicherheitsstandards mit Hilfe von AWS Security Hub und kontinuierliche Optimierung von Kosten und Sicherheit gemäß dem Well-Architected Framework
  • Beratung von Ministerien im Umgang mit Hyperscalern wie AWS und Unterstützung bei der Integration von Cloud-Technologien für effizientere und sicherere Datenverarbeitung
terraform Amazon s3 amazon Redshift aws glue aws lambda Atlassian JIRA Atlassian Confluence
data engineering data architecture Data Lake leadership Projektmanagement Projektleitung SAP IS-PS aws security hub C5 IT-Grundschutz well architected framework
1 Jahr 4 Monate
2023-01 - 2024-04

Design und Umsetzung von Datawarehouse / Lakehouse

Projektleiter und Lead Data Engineer Einführung Datenplattform data vault architektur ci/cd Datawarehouse ...
Projektleiter und Lead Data Engineer Einführung Datenplattform
Design und Umsetzung einer unternehmensweiten DatawarehouseArchitektur nach dem Lakehouse-Prinzip für ein Unternehmen im publik
Sektor.
  • Leitung des Projekts zur Entwicklung einer unternehmensweiten Datawarehouse-Architektur basierend auf dem LakehousePrinzip
  • Infrastrukturdeployment mithilfe von CI/CD-Pipelines in AWS CodePipeline für eine effiziente und automatisierte Bereitstellung der benötigten Ressourcen
  • Implementierung von Datenpipelines in AWS Glue und Lambda, einschließlich der Orchestrierung in Step Functions, um Daten aus verschiedenen Quellen zu extrahieren, transformieren und laden
  • Datenmodellierung gemäß der Data Vault Architektur, um eine flexible und skalierbare Struktur für das Datawarehouse zu schaffen
  • Bereitstellung von Daten auf AWS Redshift sowohl in der Provisioned- als auch in der Serverless-Konfiguration für eine optimale Performance und Kosteneffizienz
  • Umsetzung eines Rollenmodells für den Userzugriff, um die Sicherheit und den Datenschutz innerhalb des Datawarehouses zu gewährleisten
  • Anbindung von Power BI Dashboards mittels Power BI Gateway für die Visualisierung und Analyse von Daten
  • Durchführung von Systemmonitoring und Datenqualitätsmonitoring des Datawarehouses, um eine kontinuierliche Überwachung und Optimierung sicherzustellen
Power BI Power BI dashboard Power BI gateway aws redshift aws codepipeline
data vault architektur ci/cd Datawarehouse data architektur Monitoringsysteme rollenmodelle IAM step functions
4 Monate
2023-12 - 2024-03

Chatbot für Berichtsanalyse

data architect RAG-Architektur AI Chatbot ...
data architect
Einführung eines internen Firmen Chatbots zur Analyse und Evaluation
von einer großen Anzahl von Abschlussberichten von Förderprojekten
zur Effizienzsteigerungen.
  • Aufbau des Chatbots nach der RAG-Architektur (Retrieval Augmented Generation)
  • Nutzung der APIs von AWS Bedrock und Hugging Face zur Implementierung von Embeddings
  • Einrichtung einer Vektor-Datenbank (ChromaDB) zur effizienten Verwaltung und Suche von Informationen innerhalb des Chatbots
  • Entwicklung des Frontends mithilfe von Streamlit zur Interaktion mit dem Chatbot
  • Kontainerisierung der Anwendung über Docker und Hosting aufAWS ECS  (Elastic Container Service)
AWS ECS Docker AWS Bedrock AWS hugging face chromaDB
RAG-Architektur AI Chatbot LLM Vektor Datenbank

Position

Position

Senior IT Cloud &
Data Consultant

Kompetenzen

Kompetenzen

Schwerpunkte

data architecture
Experte
cloud solutions architect
Experte
Data- & Cloud-Engineer mit Fokus auf Amazon Web Services
  • Umfassendes Verständnis einer breiten Palette von AWS-Services, einschließlich Computing, Speicherung, Datenbanken, Netzwerken, Analytik und Sicherheit
  • Erfahrungen im Design von Datawarehouse-Architekturen und Datenmodellierung wie Data Vault
  • Umfassende Erfahrung in der Programmierung mit Python und SQL, sowie im Umgang mit BI Tools wie Power BI
  • Tiefgreifendes Verständnis der Bedürfnisse und Anforderungen der Compliance im öffentlichen Sektor und der Automobilbranche
  • Integration von DevOps Tools wie AWS CodePipeline, AWS CodeBuild und AWS CodeDeploy, um Continuous Integration and Continuous Deployment zu erreichen
  • Verwendung von Terraform zur Automatisierung des Deployments und Verwaltung der Infrastruktur
  • Design und Administration von Multi-Account Architekturen sowie deren skalierbaren Sicherheits- und ComplianceAnforderungen
  • Entwurf serverloser Anwendungen
  • Implementierung von Microservices-Architekturen mit Diensten wie AWS ECS (Elastic Container Service) und EKS (Elastic Kubernetes Service)
  • Umfassende Erfahrungen im Arbeiten mit agilen Methoden und dem Umgang mit Tools wie Jira und Confluence
  • Ausgeprägte analytische Fähigkeiten sowie starke Problemlösungskompetenz, um komplexe Herausforderungen erfolgreich zu bewältigen

Branchen

Branchen

automotive, automobil, industrie

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

3 Jahre 7 Monate
2021-01 - 2024-07

Design einer Daten- und Cloudplattform auf AWS

Projektleiter und Lead Data Engineer Einführung Datenplattform data engineering data architecture Data Lake ...
Projektleiter und Lead Data Engineer Einführung Datenplattform
Design einer Daten- und Cloudplattform auf AWS für ein
Beratungsunternehmen im publik Sektor um ein FörderprogrammMonitoring für Ministerien zu gewährleisten.
  • Leitung der Einführung einer Daten- und Cloudplattform für ein Beratungsunternehmen im öffentlichen Sektor
  • Entwurf einer Daten- und Cloudstrategie für das Unternehmen
  • Gestaltung eines sicheren Designs der Plattform unter Berücksichtigung strenger Compliance-Anforderungen wie BSI Grundschutz und C5-Standards
  • Implementierung und Verwaltung von User-Zugriffssteuerung (IAM und Identity Center) zur Gewährleistung eines sicheren und effizienten Zugriffs auf die Plattform
  • Verantwortlich für die Administration einer Multi-AccountStruktur
  • Implementierung von Infrastruktur-as-code mit Terraform
  • Entwurf und Umsetzung einer robusten Datenarchitektur (Lakehouse) in AWS S3 und Redshift
  • Umsetzung von Datenpipelines mit AWS Glue und Lambda
  • Einführung von Sicherheitsstandards mit Hilfe von AWS Security Hub und kontinuierliche Optimierung von Kosten und Sicherheit gemäß dem Well-Architected Framework
  • Beratung von Ministerien im Umgang mit Hyperscalern wie AWS und Unterstützung bei der Integration von Cloud-Technologien für effizientere und sicherere Datenverarbeitung
terraform Amazon s3 amazon Redshift aws glue aws lambda Atlassian JIRA Atlassian Confluence
data engineering data architecture Data Lake leadership Projektmanagement Projektleitung SAP IS-PS aws security hub C5 IT-Grundschutz well architected framework
1 Jahr 4 Monate
2023-01 - 2024-04

Design und Umsetzung von Datawarehouse / Lakehouse

Projektleiter und Lead Data Engineer Einführung Datenplattform data vault architektur ci/cd Datawarehouse ...
Projektleiter und Lead Data Engineer Einführung Datenplattform
Design und Umsetzung einer unternehmensweiten DatawarehouseArchitektur nach dem Lakehouse-Prinzip für ein Unternehmen im publik
Sektor.
  • Leitung des Projekts zur Entwicklung einer unternehmensweiten Datawarehouse-Architektur basierend auf dem LakehousePrinzip
  • Infrastrukturdeployment mithilfe von CI/CD-Pipelines in AWS CodePipeline für eine effiziente und automatisierte Bereitstellung der benötigten Ressourcen
  • Implementierung von Datenpipelines in AWS Glue und Lambda, einschließlich der Orchestrierung in Step Functions, um Daten aus verschiedenen Quellen zu extrahieren, transformieren und laden
  • Datenmodellierung gemäß der Data Vault Architektur, um eine flexible und skalierbare Struktur für das Datawarehouse zu schaffen
  • Bereitstellung von Daten auf AWS Redshift sowohl in der Provisioned- als auch in der Serverless-Konfiguration für eine optimale Performance und Kosteneffizienz
  • Umsetzung eines Rollenmodells für den Userzugriff, um die Sicherheit und den Datenschutz innerhalb des Datawarehouses zu gewährleisten
  • Anbindung von Power BI Dashboards mittels Power BI Gateway für die Visualisierung und Analyse von Daten
  • Durchführung von Systemmonitoring und Datenqualitätsmonitoring des Datawarehouses, um eine kontinuierliche Überwachung und Optimierung sicherzustellen
Power BI Power BI dashboard Power BI gateway aws redshift aws codepipeline
data vault architektur ci/cd Datawarehouse data architektur Monitoringsysteme rollenmodelle IAM step functions
4 Monate
2023-12 - 2024-03

Chatbot für Berichtsanalyse

data architect RAG-Architektur AI Chatbot ...
data architect
Einführung eines internen Firmen Chatbots zur Analyse und Evaluation
von einer großen Anzahl von Abschlussberichten von Förderprojekten
zur Effizienzsteigerungen.
  • Aufbau des Chatbots nach der RAG-Architektur (Retrieval Augmented Generation)
  • Nutzung der APIs von AWS Bedrock und Hugging Face zur Implementierung von Embeddings
  • Einrichtung einer Vektor-Datenbank (ChromaDB) zur effizienten Verwaltung und Suche von Informationen innerhalb des Chatbots
  • Entwicklung des Frontends mithilfe von Streamlit zur Interaktion mit dem Chatbot
  • Kontainerisierung der Anwendung über Docker und Hosting aufAWS ECS  (Elastic Container Service)
AWS ECS Docker AWS Bedrock AWS hugging face chromaDB
RAG-Architektur AI Chatbot LLM Vektor Datenbank

Position

Position

Senior IT Cloud &
Data Consultant

Kompetenzen

Kompetenzen

Schwerpunkte

data architecture
Experte
cloud solutions architect
Experte
Data- & Cloud-Engineer mit Fokus auf Amazon Web Services
  • Umfassendes Verständnis einer breiten Palette von AWS-Services, einschließlich Computing, Speicherung, Datenbanken, Netzwerken, Analytik und Sicherheit
  • Erfahrungen im Design von Datawarehouse-Architekturen und Datenmodellierung wie Data Vault
  • Umfassende Erfahrung in der Programmierung mit Python und SQL, sowie im Umgang mit BI Tools wie Power BI
  • Tiefgreifendes Verständnis der Bedürfnisse und Anforderungen der Compliance im öffentlichen Sektor und der Automobilbranche
  • Integration von DevOps Tools wie AWS CodePipeline, AWS CodeBuild und AWS CodeDeploy, um Continuous Integration and Continuous Deployment zu erreichen
  • Verwendung von Terraform zur Automatisierung des Deployments und Verwaltung der Infrastruktur
  • Design und Administration von Multi-Account Architekturen sowie deren skalierbaren Sicherheits- und ComplianceAnforderungen
  • Entwurf serverloser Anwendungen
  • Implementierung von Microservices-Architekturen mit Diensten wie AWS ECS (Elastic Container Service) und EKS (Elastic Kubernetes Service)
  • Umfassende Erfahrungen im Arbeiten mit agilen Methoden und dem Umgang mit Tools wie Jira und Confluence
  • Ausgeprägte analytische Fähigkeiten sowie starke Problemlösungskompetenz, um komplexe Herausforderungen erfolgreich zu bewältigen

Branchen

Branchen

automotive, automobil, industrie

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.