Aufbereitung und Analyse von großen Textmengen für die weitere Verarbeitung mit Methoden der Künstlichen Intelligenz (KI). Die Aufgabe umfasste die Schritte:
- Datenaufbereitung: Extraktion und Sammlung von Text- und Metadaten - Bereinigung und Vereinheitlichung der ermittelten Daten - Entwicklung von Analyse- und Korrektur-Modulen mit NLP-Werkzeugen wie spaCy - Annotation mit zusätzlichen Metadaten, die aus den Texten gewonnen wurden
- Entwicklung von Pipelines zur automatischen Verarbeitung und Bereitstellung der Korpora und Metadaten
- Erstellung von Prototypen zur Generierung und Speicherung von Textdaten und Embeddings
PythonJupyterspaCyNLPChromadbMeilisearch
2 Monate
2023-12 - 2024-01
Analyse Blockchain-Daten
Data Analyst / Data EngineerJupyterPandasEthereum...
Data Analyst / Data Engineer
Aufbereitung und Analyse von Daten einer Blockchain-Anwendung. Die Datenbestände setzten sich aus Crypto-Daten von Ethereum (L1), Optimism (L2) und ENS zusammen, sowie aus off-chain gespeicherten Anwendungsdaten. Zielplattform für die Analyse war die Dune Analytics Platform.
Die Aufgaben umfassten die Identifikation der für die Analyse relevanten Smart Contracts und anderer in Dune bereits vorhandener Datenbestände. Nicht in Dune gespeicherte Daten wurden mittels Python, Pandas, Jupyter aus entsprechenden Servern geladen, aggregiert und aufbereitet. Automatisierte Jobs für den periodischen Datenimport in Dune wurden erstellt und eingerichtet.
Auf Basis der bereitgestellten Daten wurden maßgeschneiderte Queries und Dashboards zur anschaulichen Darstellung der Krypto-Daten innerhalb der Dune-Plattform erstellt.
DuneENS
JupyterPandasEthereumPythonBlockchainOptimism
11 Monate
2022-08 - 2023-06
Architektur Dokumentverarbeitung
ArchitektKubernetesOpenFaasJupyter...
Architekt
Architekt in der Planungsphase eines Systems zur hochvolumigen Verarbeitung von Dokumenten für eine bundesweit tätige Organisation mit zahlreichen Außenstellen. Das System sollte die Erstellung und das Management von Dokumentvorlagen und Dokumenten, Workflows zur Anreicherung mit Organisations- und Fachdaten und schließlich das Management verschiedener Ausgabekanäle umfassen.
Zu den Aufgaben gehörte die Aufnahme und Dokumentation von Anforderungen verschiedener Stakeholder-Gruppen für den Neu-Entwurf, und der Abgleich der Anforderungen mit dem bestehenden System und Ableitung eventueller Migrationsbedarfe. Neben der Erstellung von Architektur-Artefakten auf hoher Ebene, für die Abbildung des Systems auf die On-Premise Kubernetes-Umgebung, gehörte auch eine initiale Marktevaluierung für geeignete Produkte zum Aufgabenbereich. Aufgrund der Anforderungen wurden besonders Plattformen im Bereich ?Enterprise Low Code? (Pega, Appian, Mendix) betrachtet und punktuell getestet.
Die Planung und Schätzung von folgenden Projektphasen gehörte ebenfalls zu den durchgeführten Tätigkeiten. Dazu kam eine umfangreiche Aufbereitung und Analyse von Log- und Metrikdaten bestehender Systeme, um technische Anforderungen für das neue System zu ermitteln und daraus mögliche Migrationspfade abzuleiten.
Analyse, Planung und Beratung zur Migration eines Systems bestehend aus mehreren Java Enterprise-Anwendungen nach Azure. Migration eines Prototyps nach Azure. Planung und Erstellung der CI/CD-Pipelines in der Azure DevOps-Plattform, unter Verwendung von Standard-Werkzeugen wie Docker, Ansible, Terraform, Container Registries und SonarCloud. Begleitung des Auswahlprozesses der künftigen Laufzeit-Umgebung. Planung der Laufzeit-Umgebung für Staging und Produktion auf Basis von Kubernetes (AKS) und Azure DB für PostgreSQL. Durchführung von PoCs für die neue Laufzeit-Umgebung. Untersuchung der Möglichkeiten zur Anbindung von Legacy- und Partner-Systemen.
Anleitung zur Implementierung der Laufzeit-Umgebungen fu?r Staging und Produktion. Anbindung an externe Partner-Systeme. Planung und Erstellung von Last- und Performance-Tests fu?r Anwendungen in den neuen Umgebungen. Coaching des Teams zur Erstellung und Wartung von Cloud-Umgebungen in Azure. Coaching zur Restrukturierung der Anwendungen fu?r die Cloud, Gestaltung von CI-/CD-Pipelines und Testansa?tzen.
Übernahme der Architektenrolle in der Planungsphase für ein ISMS als Intranet-Anwendung mit Javascript-GUIs und Java-basierten Microservice-Backends. Die auf Quarkus basierenden Microservices sollen in der Kubernetes-Umgebung des Kunden laufen und mit dem Prometheus-Stack überwacht werden.
Ableitung der technischen Anforderungen, Abklärung der Integration mit Fremdsystemen. Entwicklung der grundlegenden Architektur und Vertretung in den Genehmigungsgremien.
Als Systemarchitekt Teil eines Devops-Teams, das für die zentrale Deployment-Pipeline der Container-Plattform (Mesos, DC/OS) verantwortlich war. Konzeption, Produktauswahl und Bereitstellung von allgemeinen Plattform-Diensten für Java Enterprise-Anwendungen und Microservices. Schwerpunkt in Diensten für Observability: Metriken, Alarmierung, Tracing mit Prometheus, Cortex und Jaeger. Kommunikation und Präsentation der Lösungen für Entwicklungsteams. Untersuchung von Pfaden für eine Migration nach Kubernetes.
Analyse der Buildprozesse für die Java-Systeme einer bundesweit tätigen Organisation. Erarbeitung von Strategien zur Automatisierung der Buildprozesse auf Basis von Maven, Jenkins und Docker unter besonderer Berücksichtigung der Performance-Optimierung. Konzeption und Aufbau eines CI/CD-Systems auf Basis von Docker Swarm, für Build- und Delivery-Prozesse. Implementierung von automatisierten Build-Skripten, Jenkins-Konfigurationen, Pipeline-Libraries, Plugins. Prototypische Nutzung und Präsentation von Jenkins-X Installationen auf Kubernetes-Basis. Konzeption und Aufbau einer parallelen Buildumgebung in einer AWS-Umgebung auf Basis von ECS.
Docker SwarmAWSECSJenkinsJenkins-XMavenCI/CD
4 Monate
2018-03 - 2018-06
Testarchitektur B2B Suchmaschine
TestmanagerDockerScrumRuby...
Testmanager
Beratung bei der Testarchitektur und Qualitätssicherung für eine Rails-basierte B2B-Suchmaschine. Analyse der bestehenden Testprozesse und Docker-basierten CI/CD Pipeline. Evaluierung von Vorgehensweisen und Produkten zur Testautomatisierung für die unternehmensweiten Akzeptanztests. Einbettung in die CI/CD-Pipeline. Coaching des Testmanagements.
Machbarkeits-Analyse zu Performance- und Stress-Tests in Cloud-Umgebungen (AWS, Google Cloud etc).
Durchführung Konzeption und Implementierung der Testautomatisierung für Post Deployment-, API- und UI-Tests auf Basis von Postman, Selenium, Gitlab, Docker, Ruby und Node.js.
Einführung von Contract Testing mittels des Pact Frameworks. Coaching des Testteams.
Konzeption und Einführung einer Blaupause für REST-APIs in einer Unternehmensumgebung. Die JEE-basierten REST-APIs sollen in einer Container- Umgebung (Docker, Mesosphere DC/OS) laufen und durch JWT abgesichert werden. Kommunikationsmanagement und Einführung in die neue Plattform. Erstellung von Standards,Vorgaben für Entwicklung & Test sowie die Definition der CI-Umgebung mit Git, Maven, Jenkins, Nexus, Sonar. Begleitung der Entwickler bei der Umsetzung eines ersten APIs.
Konzeption der technischer Architektur einer Kommunikationsplattform für den gesicherten Austausch von Nachrichten und Daten mit OSCI/EGVP. Die Plattform sollte anderen Anwendungen der Organisation die einfache Nutzung dieses Kommunikationsweges bieten. Beratung bei der Spezifikation der fachlichen Anforderungen, Ableitung der technischen Anforderungen und bei der Auswahl externer Anbieter/Produkte. Definition der benötigten Integrationsbausteine und Schnittstellen auf Basis von Oracle Weblogic und DB, JEE7. Schätzung für die Implementierungsphase.
WebLogicOracle DB
EGVPOSCIJEE
1 Jahr
2016-02 - 2017-01
Konzeption & Implementierung Technische Plattform
Product OwnerScrumRequirementsUML...
Product Owner
Übernahme der Verantwortung für die Technische Plattform als Product Owner. Innerhalb eines größeren Migrationsprojekts, bei dem eine Kernanwendung von C++/ Corba auf JEE/Web Services umgestellt werden soll, definiert und liefert das Scrum- Team Technische Plattform die technische Grundlage für dieses Projekt und weitere Entwicklungen innerhalb der beauftragenden, bundesweit agierenden, Organisation.
Der PO Technische Plattform ist dafür verantwortlich, dass eine generisch verwendbare, neue Plattform für Java-Anwendungen entwickelt wird, die an weitere Projekte ausgeliefert werden kann. Er arbeitet dazu eng mit den Stakeholdern in und außerhalb des Projekts zusammen und ermittelt deren Anforderungen, die in entsprechende User Stories (Jira/Confluence) und Requirement-Modelle (MID Innovator) dokumentiert werden.
Die Plattform umfasst auch die Projektinfrastruktur wie Confluence & Jira, sowie den Build-Stack aus Stash, Maven, Jenkins, Nexus, Sonar usw. Neben reinen Laufzeitkomponenten erarbeitet das Team daher auch Entwicklungskomponenten, wie Maven Archetypen & Plugins, oder stellt angepasste Sonar-Regelsätze für die Qualitätssicherung der neuen Anwendungsstruktur zur Verfügung.
Übernahme der Leitung für die Entwicklung einer neuen SaaS-Plattform für die Marketing-Automatisierung. Die Aufgabenstellung bestand darin, mit einem agil und verteilt arbeitenden Team einen marktreifen Prototypen zu entwickeln.
Neben dem Erwartungs- und Anforderungsmanagement bei Stakeholdern in und außerhalb der Unternehmensgruppe, gehörte auch die Analyse (Due Diligence) von Unternehmen zum Aufgabenbereich, ebenso wie die Betreuung einzelner eCommerce-Anwendungen (Web Shops) der Gruppe.
Die Plattform bestand aus einem zentralen Management-Kern, (JEE-Anwendungen mit AngularJS, JBoss, PostgreSQL und Activiti) und angekoppelten REST-APIs (Restlet, Redis) für die einzelnen Produkte, die über ZooKeeper zentral konfiguriert wurden und ihre Messdaten über Message Queues lieferten. Zentrale Funktionen der Plattform wurden als Geschäftsprozesse (BPM) modelliert und in Activiti- Servern deployt.
Die einzelnen Module waren so ausgelegt, dass sie mit Puppet konfiguriert und in Cloud-Umgebungen bereitgestellt und betrieben werden konnten.
Das Projekt umfasst die Entwicklung einer Web-Plattform für einen Automobilhersteller, deren Zweck der direkte und indirekte (Händler) Verkauf von Fahrzeugen war. Die neu entwickelte Plattform basiert auf JEE-Technologien und kommuniziert mit zahlreichen Fremdsystemen, teilweise Host-basiert.
Das Plattformprojekt nutzte Scrum und hatte eine umfangreiche Test- und Qualitätssicherungs-Pipeline auf Basis von Jenkins, JUnit, Oracle GlassFish, Oracle DB und Sonar aufgebaut. Als Test-Manager war ich verantwortlich für die Weiterentwicklung der Testautomatisierungs-Strategie.
Besonderes Augenmerk lag dabei auf der Reduzierung der Test-Laufzeiten, da die Testläufe zu lang gerieten, um den Entwicklern schnell Feedback liefern zu können. Analyse der Test-Pipeline und Erarbeitung von Änderungsvorschlägen für das Projekt-Management.
Aufbereitung und Analyse von großen Textmengen für die weitere Verarbeitung mit Methoden der Künstlichen Intelligenz (KI). Die Aufgabe umfasste die Schritte:
- Datenaufbereitung: Extraktion und Sammlung von Text- und Metadaten - Bereinigung und Vereinheitlichung der ermittelten Daten - Entwicklung von Analyse- und Korrektur-Modulen mit NLP-Werkzeugen wie spaCy - Annotation mit zusätzlichen Metadaten, die aus den Texten gewonnen wurden
- Entwicklung von Pipelines zur automatischen Verarbeitung und Bereitstellung der Korpora und Metadaten
- Erstellung von Prototypen zur Generierung und Speicherung von Textdaten und Embeddings
PythonJupyterspaCyNLPChromadbMeilisearch
2 Monate
2023-12 - 2024-01
Analyse Blockchain-Daten
Data Analyst / Data EngineerJupyterPandasEthereum...
Data Analyst / Data Engineer
Aufbereitung und Analyse von Daten einer Blockchain-Anwendung. Die Datenbestände setzten sich aus Crypto-Daten von Ethereum (L1), Optimism (L2) und ENS zusammen, sowie aus off-chain gespeicherten Anwendungsdaten. Zielplattform für die Analyse war die Dune Analytics Platform.
Die Aufgaben umfassten die Identifikation der für die Analyse relevanten Smart Contracts und anderer in Dune bereits vorhandener Datenbestände. Nicht in Dune gespeicherte Daten wurden mittels Python, Pandas, Jupyter aus entsprechenden Servern geladen, aggregiert und aufbereitet. Automatisierte Jobs für den periodischen Datenimport in Dune wurden erstellt und eingerichtet.
Auf Basis der bereitgestellten Daten wurden maßgeschneiderte Queries und Dashboards zur anschaulichen Darstellung der Krypto-Daten innerhalb der Dune-Plattform erstellt.
DuneENS
JupyterPandasEthereumPythonBlockchainOptimism
11 Monate
2022-08 - 2023-06
Architektur Dokumentverarbeitung
ArchitektKubernetesOpenFaasJupyter...
Architekt
Architekt in der Planungsphase eines Systems zur hochvolumigen Verarbeitung von Dokumenten für eine bundesweit tätige Organisation mit zahlreichen Außenstellen. Das System sollte die Erstellung und das Management von Dokumentvorlagen und Dokumenten, Workflows zur Anreicherung mit Organisations- und Fachdaten und schließlich das Management verschiedener Ausgabekanäle umfassen.
Zu den Aufgaben gehörte die Aufnahme und Dokumentation von Anforderungen verschiedener Stakeholder-Gruppen für den Neu-Entwurf, und der Abgleich der Anforderungen mit dem bestehenden System und Ableitung eventueller Migrationsbedarfe. Neben der Erstellung von Architektur-Artefakten auf hoher Ebene, für die Abbildung des Systems auf die On-Premise Kubernetes-Umgebung, gehörte auch eine initiale Marktevaluierung für geeignete Produkte zum Aufgabenbereich. Aufgrund der Anforderungen wurden besonders Plattformen im Bereich ?Enterprise Low Code? (Pega, Appian, Mendix) betrachtet und punktuell getestet.
Die Planung und Schätzung von folgenden Projektphasen gehörte ebenfalls zu den durchgeführten Tätigkeiten. Dazu kam eine umfangreiche Aufbereitung und Analyse von Log- und Metrikdaten bestehender Systeme, um technische Anforderungen für das neue System zu ermitteln und daraus mögliche Migrationspfade abzuleiten.
Analyse, Planung und Beratung zur Migration eines Systems bestehend aus mehreren Java Enterprise-Anwendungen nach Azure. Migration eines Prototyps nach Azure. Planung und Erstellung der CI/CD-Pipelines in der Azure DevOps-Plattform, unter Verwendung von Standard-Werkzeugen wie Docker, Ansible, Terraform, Container Registries und SonarCloud. Begleitung des Auswahlprozesses der künftigen Laufzeit-Umgebung. Planung der Laufzeit-Umgebung für Staging und Produktion auf Basis von Kubernetes (AKS) und Azure DB für PostgreSQL. Durchführung von PoCs für die neue Laufzeit-Umgebung. Untersuchung der Möglichkeiten zur Anbindung von Legacy- und Partner-Systemen.
Anleitung zur Implementierung der Laufzeit-Umgebungen fu?r Staging und Produktion. Anbindung an externe Partner-Systeme. Planung und Erstellung von Last- und Performance-Tests fu?r Anwendungen in den neuen Umgebungen. Coaching des Teams zur Erstellung und Wartung von Cloud-Umgebungen in Azure. Coaching zur Restrukturierung der Anwendungen fu?r die Cloud, Gestaltung von CI-/CD-Pipelines und Testansa?tzen.
Übernahme der Architektenrolle in der Planungsphase für ein ISMS als Intranet-Anwendung mit Javascript-GUIs und Java-basierten Microservice-Backends. Die auf Quarkus basierenden Microservices sollen in der Kubernetes-Umgebung des Kunden laufen und mit dem Prometheus-Stack überwacht werden.
Ableitung der technischen Anforderungen, Abklärung der Integration mit Fremdsystemen. Entwicklung der grundlegenden Architektur und Vertretung in den Genehmigungsgremien.
Als Systemarchitekt Teil eines Devops-Teams, das für die zentrale Deployment-Pipeline der Container-Plattform (Mesos, DC/OS) verantwortlich war. Konzeption, Produktauswahl und Bereitstellung von allgemeinen Plattform-Diensten für Java Enterprise-Anwendungen und Microservices. Schwerpunkt in Diensten für Observability: Metriken, Alarmierung, Tracing mit Prometheus, Cortex und Jaeger. Kommunikation und Präsentation der Lösungen für Entwicklungsteams. Untersuchung von Pfaden für eine Migration nach Kubernetes.
Analyse der Buildprozesse für die Java-Systeme einer bundesweit tätigen Organisation. Erarbeitung von Strategien zur Automatisierung der Buildprozesse auf Basis von Maven, Jenkins und Docker unter besonderer Berücksichtigung der Performance-Optimierung. Konzeption und Aufbau eines CI/CD-Systems auf Basis von Docker Swarm, für Build- und Delivery-Prozesse. Implementierung von automatisierten Build-Skripten, Jenkins-Konfigurationen, Pipeline-Libraries, Plugins. Prototypische Nutzung und Präsentation von Jenkins-X Installationen auf Kubernetes-Basis. Konzeption und Aufbau einer parallelen Buildumgebung in einer AWS-Umgebung auf Basis von ECS.
Docker SwarmAWSECSJenkinsJenkins-XMavenCI/CD
4 Monate
2018-03 - 2018-06
Testarchitektur B2B Suchmaschine
TestmanagerDockerScrumRuby...
Testmanager
Beratung bei der Testarchitektur und Qualitätssicherung für eine Rails-basierte B2B-Suchmaschine. Analyse der bestehenden Testprozesse und Docker-basierten CI/CD Pipeline. Evaluierung von Vorgehensweisen und Produkten zur Testautomatisierung für die unternehmensweiten Akzeptanztests. Einbettung in die CI/CD-Pipeline. Coaching des Testmanagements.
Machbarkeits-Analyse zu Performance- und Stress-Tests in Cloud-Umgebungen (AWS, Google Cloud etc).
Durchführung Konzeption und Implementierung der Testautomatisierung für Post Deployment-, API- und UI-Tests auf Basis von Postman, Selenium, Gitlab, Docker, Ruby und Node.js.
Einführung von Contract Testing mittels des Pact Frameworks. Coaching des Testteams.
Konzeption und Einführung einer Blaupause für REST-APIs in einer Unternehmensumgebung. Die JEE-basierten REST-APIs sollen in einer Container- Umgebung (Docker, Mesosphere DC/OS) laufen und durch JWT abgesichert werden. Kommunikationsmanagement und Einführung in die neue Plattform. Erstellung von Standards,Vorgaben für Entwicklung & Test sowie die Definition der CI-Umgebung mit Git, Maven, Jenkins, Nexus, Sonar. Begleitung der Entwickler bei der Umsetzung eines ersten APIs.
Konzeption der technischer Architektur einer Kommunikationsplattform für den gesicherten Austausch von Nachrichten und Daten mit OSCI/EGVP. Die Plattform sollte anderen Anwendungen der Organisation die einfache Nutzung dieses Kommunikationsweges bieten. Beratung bei der Spezifikation der fachlichen Anforderungen, Ableitung der technischen Anforderungen und bei der Auswahl externer Anbieter/Produkte. Definition der benötigten Integrationsbausteine und Schnittstellen auf Basis von Oracle Weblogic und DB, JEE7. Schätzung für die Implementierungsphase.
WebLogicOracle DB
EGVPOSCIJEE
1 Jahr
2016-02 - 2017-01
Konzeption & Implementierung Technische Plattform
Product OwnerScrumRequirementsUML...
Product Owner
Übernahme der Verantwortung für die Technische Plattform als Product Owner. Innerhalb eines größeren Migrationsprojekts, bei dem eine Kernanwendung von C++/ Corba auf JEE/Web Services umgestellt werden soll, definiert und liefert das Scrum- Team Technische Plattform die technische Grundlage für dieses Projekt und weitere Entwicklungen innerhalb der beauftragenden, bundesweit agierenden, Organisation.
Der PO Technische Plattform ist dafür verantwortlich, dass eine generisch verwendbare, neue Plattform für Java-Anwendungen entwickelt wird, die an weitere Projekte ausgeliefert werden kann. Er arbeitet dazu eng mit den Stakeholdern in und außerhalb des Projekts zusammen und ermittelt deren Anforderungen, die in entsprechende User Stories (Jira/Confluence) und Requirement-Modelle (MID Innovator) dokumentiert werden.
Die Plattform umfasst auch die Projektinfrastruktur wie Confluence & Jira, sowie den Build-Stack aus Stash, Maven, Jenkins, Nexus, Sonar usw. Neben reinen Laufzeitkomponenten erarbeitet das Team daher auch Entwicklungskomponenten, wie Maven Archetypen & Plugins, oder stellt angepasste Sonar-Regelsätze für die Qualitätssicherung der neuen Anwendungsstruktur zur Verfügung.
Übernahme der Leitung für die Entwicklung einer neuen SaaS-Plattform für die Marketing-Automatisierung. Die Aufgabenstellung bestand darin, mit einem agil und verteilt arbeitenden Team einen marktreifen Prototypen zu entwickeln.
Neben dem Erwartungs- und Anforderungsmanagement bei Stakeholdern in und außerhalb der Unternehmensgruppe, gehörte auch die Analyse (Due Diligence) von Unternehmen zum Aufgabenbereich, ebenso wie die Betreuung einzelner eCommerce-Anwendungen (Web Shops) der Gruppe.
Die Plattform bestand aus einem zentralen Management-Kern, (JEE-Anwendungen mit AngularJS, JBoss, PostgreSQL und Activiti) und angekoppelten REST-APIs (Restlet, Redis) für die einzelnen Produkte, die über ZooKeeper zentral konfiguriert wurden und ihre Messdaten über Message Queues lieferten. Zentrale Funktionen der Plattform wurden als Geschäftsprozesse (BPM) modelliert und in Activiti- Servern deployt.
Die einzelnen Module waren so ausgelegt, dass sie mit Puppet konfiguriert und in Cloud-Umgebungen bereitgestellt und betrieben werden konnten.
Das Projekt umfasst die Entwicklung einer Web-Plattform für einen Automobilhersteller, deren Zweck der direkte und indirekte (Händler) Verkauf von Fahrzeugen war. Die neu entwickelte Plattform basiert auf JEE-Technologien und kommuniziert mit zahlreichen Fremdsystemen, teilweise Host-basiert.
Das Plattformprojekt nutzte Scrum und hatte eine umfangreiche Test- und Qualitätssicherungs-Pipeline auf Basis von Jenkins, JUnit, Oracle GlassFish, Oracle DB und Sonar aufgebaut. Als Test-Manager war ich verantwortlich für die Weiterentwicklung der Testautomatisierungs-Strategie.
Besonderes Augenmerk lag dabei auf der Reduzierung der Test-Laufzeiten, da die Testläufe zu lang gerieten, um den Entwicklern schnell Feedback liefern zu können. Analyse der Test-Pipeline und Erarbeitung von Änderungsvorschlägen für das Projekt-Management.