Vertragstyp: | Freiberuflicher Mitarbeiter |
Klient: | Verteilnetzbetreiber / Energieversorger |
Aufgabe: | Implementierung von ETL-Prozessen für die Transformierung von PostgreSQL/PostGIS-Daten in eine ArangoDB, Erzeugung von Tools (u. a. Visualisierung, Validierung und Anonymisierung) und Dashboards mit Python. |
Zeitraum: | 07/2021 bis 06/2022 |
Technologien: | Python, Pandas, Numpy, Matplotlib, Networkx, Plotly, Bokeh, SQL, PostgreSQL, PostGIS, Jupyter Lab, VS Code, DBeaver, Gitlab, Microsoft Azure Cloud |
Für einen Verteilnetzbetreiber / Energieversorger analysierte ich georäumliche und strukturierte Datensätze innerhalb einer PostgreSQL-Datenbank. Ebenso implementierte ich ETL-Prozesse, um Postgres/PostGIS-Datensätze in eine Graphendatenbank (ArangoDB) zu transformieren, zu validieren und abzuspeichern.
Neben diesen Tätigkeiten entwickelte ich rekursive-CTE-Abfragen mit SQL und ein dazugehöriges Dashboard mit Python, welches zur Visualisierung und Validierung von Stromnetzen durch Benutzereingaben verwendet wird. Des Weiteren wurden von mir auch Tools zur Validierung und Anonymisierung von Mapping-Datensätzen mit SQL und Python realisiert.
Schließlich konnten alle Ergebnisse/Tools in eine interne Gitlab-Repo hochgeladen und durch entsprechende readme-Dateien (Markdown) ergänzt werden. Organisatorisch waren die Tätigkeiten an ein Scrum-Verfahren angelehnt.