MBOS- Dateningenieur
Wir suchen erfahrene Dateningenieure zur Verstärkung unseres Teams. Sie werden verschiedene Methoden anwenden, um Rohdaten in nützliche Datensysteme umzuwandeln.
Um in dieser Position als Data Engineer erfolgreich zu sein, sollten Sie über ausgeprägte analytische Fähigkeiten verfügen und die Fähigkeit besitzen, Daten aus verschiedenen Quellen zu kombinieren. Zu den Fähigkeiten eines Dateningenieurs gehören auch die Vertrautheit mit verschiedenen Programmiersprachen und Kenntnisse über maschinelle Lernmethoden.
Wenn Sie detailorientiert sind, über ausgezeichnete organisatorische Fähigkeiten verfügen und Teil eines aufregenden Teams sein wollen, das die besten vernetzten Autos seiner Klasse entwickelt, dann ist dies die perfekte Gelegenheit für Sie.
Verantwortlichkeiten
- Erfahrung im Aufbau und der Verwaltung von Datenpipelines.
- Erfahrung mit der Entwicklung und dem Betrieb von Datenpipelines in der Cloud (vorzugsweise Azure.)
- Erfahrung mit verteilten Daten/Computing-Tools: Map/Reduce, Hadoop, Hive, Spark
- Fundierte Kenntnisse in der Architektur und in Datenpipelines in der Cloud unter Verwendung nativer Cloud-Technologien.
- Gute Erfahrung mit ETL- und ELT-Ingestion-Mustern
- Praktische Erfahrung in der Arbeit mit großen Datenmengen (im Petabyte-Bereich) mit verteilten Rechen-Frameworks.
- Gutes Verständnis der Container-Plattformen Kubernetes und Docker
- Ausgezeichnete Kenntnisse und Erfahrungen mit objektorientierter Programmierung
- Vertrautheit mit der Entwicklung von RESTful-API-Schnittstellen.
- Erfahrung mit Markup-Sprachen wie JSON und YAML
- Beherrschung von Design und Entwicklung relationaler Datenbanken
- Gute Kenntnisse von Data-Warehousing-Konzepten
- Arbeitserfahrung mit der agilen Scrum-Methodik
Technische Fertigkeiten
- Gute Kenntnisse in verteilten Cloud-Datenanalyseplattformen wie Databricks, HD insight, EMR-Cluster usw.
- Starke Programmierkenntnisse - Python/Java/R/Scala usw.
- Erfahrung mit Stream-Processing-Systemen: Kafka, Apache Storm, Spark-Streaming, Apache Flink, usw.
- Praktische Kenntnisse in Cloud-Data-Lake-Speichern wie Azure Data Lake Storage.
- Orchestrierung von Datenpipelines mit Azure Data Factory, Amazon Data Pipeline
- Gute Kenntnisse über Dateiformate wie ORC, Parquet, Delta, Avro usw.
- Gute Erfahrung im Umgang mit SQL- und No-SQL-Datenbanken wie MySQL, Elasticsearch, MongoDB, PostgreSQL und Cassandra, die große Datenmengen verarbeiten
- Starke Erfahrung mit Netzwerken und Sicherheitsmaßnahmen
- Beherrschung der CI/CD-Automatisierung und insbesondere der DevOps-Build- und Release-Pipelines
- Kenntnisse im Umgang mit Git, einschließlich Branching/Merging-Strategien, Pull Requests und grundlegende Befehlszeilenfunktionen
- Starke Erfahrung mit Netzwerken und Sicherheitsmaßnahmen
- Gute Datenmodellierungskenntnisse
Verantwortlichkeiten
- Cloud Analytics, Speicherung, Sicherheit, Ausfallsicherheit und Governance
- Aufbau und Pflege der Datenarchitektur für Data Engineering und Data Science Projekte
- Extrahieren, Transformieren und Laden von Daten aus Quellsystemen in Data Lake oder Datawarehouse unter Verwendung einer Kombination aus verschiedenen IaaS- oder SaaS-Komponenten
- Durchführen von Berechnungen auf großen Datenmengen mit Open-Source-Projekten wie Databricks/spark oder Hadoop
- Definition von Tabellenschemata und schnelle Anpassung an die Pipeline
- Arbeit mit großen Mengen unstrukturierter und strömender Datensätze
- Verantwortlich für die Verwaltung von NoSQL-Datenbanken in der Cloud (AWS, Azure usw.)
- Architekturlösungen für die Migration von Projekten von On-Premises in die Cloud
- Erforschen, untersuchen und implementieren Sie neuere Technologien, um die Sicherheitsfunktionen kontinuierlich weiterzuentwickeln
- Identifizieren wertvoller Datenquellen und Automatisieren von Erfassungsprozessen
- Implementierung angemessener Netzwerk- und Sicherheitsmaßnahmen für die Datenpipeline
- Implementierung einer Überwachungslösung für die Datenpipeline
- Unterstützung bei der Konzeption und Implementierung von Data-Engineering-Lösungen
- Führen einer ausgezeichneten Dokumentation für das Verständnis und den Zugriff auf die Datenspeicherung
- Unabhängig und im Team arbeiten, um den Kunden transformative Lösungen zu liefern
- proaktiv zu sein und ständig auf die Skalierbarkeit, Leistung und Verfügbarkeit unserer Systeme zu achten
- Etablierung einer Datenschutz-/Sicherheitshierarchie und Regelung des Zugriffs
- Zusammenarbeit mit Technik- und Produktentwicklungsteams
- Systematischer Problemlösungsansatz mit ausgeprägten Kommunikationsfähigkeiten und einem Gefühl von Eigenverantwortung und Tatkraft
MBOS- Dateningenieur
Wir suchen erfahrene Dateningenieure zur Verstärkung unseres Teams. Sie werden verschiedene Methoden anwenden, um Rohdaten in nützliche Datensysteme umzuwandeln.
Um in dieser Position als Data Engineer erfolgreich zu sein, sollten Sie über ausgeprägte analytische Fähigkeiten verfügen und die Fähigkeit besitzen, Daten aus verschiedenen Quellen zu kombinieren. Zu den Fähigkeiten eines Dateningenieurs gehören auch die Vertrautheit mit verschiedenen Programmiersprachen und Kenntnisse über maschinelle Lernmethoden.
Wenn Sie detailorientiert sind, über ausgezeichnete organisatorische Fähigkeiten verfügen und Teil eines aufregenden Teams sein wollen, das die besten vernetzten Autos seiner Klasse entwickelt, dann ist dies die perfekte Gelegenheit für Sie.
Verantwortlichkeiten
- Erfahrung im Aufbau und der Verwaltung von Datenpipelines.
- Erfahrung mit der Entwicklung und dem Betrieb von Datenpipelines in der Cloud (vorzugsweise Azure.)
- Erfahrung mit verteilten Daten/Computing-Tools: Map/Reduce, Hadoop, Hive, Spark
- Fundierte Kenntnisse in der Architektur und in Datenpipelines in der Cloud unter Verwendung nativer Cloud-Technologien.
- Gute Erfahrung mit ETL- und ELT-Ingestion-Mustern
- Praktische Erfahrung in der Arbeit mit großen Datenmengen (im Petabyte-Bereich) mit verteilten Rechen-Frameworks.
- Gutes Verständnis der Container-Plattformen Kubernetes und Docker
- Ausgezeichnete Kenntnisse und Erfahrungen mit objektorientierter Programmierung
- Vertrautheit mit der Entwicklung von RESTful-API-Schnittstellen.
- Erfahrung mit Markup-Sprachen wie JSON und YAML
- Beherrschung von Design und Entwicklung relationaler Datenbanken
- Gute Kenntnisse von Data-Warehousing-Konzepten
- Arbeitserfahrung mit der agilen Scrum-Methodik
Technische Fertigkeiten
- Gute Kenntnisse in verteilten Cloud-Datenanalyseplattformen wie Databricks, HD insight, EMR-Cluster usw.
- Starke Programmierkenntnisse - Python/Java/R/Scala usw.
- Erfahrung mit Stream-Processing-Systemen: Kafka, Apache Storm, Spark-Streaming, Apache Flink, usw.
- Praktische Kenntnisse in Cloud-Data-Lake-Speichern wie Azure Data Lake Storage.
- Orchestrierung von Datenpipelines mit Azure Data Factory, Amazon Data Pipeline
- Gute Kenntnisse über Dateiformate wie ORC, Parquet, Delta, Avro usw.
- Gute Erfahrung im Umgang mit SQL- und No-SQL-Datenbanken wie MySQL, Elasticsearch, MongoDB, PostgreSQL und Cassandra, die große Datenmengen verarbeiten
- Starke Erfahrung mit Netzwerken und Sicherheitsmaßnahmen
- Beherrschung der CI/CD-Automatisierung und insbesondere der DevOps-Build- und Release-Pipelines
- Kenntnisse im Umgang mit Git, einschließlich Branching/Merging-Strategien, Pull Requests und grundlegende Befehlszeilenfunktionen
- Starke Erfahrung mit Netzwerken und Sicherheitsmaßnahmen
- Gute Datenmodellierungskenntnisse
Verantwortlichkeiten
- Cloud Analytics, Speicherung, Sicherheit, Ausfallsicherheit und Governance
- Aufbau und Pflege der Datenarchitektur für Data Engineering und Data Science Projekte
- Extrahieren, Transformieren und Laden von Daten aus Quellsystemen in Data Lake oder Datawarehouse unter Verwendung einer Kombination aus verschiedenen IaaS- oder SaaS-Komponenten
- Durchführen von Berechnungen auf großen Datenmengen mit Open-Source-Projekten wie Databricks/spark oder Hadoop
- Definition von Tabellenschemata und schnelle Anpassung an die Pipeline
- Arbeit mit großen Mengen unstrukturierter und strömender Datensätze
- Verantwortlich für die Verwaltung von NoSQL-Datenbanken in der Cloud (AWS, Azure usw.)
- Architekturlösungen für die Migration von Projekten von On-Premises in die Cloud
- Erforschen, untersuchen und implementieren Sie neuere Technologien, um die Sicherheitsfunktionen kontinuierlich weiterzuentwickeln
- Identifizieren wertvoller Datenquellen und Automatisieren von Erfassungsprozessen
- Implementierung angemessener Netzwerk- und Sicherheitsmaßnahmen für die Datenpipeline
- Implementierung einer Überwachungslösung für die Datenpipeline
- Unterstützung bei der Konzeption und Implementierung von Data-Engineering-Lösungen
- Führen einer ausgezeichneten Dokumentation für das Verständnis und den Zugriff auf die Datenspeicherung
- Unabhängig und im Team arbeiten, um den Kunden transformative Lösungen zu liefern
- proaktiv zu sein und ständig auf die Skalierbarkeit, Leistung und Verfügbarkeit unserer Systeme zu achten
- Etablierung einer Datenschutz-/Sicherheitshierarchie und Regelung des Zugriffs
- Zusammenarbeit mit Technik- und Produktentwicklungsteams
- Systematischer Problemlösungsansatz mit ausgeprägten Kommunikationsfähigkeiten und einem Gefühl von Eigenverantwortung und Tatkraft
