Python, Spark, and Hadoop for Big Data Schulung

Dieser Kurs richtet sich an Entwickler und Datenwissenschaftler, die KI verstehen und in ihre Anwendungen implementieren wollen. Besonderes Augenmerk wird auf Datenanalyse, verteilte KI und natürliche Sprachverarbeitung gelegt.

Diese Live-Schulung in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Datenwissenschaftler und Ingenieure, die Google Colab und Apache Spark für die Verarbeitung und Analyse von Big Data nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Eine Big-Data-Umgebung mit Google Colab und Spark einzurichten.
• Große Datenmengen mit Apache Spark effizient zu verarbeiten und zu analysieren.
• Big Data in einer kollaborativen Umgebung zu visualisieren.
• Apache Spark mit Cloud-basierten Tools zu integrieren.

Bei der Big-Data-Analyse werden große Mengen unterschiedlicher Datensätze untersucht, um Korrelationen, verborgene Muster und andere nützliche Erkenntnisse aufzudecken.

Die Gesundheitsbranche verfügt über riesige Mengen komplexer heterogener medizinischer und klinischer Daten. Die Anwendung von Big-Data-Analysen auf Gesundheitsdaten bietet ein großes Potenzial für die Gewinnung von Erkenntnissen zur Verbesserung der Gesundheitsversorgung. Die enorme Anzahl dieser Datensätze ist jedoch eine große Herausforderung für Analysen und praktische Anwendungen in einem klinischen Umfeld.

In diesem von Lehrern geleiteten Live-Training (Remote) lernen die Teilnehmer, wie Big-Data-Analysen im Gesundheitsbereich durchgeführt werden, während sie eine Reihe von praktischen Live-Laborübungen absolvieren.

Am Ende dieser Schulung können die Teilnehmer:

• Installieren und konfigurieren Sie Big Data-Analysetools wie Hadoop MapReduce und Spark
• Verstehen Sie die Eigenschaften von medizinischen Daten
• Wenden Sie Big-Data-Techniken an, um mit medizinischen Daten umzugehen
• Studieren Sie Big-Data-Systeme und -Algorithmen im Kontext von Gesundheitsanwendungen

Publikum

• Entwickler
• Data Scientists

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben.

Hinweis

• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren.

In dieser von einem Trainer geleiteten Live-Schulung in Österreich lernen die Teilnehmer die Technologieangebote und Implementierungsansätze für die Verarbeitung von Graphdaten kennen. Ziel ist es, Objekte der realen Welt, ihre Eigenschaften und Beziehungen zu identifizieren, diese Beziehungen zu modellieren und sie als Daten mit einem Graph Computing (auch bekannt als Graph Analytics) Ansatz zu verarbeiten. Wir beginnen mit einem breiten Überblick und konzentrieren uns auf spezifische Tools, während wir eine Reihe von Fallstudien, praktischen Übungen und Live-Einsätzen durchführen.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein

• Verstehen, wie Graphdaten persistiert und durchlaufen werden.
• das beste Framework für eine bestimmte Aufgabe auszuwählen (von Graphdatenbanken bis hin zu Stapelverarbeitungs-Frameworks).
• Implementierung von Hadoop, Spark, GraphX und Pregel, um Graphenberechnungen auf vielen Rechnern parallel durchzuführen.
• Big-Data-Probleme aus der realen Welt in Form von Graphen, Prozessen und Traversalen zu betrachten.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Systemadministratoren, die lernen möchten, wie sie Hadoop Cluster in ihrem Unternehmen einrichten, einsetzen und verwalten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installation und Konfiguration von Apache Hadoop.
• Die vier Hauptkomponenten des Hadoop-Ökosystems verstehen: HDFS, MapReduce, YARN und Hadoop Common.
• Das Hadoop Distributed File System (HDFS) zur Skalierung eines Clusters auf Hunderte oder Tausende von Knoten verwenden.
• HDFS als Speichermaschine für lokale Spark-Implementierungen einrichten.
• Einrichten von Spark für den Zugriff auf alternative Speicherlösungen wie Amazon S3 und NoSQL-Datenbanksysteme wie Redis, Elasticsearch, Couchbase, Aerospike usw.
• Ausführen von administrativen Aufgaben wie Bereitstellung, Verwaltung, Überwachung und Sicherung eines Apache Hadoop-Clusters.

Diese Live-Schulung mit Kursleiter in Österreich (online oder vor Ort) führt die Teilnehmer in die Hortonworks Data Platform (HDP) ein und begleitet sie durch den Einsatz der Spark + Hadoop Lösung.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Hortonworks verwenden, um Hadoop in großem Maßstab zuverlässig auszuführen.
• Die Sicherheits-, Governance- und Betriebsfunktionen von Hadoop mit den agilen analytischen Workflows von Spark zu vereinen.
• Verwenden Sie Hortonworks, um jede Komponente in einem Spark-Projekt zu untersuchen, zu validieren, zu zertifizieren und zu unterstützen.
• Verarbeiten Sie verschiedene Datentypen, einschließlich strukturierter und unstrukturierter Daten sowie Daten in Bewegung und im Ruhezustand.

Dieser Kurs behandelt die Verwendung der Hive SQL Sprache (AKA: Hive HQL, SQL in Hive , Hive QL) für Personen, die Daten aus Hive extrahieren

Cloudera Impala ist eine quelloffene, massiv-parallele Verarbeitungs- (MPP) SQL Abfrage-Engine für Apache Hadoop-Cluster.

Mit Cloudera Impala können Benutzer Abfragen mit niedriger Latenz SQL an Daten stellen, die im Hadoop Distributed File System und in Apache Hbase gespeichert sind, ohne dass eine Datenbewegung oder -transformation erforderlich ist.

Zielgruppe

Dieser Kurs richtet sich an Analysten und Datenwissenschaftler, die Daten, die in Hadoop gespeichert sind, mit Business Intelligence oder SQL Tools analysieren.

Nach diesem Kurs werden die Teilnehmer in der Lage sein

• Aussagekräftige Informationen aus Hadoop-Clustern mit Impala zu extrahieren.
• Spezifische Programme zu schreiben, um Business Intelligence in Impala SQL Dialekt zu erleichtern.
• Fehler zu beheben Impala.

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie verschiedene Stream Processing Frameworks mit bestehenden Big-Data-Speichersystemen und zugehörigen Softwareanwendungen und Microservices einrichten und integrieren können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und Konfigurieren verschiedener Stream Processing Frameworks, wie Spark Streaming und Kafka Streaming.
• Das am besten geeignete Framework für die jeweilige Aufgabe verstehen und auswählen.
• Daten kontinuierlich, gleichzeitig und Datensatz für Datensatz verarbeiten.
• Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. integrieren Stream Processing.
• Integrieren Sie die am besten geeignete Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Datenwissenschaftler, die den SMACK-Stack zum Aufbau von Datenverarbeitungsplattformen für Big-Data-Lösungen nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Implementierung einer Datenpipeline-Architektur zur Verarbeitung von Big Data.
• Entwickeln einer Cluster-Infrastruktur mit Apache Mesos und Docker.
• Daten mit Spark und Scala analysieren.
• Verwaltung unstrukturierter Daten mit Apache Cassandra.

Diese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Ingenieure, die ein System für die Verarbeitung sehr großer Datenmengen einrichten und einsetzen möchten Apache Spark.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und konfigurieren Sie Apache Spark.
• Schnelle Verarbeitung und Analyse von sehr großen Datensätzen.
• Den Unterschied zwischen Apache Spark und Hadoop MapReduce verstehen und wissen, wann man was verwenden sollte.
• Integrieren Sie Apache Spark mit anderen Tools für maschinelles Lernen.

Diese von einem Trainer geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Anfänger bis fortgeschrittene Systemadministratoren, die Spark-Cluster einsetzen, warten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Installieren und konfigurieren Sie Apache Spark in verschiedenen Umgebungen.
• Cluster-Ressourcen zu verwalten und Spark-Anwendungen zu überwachen.
• Die Leistung von Spark-Clustern zu optimieren.
• Sicherheitsmaßnahmen zu implementieren und Hochverfügbarkeit zu gewährleisten.
• Allgemeine Spark-Probleme zu debuggen und zu beheben.

In dieser von einem Trainer geleiteten Live-Schulung in Österreich lernen die Teilnehmer anhand praktischer Übungen, wie sie Python und Spark gemeinsam zur Analyse von Big Data einsetzen können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Lernen, wie man Spark mit Python verwendet, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Fälle nachahmen.
• Verschiedene Tools und Techniken für die Big-Data-Analyse mit PySpark verwenden.

MLlib ist die ML-Bibliothek (Machine Learning) von Spark. Ziel ist es, praktisches maschinelles Lernen skalierbar und einfach zu machen. Es besteht aus allgemeinen Lernalgorithmen und Dienstprogrammen, einschließlich Klassifizierung, Regression, Clustering, kollaborativer Filterung, Dimensionsreduzierung sowie Optimierungsprimitiven auf niedrigerer Ebene und Pipeline-APIs auf höherer Ebene.

Es teilt sich in zwei Pakete:

• spark.mllib enthält die ursprüngliche API, die auf RDDs basiert.

• spark.ml bietet eine API auf höherer Ebene, die auf DataFrames zum Erstellen von ML-Pipelines basiert.

Publikum

Dieser Kurs richtet sich an Ingenieure und Entwickler, die eine integrierte Maschinenbibliothek für Apache Spark