Predictive Maintenance in der Produktion
CRISP-DM ist ein standardisierter Prozess für Data-Mining-Projekte, der sechs Hauptphasen umfasst: Geschäftsverständnis, Datenverständnis, Datenvorbereitung, Modellbildung, Modellbewertung und Einsatz. Es hilft bei der strukturierten Durchführung von Datenanalysen, um Geschäftsprobleme zu lösen, indem es einen klaren Rahmen für die Arbeit liefert. Der Prozess ist iterativ, erlaubt also das Zurückkehren zu vorherigen Phasen, um Anpassungen basierend auf neuen Erkenntnissen vorzunehmen. CRISP-DM wird in verschiedenen Branchen und Organisationen eingesetzt, um datenbasierte Entscheidungen zu treffen und Einblicke zu gewinnen.
Business Understanding (Geschäftsverständnis)
Für die geschäftliche Einordnung des Praxisbeispiels sind die Ziele und Anforderungen von Unternehmen im Bereich Predictive Maintenance relevant. Maschinendefekte und -ausfälle sollen im Allgemeinen verhindert werden, da sie hohe Kosten verursachen sowie durch die Unterbrechung der Produktion zusätzlich die Produktionszeit verlängert wird. Folglich ist die vereinbarte Lieferzeit von Produkten gefährdet. Zur Verhinderung von Maschinenausfällen ist eine permanente Analyse wichtiger Maschinendaten und die Überwachung des Maschinenzustands notwendig. Basierend auf den relevanten Maschinendaten soll ein Machine Learning Modell aufgebaut werden, welches das Auftreten eines Defektes vorhersagt. Damit sollen kostspielige Ausfälle verhindert, die Notwendigkeit für Wartungsarbeiten erkannt und die Wartungen entsprechend terminiert werden, so dass der Produktionsprozess nicht davon beeinflusst wird.
Datenverständnis
Der Datensatz für das Beispiel bezieht sich auf eine Fräsmaschine, die neben vielen weiteren Maschinen im Produktionsprozess zum Einsatz kommt. Der Datensatz ist über das Machine Learning Repository der University of California in Irvine (UCI) (https://archive.ics.uci.edu/ml/datasets/AI4I+2020+Predictive+Maintenance+Dataset) verfügbar. Der komplette Datensatz enthält 10.000 Datenpunkte mit insgesamt 14 Attributen für gewisse Eigenschaften der Fräsmaschine. Aus diesen 14 Features wird zunächst die Zielvariable für die Vorhersage eines Maschinendefekts bestimmt. Diese ist im vorliegenden Fall das Feature „machine failure“. Die einzelnen Datenpunkte besitzen eine 1 im Falle eines Maschinendefekts oder eine 0 im Fall, dass kein Defekt auftritt. Zusätzlich enthält der Datensatz fünf weitere Features, die als Zielvariablen festgelegt werden. Es handelt sich um die unterschiedlichen Ausfallmodi „tool wear failure“ (TWF, Ausfall durch Werkzeugverschleiß), „heat dissipation failure“ (HDF, Ausfall der Wärmeabfuhr), „power failure“ (PWF, Leistungsausfall), „overstrain failure“ (OSF, Überlastungsbruch) und „random failures“ (RSF, Zufallsausfall). Somit kann durch den Algorithmus eine binäre Klassifikation zwischen Defekt und kein Defekt sowie eine multiklassen Klassifikation der unterschiedlichen Defekt-Ausprägungen erfolgen. Abzüglich der genannten Features, welche als Zielvariablen bestimmt sind, enthält der Datensatz acht weitere Merkmale zur Bestimmung des Maschinenzustands. Dabei kann zwischen numerischen und kategorialen Datentypen unterschieden werden.
Datenvorbereitung
Eine Überprüfung auf fehlende Werte in den einzelnen Features bestätigt, dass keine fehlenden Werte vorliegen. Der Datensatz ist in diesem Sinn vollständig. Außerdem sind keine Duplikate vorhanden. Die Index-Variable (UDI) wird entfernt. Zudem wird eine einfache Form der Datentransformation durchgeführt. Dies betrifft die beiden Temperatur-Features, welche in der Einheit Kelvin angegeben sind. Die Einheit beider Features wird auf Grad Celsius geändert. Im Datensatz zeigen sich einige Ausreißer, allerdings korrelieren diese stark mit dem Maschinenausfall und werden daher nicht bereinigt. Im nächsten Schritt werden relevante Features für die Einbindung in das Modell ausgewählt. Dies erfolgt auf Basis einer Korrelationsanalyse. Features mit sehr hoher Korrelation werden reduziert bzw. nur einfach in das Modell eingebunden. Dies wird durch einen Test auf Multikollinearität unterstützt. Abschließend werden die kategorialen Variablen in nummerische Werte transformiert (One Hot Encoding). Alle Features werden schließlich durch eine Skalierung auf ein einheitliches Messniveau standardisiert. Der Daten sind ist nicht ausbalanciert, da die Maschine in der Praxis deutlich weniger häufig ausfällt. Zur Behebung des Problems werden synthetische Daten erstellt. Dabei werden die Daten der Minoritätsklasse dupliziert, um das Ungleichgewicht auszugleichen (Oversampling). In der Fallstudie werden die beiden Techniken Random Oversampling und SMOTE Oversampling der Bibliothek imbalanced-learn anhand der binären Klassifikation getestet.
Datenmodell
Das vorliegende Fallbeispiel beinhaltet ein Klassifikationsproblem. Als Modellierungsansatz ordnet eine Klassifikation einzelne Beobachtungen zuvor definierten Kategorien oder Klassen zu. Bei der Klassifikation werden Beispiele benötigt, sodass der Algorithmus trainiert werden kann. Dafür ist ein Split des gesamten Datensatzes in Trainings- und Testdaten notwendig. Im Beispiel wurden mehrere Algorithmen auf den Datensatz angewendet: Logistic Regression, Random Forest Classifier, Gaussian Naive Bayes und eXtreme Gradient Boosting Classifier. Auf eine Darstellung der Unterschiede zwischen den Alogorithmen wird hierverzichtet. Es existieren unterschiedliche Formen der Klassifikation. Das Beispiel behandelt sowohl eine binäre (Ausfall versus kein Ausfall?) als auch eine multi-klassen Klassifikation (Welche Art von Ausfall?) behandelt.
Evaluation
Für den Vergleich der Modelle müssen geeignete Qualitätskriterien festgelegt und für jedes Modell ausgewertet werden. Eine Übersicht über die Beziehungen zwischen Realität und Vorhersage der Klassen liefert die sogenannte Konfusionsmatrix mit der Unterteilung in vier Felder. Daraus lassen sich schließlich mehrere statistische Werte zur Evaluation der Modelle berechnen. Hier werden besonders die Metriken Precision und Recall betrachtet. Unter den skizzierten Algorithmen fällt die Wahl auf den Gaussian Naive Bayes mit einem Recall von 80%, auch wenn die Accuracy lediglich bei 78,5% liegt. Der XGBoost Classifier hat sich auch für die Bereitstellung empfohlen. Er erzielt eine Accuracy von 87% und damit eine insgesamt höhere Genauigkeit der Modell-Vorhersagen. Dagegen liegt aber der Recall als entscheidende Metrik lediglich bei 71%, weshalb über ein Viertel der Maschinenausfälle nicht erkannt wird.