Drei Lehren aus den falschen Machine-Learning-Prognosen zur Fußball-Weltmeisterschaft 2018

Im Vorfeld der diesjährigen Fußball Weltmeisterschaft in Russland haben viele Data-Science-Unternehmen ihre Marketing-Muskeln spielen lassen und versucht, mithilfe von Machine Learning den Gewinner des wichtigsten Sportereignisses der Welt vorherzusagen. In einem prominenten Beispiel simulierte Goldman Sachs die WM über eine Million Mal, um einen Gewinner vorherzusagen. Aber konnten die Ergebnisse wirklich jemals genau genug sein, um dies zu mehr als einer reinen PR-Show zu machen?* Nicht wirklich! Die große Mehrheit der Machine-Learning-Prognosen für die WM 2018 sah Deutschland als Sieger. Warum sind die Prognosen nicht wahr geworden und was können wir daraus über die Natur des Machine Learning lernen?

* (P.S. Ich bin mir der Ironie bewusst, dass auch ich in der Hoffnung über die WM schreibe, die Reichweite dieses Beitrags zu steigern.)

1. Die Zusammenhänge sind oft komplizierter als die vorhandenen Daten

Einer der Hauptgründe für das Versagen der Machine-Learning-Prognosen zur WM ist, dass beim Fußball zu viele Faktoren das Resultat beeinflussen. Das Ergebnis des Finales steht am Ende einer Ereigniskette von 63 Spielen (ausgenommen das Spiel um den 3. Platz). Jedes Spiel wird von sehr vielen Faktoren beeinflusst, wie Verletzungen, rote Karten und Sperren, dem Wetter und sogar der Fähigkeit von Teams aus ihren vorherigen Spielen zu lernen. Kein Datensatz kann auch nur annähernd jeden relevanten Faktor abbilden, der das Ergebnis dieser Spiele beeinflusst.

Beim zufälligen Aufeinandertreffen auf einer Zugfahrt mit Dr. Karl Jones von der John Moore‘s Universität in Liverpool erzählte er mir eine Anekdote, die er oft mit seinen Studenten teilt: Liverpool gewinne statistisch eher ein Spiel, wenn Steven Gerrard, allgemein als einer der besten Spieler der Mannschaft anerkannt, nicht in der Anfangsformation steht. In der Saison 2012 hatte Liverpool eine Gewinnquote von 48 Prozent, als er zu Beginn des Spiels auf der Bank saß, verglichen mit einer Gewinnquote von neun Prozent, wenn er in der Startelf war. Jones fragt also seine Schüler, warum das so sei, wohlgemerkt an einer Uni in Liverpool, an der Gerrard und die Mannschaft sehr populär sind. Keiner seiner Studenten habe jemals vorgeschlagen dies könne mit Fähigkeiten des Spielers zu tun haben. Vielleicht, so Jones, seien ja die Frühstücksgewohnheiten des Liverpool-Teams anders, wenn Gerrard nicht spielt. Vielleicht liege es daran, dass Gerrard wenn er weiß, dass er spielt, eine Menge Müsli zum Frühstück isst, aber wenn er nicht spielt, bekommt der Rest des Teams Müsli zu essen! Ohne Daten über die Frühstücksgewohnheiten und all die weiteren Kontextdaten eines Fußballspiels können wir nie sicher sein, wie das Ergebnis sein wird. Dies wirft die Frage auf, ob die Anwendung von Machine Learning für einige Problemstellungen durch die Unfähigkeit limitiert ist, alle relevanten und notwendigen Daten zu sammeln.

Beim Fußball beeinflussen zu viele Faktoren das Resultat, als das ein Datenmodell sie alle abbilden könnte.

3. Ist Machine Learning vielleicht gar nicht innovativ?

Unterm Strich bleibt folgendes: Wenn Sie einen Datensatz, der aus sehr vielen Siegen von Brasilien und Deutschland besteht, fragen, wer die WM gewinnt, wird die Prognose Brasilien oder Deutschland sein. Der Nachteil der Verwendung historischer Daten zur Vorhersage der Zukunft besteht darin, dass die vorhergesagte Zukunft letztendlich wie eine Spiegelung der Vergangenheit aussieht.

Ich bin ein starker Befürworter von Künstlicher Intelligenz (KI) und Machine Learning, aber es scheint, als ob der aktuelle Stand der Technologie es uns erlaubt, bestehende Systeme (für die wir bereits Daten haben) zu optimieren, aber uns (noch) kein Paradigmenwechsel gelingt. Bei dieser WM hat sich auf dem Platz ein Paradigmenwechsel vollzogen, in dem Sinne, dass in der Breite mehr Mannschaften stärker waren (Mannschaften wie Kroatien und sogar Gastgeber Russland) und gleichzeitig viele der Favoriten schwächer als erwartet. Aber andererseits würde ohne historische Daten als Basis jedes Machine-Learning-Modell seltsam erscheinen, das zum Beispiel Kroatien als Finalteilnehmer vorgeschlagen würde.

Im krassen Gegensatz dazu steht die Wahrnehmung von Data Science, Machine-Learning und KI in Unternehmen. Diese Technologien werden derzeit als der Höhepunkt der technologischen Innovation und als sicherer Weg angesehen, um die Art und Weise zu revolutionieren, wie ein Unternehmen Mehrwert anbietet und liefert. Liegen sie da eventuell falsch? Bieten diese Technologien nur eine Möglichkeit zur Feinjustierung dessen, was Unternehmen bereits tun? Sollte Machine-Learning eher dazu dienen, Ideen und Prozesse zu verfeinern, die von „Human Intelligence“, also Menschen, geschaffen wurden? Vielleicht ist das wichtigste, was uns die Weltmeisterschaft über Machine-Learning lehren kann, dass diese Technologien zutiefst auf den Menschen ausgerichtet sind.

Wenn ich über die oben genannten Punkte nachdenke, werde ich an ein Zitat von Automobilpionier Henry Ford erinnert, das in so ziemlich jeder meiner Wirtschaftsvorlesungen an der Universität verwendet wurde. Ich habe es hier leicht abgeändert, um Kritik an einem Tätigkeitsfeld zu geben, das ich liebe und glaube, dass es die Welt verändert:

„Wenn ich [meine Datensätze] gefragt hätte, was sie wollen, hätten sie gesagt: schnellere Pferde."

Nicht ganz Henry Ford

Vielleicht ist das wichtigste, was uns die Weltmeisterschaft über Machine-Learning lehren kann, dass diese Technologien zutiefst auf den Menschen ausgerichtet sind.

Alistair Heath ist Senior Analyst für Advanced Analytics bei Mars.

Kontakt: LinkedIn / Twitter

Originaltext erschienen am 5. Juli 2018 in englischer Sprache auf LinkedIn - mit freundlicher Genehmigung des Autors

Die Vermessung des Sports - wie Datenanalyse den Fußball verändert

„Die Daten sagten ein hohes Unentschieden vorher, das Spiel endete 3:3!" - Interview Datenalyse im Fußball

Big Data Analytics - Tagesgeschäft in der NBA