Читать книгу Data Science - Michael Zimmer - Страница 60

Maschinelle Lernverfahren machen in der Regel Vorhersagen, die nicht in allen Fällen richtig sind. Da unterscheiden sie sich nicht von Menschen. Im Falle einer Klassifikationsaufgabe kann die Güte eines Modells beispielsweise durch die F-Measure, also die Kombination aus Precision und Recall, angegeben werden [Baeza-Yates & Ribeiro-Neto 1999]. Abhängig vom Einsatzgebiet des Datenprodukts ist es entscheidend, zu verstehen, welche Eigenschaft dem Nutzer besonders wichtig ist. Möchte er z.B. einen höheren Recall, soll also eine Klassifikation für möglichst viele Fälle angeben werden, bei entsprechender Verminderung der Precision oder sollen die Vorhersagen eher richtig sein und im Zweifelsfall nicht angezeigt werden. Damit dies richtig eingeschätzt werden kann, ist es wichtig, zu verstehen, was im schlimmsten Fall bei einem Fehler des Algorithmus passieren kann. Im Zweifelsfall müssen Fehlerquellen auch manuell während der Entwicklung abgefangen werden.

Bei Urlaubsbildern wird man es entschuldigen können, wenn ein Kuchen als Sonnenuntergang klassifiziert wird. Wenn die IBAN auf einer Überweisung erkannt werden soll, hilft eine unscharfe Erkennung nicht, weil dann doch alle erkannten Ziffern überprüft werden müssten.

Aus der Robotik ist das Konzept des Uncanny Valley bekannt [Mori 1970]. Die Sympathie, die einer Maschine entgegengebracht wird, steigt zunächst mit ihrer Ähnlichkeit zu menschlichem Verhalten/Aussehen. Sobald die Ähnlichkeit aber einen bestimmten Grad erreicht hat, fällt sie signifikant, bis eine absolute Übereinstimmung mit menschlichem Verhalten erreicht wurde. Etwas Ähnliches kann man sich bei der Güte von Algorithmen vorstellen. Ein Algorithmus, von dem man weiß, dass er eine gute Vorhersage liefert, ist eine gute Informationsquelle, aber der Nutzer weiß auch, dass er sich nicht zu 100% darauf verlassen kann, und denkt entsprechend selber nach. Bei einer sehr guten Vorhersage geht die Anzahl der Änderungen so stark zurück, dass der Mensch sich zu sehr auf den Algorithmus verlässt. Wie die tragischen Beispiele von Tesla zeigen, auch mit tödlichem Ausgang.

Im Rahmen der Konzeption des Datenprodukts müssen daher die Präferenzen der Nutzer bezüglich der Güte des Modells herausgefunden werden und auch die Konsequenzen aus einer zu guten Vorhersage abgewogen werden.