Die
Relief-Algorithmen, eine Familie von Algorithmen zur
Attributsgewichtung, gehören zu den überwachten Lernmethoden des maschinellen Lernens. Zunächst einmal bezieht sich der Relief-Algorithmus nicht auf künftige Entscheidungsprozesse, sondern ist ein Werkzeug zur nachträglichen Untersuchung der Frage, welches Attribut den größten bzw. geringsten Einfluss auf die Entscheidung hatte. Besonders nützlich wird das dann, wenn Entscheidungen nicht willkürlich fallen, sondern in technischen Zusammenhängen physikalische, chemische oder andere Größen zu einem bestimmten Versuchsergebnis führen, was also wichtig ist, und was nicht. Aus der Attributsgewichtung mit einem der Relief-Algorithmen kann man Schlüsse von bereits durchgeführten Entscheidungsprozessen (z. B. Versuchen) auf ähnliche Prozesse (mit anderen Attributwerten) ziehen, somit unter Umständen deren Durchführung überflüssig machen und damit Geld und Arbeitsaufwand einsparen. Für ihre Anwendung ist zunächst die Definition einer Entfernung zwischen zwei
Instanzen erforderlich, die sich aus den Differenzen zwischen den
Attributen für jede der Instanzen ergibt. Die Gesamtheit aller möglichen Instanzen wird auch als
Instanzraum bezeichnet. Dieser ist i. A. kein Vektorraum im mathematischen Sinne, da gewöhnlich keine Vektoraddition sinnvoll definierbar ist, ebenso wenig die Multiplikation mit einer Zahl. Es ist aber sehr wohl ein metrischer Raum, da für je zwei Instanzen eine Entfernung (s. o.) definiert ist. Die Differenz der Attributwerte zweier Instanzen ist auch für
nominale Werte definiert, nämlich (ursprünglich) als 0, falls die Instanzen in diesem Attribut übereinstimmen, und sonst als 1. Als Entfernung zwischen den Instanzen braucht man in der Regel nur die sogenannte
Manhattan-Distanz zu verwenden, das heißt die Summe aller Differenzbeträge.
