Relevante Suchergebnisse durch kontrollierte Qualitätsoptimierung - der rated ranking evaluator im Einsatz

Themen-Reihe: Teil 1 aus dem Leben eines relevance engineers: Wie geht man vor, um Suchsysteme zu optimieren?

Mit der Optimierung eines Suchsystems ist das so eine Sache. Man passt einen Parameter der Indexierung an und verbessert damit einen ganz bestimmten Teil der Suche. Auf andere Teile der Suche kann sich die umgesetzte Verbesserung allerdings auch negativ auswirken. Die Suchrelevanz verschlechtert sich. Und das passiert völlig unbemerkt. Sichtbar werden die schlechten Suchergebnisse meistens erst bei der öffentlichen Präsentation des Suchsystems vor den Stakeholdern oder nach Beschwerden von verärgerten Endusern.

Wie kann man beim Optimieren der Suchrelevanz verhindern, dass man manche Ergebnisse verschlechtert? Die Antwort liefert der Rated Ranking Evaluator. Dieses javabasierte Open-Source-Tool aus der Feder von Sease Ltd bietet die Möglichkeit, Qualitätsveränderung von Suchergebnissen messbar und sichtbar zu machen.

Dazu braucht man eine Vielzahl an vordefinierten Zuordnungen zwischen Suchanfrage und dazu passenden Suchergebnissen aus dem Suchindex. So wird ein Sollzustand für relevante Suchergebnisse festgehalten. Um damit die Qualität der tatsächlich zurückgegebenen Suchergebnisse zu messen, greift der RRE auf bewährte Metriken (auf Basis von Precision und Recall) zurück. Dadurch wird es möglich, den Ist-Zustand mit dem Soll-Zustand der Suchqualität abzugleichen und automatisiert zu errechnen.

Suchrelevanz-Engineers können die Suchmaschine und den Suchindex so einstellen, dass die Relevanz der Suchergebnisse steigt. Dadurch gibt es die Möglichkeit, die Verbesserung der Relevanz zu messen und mit dem vom Kunden definierten Soll-Zustand abzugleichen. Man kann also gezielt und schrittweise Verbesserungen einbringen und nach jeder Iteration überprüfen, ob die durchgeführten Maßnahmen die Suchleistung wirklich verbessert haben.

Alles andere wäre wie blindes Herumstochern im dunklen Nebel. Mit dem rated ranking evaluator können die Business-Ziele des Kunden innerhalb jeder Produktsuche perfekt erreicht werden. Ein absoluter Traum für alle Relevance-Engineers und jeden Kunden.