In einem kürzlich auf der WSDM Konferenz veröffentlichten wissenschaftlichen Papier erläutern u.a. die Google Mitarbeiter Xuanhui Wang, Cheng Li und Marc Najork wie man Rankingpositionen ohne aufwendige Eingriffe anhand von prognostizierten Klickraten voraussagen kann.
Das Papier beschreibt das Verfahren und schildert dabei einige interessante Einblicke in existierende Verfahren. Zum Beispiel heisst es im Abschnitt „Controlling for Relevance through Swap Interventions„:
The key problem in both propensity estimation and unbiased learning to rank is that we only observe clicks, but we never get to observe whether a user examined a result and whether the user found the document (d) relevant for the query (q) individually. This makes it difficult to attribute the lack of a click to a lack of examination or a lack of relevance. A key idea for overcoming this dilemma without explicit relevance judgments or cumbersome instrumentation (e.g. eye tracking) was proposed, namely to control for relevance through randomized interventions.
Der Satz beschreibt die aktuelle Problematik, dass nur Klicks ausgewertet werden, diese aber nicht in Zusammenhang zum tatsächlichen Besuch (z.B. eine Website) eines Dokuments noch in Zusammenhang der individuellen Nützlichkeit des Dokuments für einen Nutzer gebracht werden. Daraus folgt, dass es sehr schwer ist aufgrund des Mangels an Klickdaten und Mangel an echten Relevanzinformationen auf andere unbekannte Suchanfragen zu schließen. Vorgeschlagen wird ein einfaches Verfahren, um „relevance judgments“ – also vorgegebene / manuelle Eingriffe oder aufwendige Verfahren wie zum Beispiel Eye Tracking Daten zu umgehen. Die vorgeschlagene Lösung dazu nennt man in dem Papier: Swap Interventions
The intervention proposed in is to randomly swap the result in position 1 with the result in position k. We call these swap interventions. Such swaps provide a completely randomized experiment, meaning that the assignment of the document to a position does not depend on relevance or any covariates (e.g. abstract length, document language). Under these swap interventions, we now get to observe how many clicks position 1 results get when they stay in position 1 vs. when they get swapped into position k. Since the expected relevance in either condition (i.e. swap vs. not swapped) is the same, any change in clickthrough rate must be proportional to a drop in examination.
Diese Stelle erklärt das Vorgehen und beschreibt, dass man einfach per Zufall ein Ergebnis von seiner bisherigen Position auf eine neue Position verschiebt (swapped) und dann die Veränderung der Clicktrough rate (CTR) auswertet.
Die von euch, die von Morgens bis Abends die Suchergebnisse studieren, wird dieses Verfahren schon aus der freien Wildbahn der Google Ergebnisse bekannt sein. Zahlreiche Experimente (Rankers) werden in den Suchergebnissen nahezu täglich getestet – und in einigen Fällen werden einfach Suchergebnisse ausgetauscht – Platz 1 wird mit Platz 3 vertauscht. Platz 3 mit Platz 8 – häufig nur für mobile Suchanfragen – nach einigen Tagen „swappen“ die Ergebnisse wieder an Ihre alte Position. Diese Tests werden unseren Beobachtungen nach späteren Zeitpunkten wiederholt und je nach Testverlauf ändert sich entweder gar nichts oder es kommt zu einer längerfristigen Veränderung. Das o.g. Papier könnte uns hier einen Einblick darüber geben was da eigentlich getestet wird und welchen tieferen Sinn diese Positions-Tausch-Tests verfolgen. Es geht natürlich immer um Relevanz und um eine automatisierte Gegenprüfung der Relevanz. Der Nutzer ist dabei das Prüfwerkzeug und soll diese Relevanz durch seine Klicks verifizieren. Interessant dabei ist das Zufallsprinzip – welches explizit nicht in Abhängigkeit zur bestehenden Relevanz oder anderen Variablen steht. Im Wortlaut heisst es:
the assignment of the document to a position does not depend on relevance or any covariates
Zufällige Positionsveränderungen sind für SEOs aber auch für viele „Betroffene“ ein Analyse-Killer. Der Betroffene bricht in Panik aus, der SEO kommt ins Rotieren… einige kennen diese Geschichten sicherlich zur Genüge. Ab sofort könnt ihr sagen -> „keep calm, alles radomly“ – wird schon wieder, wenn du wirklich relevant warst und die Nutzer dich bestätigen :)
Der Co-Autor des Papiers Marc Najork, Research Engineering Director bei Google, hat u.a. an zahlreichen – für unsere Zunft sehr spannenden – Dokumenten und Patenten mitgewirkt, welche für jeden der mehr über die Funktionsweise von Suchmaschinen und Algorithmen wissen will zur Pflichtlektüre geworden sind. Keine leichte Kost – aber genau richtig für ein verregnetes Wochenende.
