Prof. Dr. Gerhard Meyer (Universität Bremen), Dr. Jens Kalke und Dr. Sven Buth (ISD-Hamburg) sowie Dr. Holger Liljeberg (INFO-GmbH), die Autoren des Glücksspiel-Surveys, haben auf das kritische Gutachten „Qualitätsanforderungen an Studien zur Ableitung von Regulierungsmaßnahmen: Kritische Evaluation des Glücksspiel-Surveys 2021“ der Statistikerin Katharina Schüller mit einer Stellungnahme reagiert. In ihrem Antwortschreiben an die Autoren bekräftigt Schüller die im Gutachten angeführten Kritikpunkte. Damit geht der Disput um den Survey in die nächste Runde.

In ihrer Einleitung der Stellungnahme zum Gutachten betonten die Autoren des Glücksspiel-Surveys 2021, dass Schüller das Gutachten im Auftrag von Verbänden der privaten Glücksspielindustrie verfasst habe, die Glücksspiele mit besonders hohem Gefährdungspotenzial anböten.

Schüller unterstreicht in ihrer Replik erneut die schweren methodischen Fehler, die der Glücksspiel-Survey 2021 aufweise. Gleichzeitig distanziert sich die Wissenschaftlerin vorsorglich von möglichen Vorwürfen, die Auftraggeber könnten Einfluss auf die Resultate des Gutachtens ausgeübt haben:

„Die Versuche der Herabwürdigung sowohl meiner Person sowie mindestens mittelbar auch der wissenschaftlichen Qualitäten von Prof. Dr. Münnich, mit denen die Survey-Autoren ihre Stellungnahme einleiten, nehme ich zur Kenntnis. Ich erachte es als Wissenschaftlerin nicht für erforderlich, diese zu kommentieren.“

Die Statistikerin verweist zudem auf die Tatsache, dass die Erstellung des Gutachtens in Kooperation mit Prof. Dr. Ralf Münnich, dem Vorsitzenden der Deutschen Statistischen Gesellschaft (DStatG) und Zensus-/Survey-Gutachter u.a. beim Bundesverfassungsgericht erfolgt sei.

Dies hätten die Survey-Autoren in ihrer Stellungnahme nicht berücksichtigt, könne jedoch ein Hinweis darauf sein, dass sich die Autoren nicht ausreichend mit den Inhalten des Gutachtens auseinandergesetzt hätten.

Erneut betont Schüller die mangelnde Transparenz. Ihre Anfrage nach Herausgabe erhobener Rohdaten sowie anderer Materialien sei seitens der Survey-Autoren brüsk zurückgewiesen worden.

„Sie brachen die Korrespondenz mit mir per E-Mail vom 11.7.2023 einseitig ab und begründeten dies mit einem „Mangel an Transparenz“. Es steht den Survey-Autoren frei, nun Transparenz herzustellen und ihre Daten, Fragebögen und Begleitmaterialien offenzulegen.“

Im Sinne wissenschaftlicher Transparenz sei Schüller zu einer persönlichen und öffentlichen Diskussion über das Gutachten mit den Autoren des Glücksspiel-Surveys bereit. Dies erachte sie als zielführender als den schriftlichen Austausch.

In ihrem Schreiben geht Schüller auf die in der Stellungnahme aufgeworfenen Punkte erneut ein. Für die Statistikerin werde in dem Survey gegen wissenschaftliche Normen verstoßen. Damit sei der Survey nicht brauchbar als Grundlage für regulatorische Entscheidungen.

Selbst die Nachjustierung an einigen Stellen könne diese Mängel nicht beseitigen. Die Fortführung der Arbeit an dem Survey stehe damit gänzlich in Frage. Schüller nimmt zu den in der Stellungnahme seitens der Autoren aufgeworfenen Kriterien Stellung:

Mixed-Mode-Ansatz: Die Kombination von Telefon- und Online-Befragung erhöhe das Risiko der Selektionsverzerrung und zu einer höheren Nonresponse-Quote. Darauf sei seitens der Autoren nicht eingegangen worden. Zudem sei eine Übertragung methodischer Praktiken, zum Beispiel aus der Wahlforschung, auf andere Befragungsmaterien unzulässig.

Längsschnittstudie vs. Querschnittstudie: Es sei nach Ansicht Schüllers kein Argument, auf frühere Querschnittsbefragungsdesigns der BZgA zu verweisen. Um Kausalzusammenhänge in Bezug auf das Glücksspielverhalten zu untersuchen, sei ausschließlich das Längschnittstudiendesign geeignet.

Neue Kategorie „Riskante Spieler“: Durch das Hinzufügen der Kategorie „Riskante Spieler“, die ein bis drei Kriterien der DSM-5 erfüllten, sei die Anzahl der Menschen, die mit problematischem Spielverhalten zu kämpfen hätten, künstlich auf 8 % der Gesamtbevölkerung erhöht worden:

„Wenn die Datengrundlagen zur Evaluation und Rechtfertigung regulatorischer Maßnahmen geschaffen werden sollen, muss die Auswirkung der neuen Zuordnung detailliert und transparent untersucht werden. Andernfalls wird das Risiko erhebliche Mess- und Verarbeitungsfehler bewusst in Kauf genommen.“

Peer-Review nicht erfolgt: Die Survey-Autoren wiesen den Vorwurf mangelnder Transparenz zurück, indem sie zwei Publikationen zum Survey in Fachzeitschriften erwähnten. Dies gehe aber an der Kritik der Statistikerin vorbei, denn sie habe sich auf den Peer-Review von Methodik und Ergebnissen als Ganzes bezogen. Soweit zu erkennen sei, seien nur ausgewählte Abschnitte der Daten betrachtet worden. Als Ganzes sei der Glücksspiel-Survey allerdings nicht behandelt worden.

In ihrem Schlusswort erklärte sich Schüller weiterhin für eine öffentliche wissenschaftliche Auseinandersetzung mit den Autoren bereit, denn das engagierte Streitgespräch sei Kernbestandteil wissenschaftlicher Betätigung.

Download der vollständigen Replik von Katharina Schüller auf Survey-Autoren