Conference Agenda

Die Plausibilisierung (PL) von Erhebungsdaten spielt eine zentrale Rolle im Statistikproduktionsprozess der amtlichen Statistik in Deutschland. Zur Verbesserung der Ergebnisqualität wie auch zur Reduzierung des bestehenden Konfliktes zwischen großem Ressourcen- und Zeiteinsatz einerseits und Aktualität der Ergebnisse andererseits arbeitet die amtliche Statistik in Deutschland an der Modernisierung, Optimierung und Standardisierung der bestehenden Prozesse und verwendeten IT-Produkte für die Durchführung der PL.

Die Modernisierung des PL-Prozesses umfasst daher drei Stränge:

(1) Anhand der in der „Landkarte der Standardaufbereitungsprozesse“ dokumentierten typischen statistikübergreifenden Funktionalitäten, fachlichen Anforderungen, Arbeitsschritten und Anwendungsszenarien der Datenaufbereitungsphase des Statistikerstellungsprozesses (inkl. der PL) wird eine auf State-of-the-Art-Technologien und geltenden Standards basierende IT-Unterstützung mit dem Fokus auf Effizienz von Backendprozessen konzipiert und umgesetzt. Dabei wird ein hoher Automatisierungsgrad bei der PL-Durchführung angestrebt und auch ein ML/KI-Einsatz soll ermöglicht werden.

(2) Um die Anzahl fehlerhafter Datensätze zu reduzieren, sollen möglichst viele PL-Prüfungen bereits beim Empfang der Erhebungsdaten in den angeschlossenen IT-Meldesystemen und entsprechende Korrekturen (automatisch oder manuell durch die Auskunftspflichtigen) durchgeführt werden.

(3) Mittels der Geschäfts- und Unternehmensarchitektur und den dort genutzten Methoden und BPMN 2.0-, ArchiMate- oder Entity-Relationship-Modellen sowie der „Landkarte der Standardaufbereitungsprozesse“ sollen die bestehenden PL-Prozesse und Zusammenhänge analysiert und – darauf basierend – optimierte Soll-Prozesse und zugehörige Bebauungspläne für die IT-Landschaft erstellt werden.

Die amtliche Statistik in Deutschland hat sich mit dem Modernisierungsvorhaben zum Ziel gesetzt, den Prozess der Plausibilisierung mit seinen vier Grundfunktionen – Fehlererkennung, Fehlersteuerung, Fehlerbeseitigung und Überprüfung der Fehlerbeseitigung – zukunftsorientiert und zukunftsfähig zu gestalten.

Schlüsselwörter: Plausibilisierungsprozesse, Optimierung und Standardisierung, Geschäftsprozessmodellierung, IT-Landschaft

Die Prüfung der Datenplausibilität ist ein wichtiger Bestandteil der Datenaufbereitung in der amtlichen Statistik und spielt eine entscheidende Rolle, um Qualität und Verlässlichkeit statistischer Veröffentlichungen sicherzustellen. Wesentliches Ziel der Plausibilisierung ist es, im Zuge der Datenerhebung entstandene fehlerhafte oder unplausible Werte zu identifizieren und zu lokalisieren, um diese anschließend korrigieren zu können.

In der bisherigen Praxis ist die Plausibilisierung häufig von aufwändigen, manuell durchgeführten Arbeitsschritten abhängig – ein zeit- und ressourcenintensives Vorgehen. Um Effizienz und Skalierbarkeit zu erhöhen, erproben statistische Ämter zunehmend stärker automatisierte Vorgehensweisen – etwa auf Basis deterministischer Regeln, statistischer Modelle sowie Methoden der Künstlichen Intelligenz und des maschinellen Lernens. Diese datengetriebenen Ansätze bieten großes Potenzial zur Verbesserung und Optimierung der Plausibilisierungsprozesse, sind jedoch häufig auch mit nicht zu unterschätzenden technischen und organisatorischen Herausforderungen verbunden.

Der Vortrag bietet einen Überblick über den Entwicklungsstand der Plausibilisierung in der amtlichen Statistik und skizziert Perspektiven für ihre zukünftige Weiterentwicklung.

Traditionally, national statistical institutes and other producers of official statistics have spent much time and effort on manual editing of business survey data to correct measurement errors. Over the past decades, this editing process has been made more efficient by, first, focusing manual editing efforts on the most influential errors and, second, developing automatic editing methods to handle the remaining errors.

A common approach for automatic editing is based on the paradigm of Fellegi and Holt. Given a set of rules that should be satisfied by the data (e.g., "profit equals total revenues minus total costs"), this paradigm states that the observed data should be made consistent with these rules by changing the fewest (weighted) values. Each value can be given a so-called reliability weight, to indicate that some observed values are more likely to be erroneous than others. The paradigm can be formulated as a mixed-integer linear optimization problem, known as the error localization problem. In practice, error localization under the Fellegi-Holt paradigm often has only limited success in mimicking the strategies of manual editors.

A few years ago, I proposed a generalization of the Fellegi-Holt paradigm, which allows edit operations to be used that correct errors that affect more than one variable at the same time. (For instance: an error where two values on a survey form are interchanged.) Again, edit operations can be given different reliability weights, to indicate that the error corresponding to an edit operation is more or less likely to occur. Two practical questions when applying this error localization approach are: how to define suitable edit operations and how to choose suitable reliability weights.

In this contribution, some recent research at Statistics Netherlands into automatic error localization will be presented, including applications to data of the Dutch structural business statistics.