Scan statistics for data segmentation of stochastic processes and anomaly detection in large image data

Abstract

Pre-processing is an important step in the analysis of data. For example, it can used to segment time series into stretches with approximately constant means but also for the analysis of image data by e. g. identifying regions containing anomalies. Scan statistics provide a powerful and oftentimes computationally effective tool for both the estimation of structural breaks, so called change points, in time series and the estimation of locations that contain anomalies in image data. In the first part of this thesis, we present statistical methodology based on scan statistics with the intent of estimating mean changes on a general class of multivariate stochastic processes. More precisely, these processes fulfill strong invariance principles and include e. g. partial sum, renewal and diffusion processes. We introduce a scan statistic based on moving sum (MOSUM) statistics in order to estimate the locations of abrupt mean changes of the processes introduced above. We analyze the behavior of this statistic both in the existence and the absence of change points and provide limit distributions in the case of no change points. We introduce estimators for these change points and show consistency for both the case of linear and sublinear bandwidths. Furthermore, under mild assumptions we are able to show convergence rates and provide the asymptotic distribution for the distance between the change points and their estimators. In the second part of this thesis, we develop a procedure that aims to identify areas containing potentially dangerous anomalies such as fissures in large scans of concrete blocks as a starting point for further methods, e. g. machine learning algorithms while trying to discard areas with natural anomalies (gravel, air etc.). One can observe that locally, fissures are rectangle-shaped objects with small widths while the natural anomalies resemble bubbles. Therefore, inspired by the use of windows in MOSUM statistics and based on the above described geometric properties of fissures and natural anomalies, we present a MOSUM-type scan statistic using rectangle- and circle-shaped windows in order to detect areas with potentially dangerous anomalies (fissures) and discard areas with natural anomalies. We analyze the performance of our procedure by means of a simulation study and show convergence of our scan statistic to a Gaussian process in the absence of anomalies which is important in order to calculate thresholds for our procedure. Furthermore, we provide limit theorems for scan statistics using shapes for windows that include, but are not not limited to, convex sets.

Die Vorverarbeitung der Daten ist ein wichtiger Schritt im Bereich der Datenanal-yse. Sie kann sowohl dazu genutzt werden, Zeitreihen in Abschnitte mit annähernd konstanten Erwartungswerten zu unterteilen, als auch für die Analyse von Bilddaten, um dort z. B. Regionen zu identifizieren, die Anomalien aufweisen. Scan-Statistiken sind wirkungsvolle und oftmals recheneffiziente Methoden sowohl für die Schätzung von Strukturbrüchen, so genannter Change-Points in Zeitreihen, als auch für die Schätzung von Anomalien enthaltenden Regionen in Bilddaten. Im ersten Teil dieser Arbeit stellen wir statistische Methoden basierend auf Scan-Statistiken vor, mit dem Ziel, Erwartungswertänderungen in einer allgemeinen Klasse multivariater stochastischer Prozesse zu schätzen. Für diese Prozesse fordern wir lediglich, dass sie starke Invarianzprinzipien erfüllen. Dies beinhaltet beispielsweise Partialsummen-, Erneuerungs- und Diffusionsprozesse. Wir stellen eine Scan-Statistik auf Basis so genannter ’moving sum’ (MOSUM)-Statistiken vor mit dem Ziel, die genaue Lage von abrupten Mittelwertänderungen in den oben vorgestellten Prozessen zu schätzen. Wir analysieren das Verhalten dieser Statistik sowohl im Falle der Ex-istenz als auch der Abwesenheit von Strukturbrüchen und leiten Grenzverteilungen der Statistik im Falle der Abwesenheit von Strukturbrüchen her. Ferner stellen wir auf der Scan-Statistik basierende Schätzer für die Strukturbrüche vor und zeigen Konsistenzresultate sowohl für lineare als auch für sublineare Bandbreiten. Darüber hinaus zeigen wir unter schwachen Voraussetzungen Konvergenzraten und geben die Grenzverteilung für den Abstand zwischen den Strukturbrüchen und ihren Schätzern an. Im zweiten Teil dieser Arbeit stellen wir ein Verfahren zur Detektion von Rissen in großen Bildern von Betonblöcken vor, welches als Vorverarbeitung für weitere Metho-den wie z. B. solche des Maschinellen Lernens dienen kann. Ein weiteres Ziel unseres Verfahren ist, Regionen mit natürlichen Anomalien im Beton wie Lufteinschlüssen, Schotter usw. zu eliminieren. Basierend auf lokalen geometrischen Eigenschaften von Rissen und natürlichen Anomalien, die optisch Blasen ähneln, stellen wir eine MOSUM- Scan-Statistik vor, die kreisförmige und rechteckige Fenster verwendet um Regionen mit potenziell gefährlichen Anomalien wie Rissen zu identifizieren und Re-gionen mit natürlichen Anomalien wie Lufteinschlüssen, Schotter usw. zu eliminieren. Wir analysieren die Performance unseres Verfahrens in einer Simulationsstudie und zeigen die Konvergenz unserer Statistik gegen das Funktional eines Gauß-Prozesses im Falle der Abwesenheit von Anomalien. Des weiteren zeigen wir Grenzwertsätze für Scan-Statistiken, die als Scan-Fenster eine geometrische Klasse von Mengen ver-wendet, die konvexe Mengen beinhaltet, aber nicht auf diese beschränkt ist.