Methode und Auswertung

Was prognostiziert wird

Coldfront prognostiziert die ARE-Konsultationsinzidenz des Robert Koch-Instituts: die geschätzten Arztbesuche wegen akuter respiratorischer Erkrankungen je 100.000 Einwohner und Woche. Die Prognose reicht 1 bis 4 Wochen über die letzte beobachtete Woche hinaus, für Deutschland und für jedes Bundesland. Jede Prognose enthält ein 50-%-Band und ein 80-%-Band.

Die Modelle

Fünf Modelle werden verglichen. Ausgeliefert wird das Ensemble oder die kalenderbereinigte Saisonbaseline, je nach Ergebnis der Auswertung (siehe unten).

• Saisonbaseline (einfach): Der Wert einer Kalenderwoche ist die Verteilung derselben Woche in früheren, bereinigten Jahren, jeweils mit ±1 Woche Fenster. Das war die Baseline des ersten Protokolls.
• Saisonbaseline (kalenderbereinigt): wie die einfache Baseline, aber die früheren Werte werden zuvor um den Kalendereffekt der Inanspruchnahme bereinigt und auf die Zielwoche ausgerichtet. Sie ist die strengere Referenz des zweiten Protokolls und wird bei Rückfall ausgeliefert.
• Persistenz: Die letzte beobachtete Woche wird unverändert fortgeschrieben. Sie ist der einfachste Referenzwert.
• Regionales Modell: lineare Quantilregression auf dem logarithmierten Zuwachs, gepoolt über alle Bundesländer, mit Kalenderbereinigung. Die Merkmalsgruppen werden im Tuning gewählt.
• Ensemble: gewichtetes Mittel der Quantile von Saisonbaseline und regionalem Modell. Das Gewicht des regionalen Modells wird im Tuning aus einem Raster gewählt (Startwert 0,5).

Verbreiterungsfaktor: Die Bänder des Ensembles werden mit einem Faktor k gestreckt, der gemeinsam mit dem Ensemblegewicht auf den Tuning-Saisons gewählt wird. Die Regularisierung der Regression (Wert 1,0) ist ein Startwert.

Merkmalsgruppen

Warum keine Prognose für die ganze Saison

Wie stark eine Saison ausfällt, hängt von Erregermix, Immunität und Impfquoten ab. Diese Größen lassen sich aus den Daten nicht ableiten. Coldfront verlängert deshalb das beobachtete Geschehen um 1 bis 4 Wochen. Eine Aussage über Saisonhöhe oder Gipfeltermin weit darüber hinaus wird nicht gemacht.

Auswertungsprotokoll

Das Protokoll (Version 1) wurde vor der ersten Auswertung festgelegt. Es wurde danach einmal geändert (Version 2, siehe unten). Hier steht der Stand der Version 2.

• Keine Zufallsaufteilung: Die Auswertung läuft rollend. Zu jedem Ausgangspunkt stehen nur Daten zur Verfügung, die damals bekannt gewesen wären, mit dem Veröffentlichungsverzug je Signal.
• Tuning und Test: Die älteren Saisons dienen dem Tuning, die jüngste war die Testsaison. Unter Version 1 wurde diese Testsaison einmal ausgewertet und war damals unberührt. Unter Version 2 ist sie nur noch beschreibend; die nächste unberührte Testsaison ist 2026/27.
• Die Wochen von 2020-W10 bis 2022-W39 sind ausgeschlossen, weil Testung, Schließungen und Quarantäneregeln die Reihe verzerrten.
• Metriken: MAE (mittlerer absoluter Fehler des Medians), WIS (gewichteter Intervall-Score, kleiner ist besser, bewertet Median und beide Bänder zusammen) sowie die Abdeckung des 50-%- und 80-%-Bandes.
• Aufschlüsselung nach Bundesland, Prognosehorizont und Wellenphase. Phasen: niedrig unter 30 % des Saisonmaximums, Gipfel ab 85 % des Maximums, sonst Anstieg oder Abstieg nach der Richtung des geglätteten Verlaufs.
• Vergleiche mit Block-Bootstrap: Blöcke von 4 Wochen, 1.000 Ziehungen, fester Zufallsstartwert. Angegeben werden die mittlere WIS-Differenz, das 95-%-Intervall und die Zahl der Saisons, in denen das Modell besser ist.
• Gipfelzeitpunkt (neu in Version 2): je Prognosehorizont, siehe die Definition im Abschnitt zum Gipfelzeitpunkt.
• Veröffentlichungsregel: Ein Modell wird nur ausgeliefert, wenn seine mittlere WIS mindestens 10 % unter der kalenderbereinigten Saisonbaseline liegt. Die 10 % sind ein Startwert ohne empirische Begründung. Andernfalls wird diese Baseline ausgeliefert.

Änderung des Protokolls (Version 2)

Nach der ersten Auswertung wurde auf den Tuning-Saisons (nur dort, nicht auf der Testsaison) eine Diagnose durchgeführt. Sie fand einen großen, regelmäßigen Kalendereffekt der Inanspruchnahme in den ARE-Daten, den das Modell der Version 1 nicht erklären konnte, eine fehlerhafte Gipfelmetrik und eine Uneinheitlichkeit bei den Verzugszeiten der Abwassermerkmale. Daraufhin wurde das Protokoll geändert und erneut festgeschrieben.

• Kalenderbereinigung: Geschlossene Wochentage senken die Zahl der Arztbesuche um etwa den Faktor 0,81 je Tag, die Woche zwischen den Jahren um etwa den Faktor 0,4. In den GrippeWeb-Daten, die nicht auf Arztbesuchen beruhen, zeigt sich diese Delle nicht. Der Effekt ist nur auf den Daten bis 2023-W35 geschätzt und wird im regionalen Modell und in der Saisonbaseline berücksichtigt.
• Einheitliche Verzugszeiten: Die Veröffentlichungsverzüge der Merkmale gelten jetzt im Training und in der Prognose gleich.
• Gemeinsame Wahl: Das Ensemblegewicht und der Verbreiterungsfaktor werden zusammen auf den Tuning-Saisons aus einem Raster gewählt.
• Neue Gipfelmetrik: Der Gipfelzeitpunkt wird je Horizont bewertet (Definition unten); die alte, über alle Horizonte zusammengefasste Metrik war fehlerhaft und wurde ersetzt.
• Strengere Referenz: Die Veröffentlichungsregel vergleicht mit der kalenderbereinigten Saisonbaseline. Die einfache Baseline des ersten Protokolls wird weiter ausgewiesen.
• Ferienzeiten liegen jetzt ab der Saison 2012/13 vor, sodass frühere Weihnachtsdellen mit ihren Kalendermerkmalen ins Training eingehen.

Status der Testsaison: Die Saison wurde unter Version 1 einmal ausgewertet und war damals unberührt. Unter Version 2 wird sie ein zweites Mal ausgewertet, nur zur Beschreibung. Sie ist kein unabhängiger Test mehr. Für die Auswahl unter Version 2 wurden ausschließlich die Tuning-Saisons verwendet.

Ergebnisse (Protokoll Version 2)

Die Tabellen zeigen die Auswertung der Saison 2025/26 unter Version 2 mit 3.536 bewerteten Prognosen (Region, Ursprungswoche und Horizont). Gewählt wurden das Merkmalsset dyn-season-holiday, ein Gewicht von 0,75 für das regionale Modell und k = 1,10, alles auf den Tuning-Saisons.

Protokoll 1 und Protokoll 2 im Vergleich

Beide Spalten betreffen dieselbe Saison. Das Ergebnis von v1 war die einmalige Auswertung; v2 ist beschreibend. Ein Strich bedeutet: Das Modell gab es unter v1 nicht. Die Unterschiede entstehen durch die Änderungen oben, nicht durch neue Daten.

Veröffentlichungsentscheidung

Ausgeliefert wird das Ensemble. Seine mittlere WIS liegt 34,4 % unter der kalenderbereinigten Saisonbaseline. Die Schwelle von 10 % ist ein Startwert.

Diese Entscheidung beruht auf einer einzigen, bereits bekannten Saison und ist deshalb vorläufig.

Vergleiche mit Unsicherheit

Eine negative WIS-Differenz bedeutet: Das erste Modell ist besser. Die Intervalle beruhen auf dem Block-Bootstrap über die Wochen einer einzigen Saison. Eine Saison ist eine dünne Basis: Das Intervall zeigt die Streuung innerhalb der Saison, nicht die Unsicherheit zwischen Saisons.

Nach Wellenphase

Nach Prognosehorizont

Nach Bundesland und für Deutschland

Auf nationaler Ebene ist das Ensemble damit etwa gleichauf mit der kalenderbereinigten Baseline; der Gewinn steckt vor allem in den Bundesländern.

Die letzte Spalte zeigt den Vorsprung der Ensemble-WIS gegenüber der kalenderbereinigten Baseline (positiv: Ensemble besser). Die Zeile Deutschland ist hervorgehoben.

Gipfelzeitpunkt

Definition (Version 2): Je Region, Saison und Prognosehorizont wird der Gipfel im Winterfenster von Kalenderwoche 45 bis Kalenderwoche 15 gesucht, und zwar als Maximum des zentrierten Drei-Wochen-Mittels. Die Woche zwischen den Jahren und die Woche danach sind dabei entfernt. Verglichen wird der Gipfel der Medianprognose mit dem Gipfel der tatsächlichen Werte; angegeben sind der mediane absolute Zeitfehler in Wochen und der Anteil der Fälle innerhalb von ±1 Woche.

Die Persistenz liegt bauartbedingt etwa h Wochen zurück, denn sie wiederholt die letzte Woche; ihr Zeitfehler dient als Referenz für „nichts gelernt“.

Das Ensemble trifft den Gipfel bei Horizont 1 nur in 53 % der Fälle innerhalb einer Woche (Median 1,0 Wochen Abweichung). Bei Horizont 2 bis 4 liegt der mediane Zeitfehler zwischen 7 und 9 Wochen. Das ist eine echte Schwäche: Für den Gipfeltermin ist die Prognose nicht geeignet.

Die alte Gipfelmetrik des ersten Protokolls fasste alle Horizonte und Wochen zusammen, war unstetig und wurde ersetzt. Ihre Werte sind nicht vergleichbar.

Mehrdeutig heißt: Die tatsächliche Kurve hat einen zweiten Gipfel von mindestens 90 % des Maximums, der Zeitpunkt ist dort nicht eindeutig.

Auswahl der Merkmale, des Gewichts und der Verbreiterung (Tuning)

Tuning auf den Saisons 2023/24, 2024/25. Zu jedem Merkmalsset wird gemeinsam das beste Ensemblegewicht und der beste Verbreiterungsfaktor gesucht. Gewählt wird das Set mit der niedrigsten mittleren WIS des Ensembles. Gewählt wurde dyn-season-holiday mit Gewicht 0,75 für das regionale Modell und k = 1,10.

Zum Vergleich auf denselben Tuning-Saisons: WIS der kalenderbereinigten Saisonbaseline 249,66, der einfachen Baseline 269,15, der Persistenz 254,99.

Echte Datenstände

Das RKI korrigiert die ARE-Werte nachträglich. Über die öffentliche Versionsgeschichte seiner Daten (seit September 2023) lässt sich rekonstruieren, was zum jeweiligen Ausgangspunkt tatsächlich bekannt war. Die Tabelle vergleicht die WIS mit den heute korrigierten Daten und mit den damaligen Datenständen.

Hinweis: In beiden Varianten sind die zu treffenden Werte die heute korrigierten Werte. Revisionen von Abwasser- und Wetterdaten werden nicht nachgebildet. Positive Veränderung bedeutet: Mit den damaligen Datenständen ist die WIS schlechter.

Vergleich mit anderen Prognosen (national)

Für Deutschland insgesamt liegen Prognosen anderer Gruppen im RESPINOW-Hub vor (RESPINOW-Hub forecast archive (KITmetricslab)). Ihre Fallzahlen wurden mit dem festen Bevölkerungsverhältnis 831,4 in Fälle je 100.000 umgerechnet. Verglichen werden nur Zellen, für die alle gezeigten Modelle eine Prognose haben (Panel „core“: Modelle, die beide Saisons abdecken). Die Prognosen der anderen Gruppen sind unten mit „extern“ gekennzeichnet.

RespiCast war nicht erreichbar und ist daher nicht im Vergleich.

Bewertete Zellen je Saison: 2024/25: 88; 2025/26: 68. Insgesamt 156 Zellen aus 39 Ursprungswochen.

Bei 2 von 4 Vergleichen schließt das 95-%-Intervall die Null ein, der Unterschied ist dort statistisch nicht gesichert.

Prognosen: RESPINOW-Hub, KITmetricslab (MIT licence); Prognosen der Teams KIT-*, MPIDS-*. Quelle: RESPINOW-Hub forecast archive (KITmetricslab), Lizenz MIT.

Warum das kein fairer Wettbewerb ist

• Die externen Prognosen entstanden in Echtzeit mit den damals verfügbaren Daten und enthalten Nowcasts für die noch unvollständige letzte Woche. Die Coldfront-Werte hier nutzen die heute korrigierten Daten. Das begünstigt Coldfront.
• Die Saison 2024/25 diente bei Coldfront dem Tuning (in-sample), und die Saison 2025/26 wurde bereits unter Protokoll 1 verwendet.
• Für alle Modelle wird dieselbe WIS mit den Quantilen 0,1, 0,25, 0,5, 0,75 und 0,9 berechnet. Das ist nicht die WIS des Dashboards des RESPINOW-Hubs mit mehr Quantilen.
• Die Stichprobe ist klein: wenige Dutzend Ursprungswochen, die Horizonte einer Woche sind stark abhängig. Die Intervalle sind breit und schließen teils die Null ein (siehe oben); abgesichert ist ein Unterschied nur dort, wo das Intervall die Null nicht enthält.

Laufende Überprüfung

Die archivierten Prognosen werden jede Woche mit den später eingetroffenen Werten verglichen. Schneidet das Ensemble über mindestens 8 ausgewertete Läufe schlechter ab als die Baseline, ersetzt die Baseline es automatisch. Aktuell sind 0 Läufe ausgewertet.

Grenzen

• Wenige Saisons: Die Auswertung beruht auf einer beschreibenden Saison, für die Bundesländer insgesamt auf etwa drei Saisons. Unterschiede zwischen Modellen sind deshalb unsicher; die Intervalle zeigen das.
• Erstveröffentlichungen: Die Auswertung bewertet gegen die heute korrigierten Werte, nicht gegen die zuerst veröffentlichten. Eine echte Prognose hatte nur den damaligen Stand; der Vergleich mit den Datenständen oben bildet das teilweise ab.
• Vergleich mit anderen Initiativen: Es gibt ihn nur für die nationale Ebene und nur gegen die RESPINOW-Modelle, nicht fair und mit kleiner Stichprobe. Die Bundesländer sind nicht verglichen.
• Gipfelzeitpunkt: Ab Horizont 2 verfehlt das Ensemble den Gipfel um viele Wochen. Die Prognose sagt den Gipfeltermin nicht voraus.
• Startwerte: Regularisierung, die 10-%-Schwelle, die Raster für Gewicht und Verbreiterung und die Aktivitätsstufen sind nicht empirisch geprüft.
• Keine Aussagen zu Einzelpersonen oder zur medizinischen Lage: Die Prognose beschreibt Trends auf Bevölkerungsebene, keine Diagnosen und keine Empfehlungen.