02 | 2024 Energieinnovationen in Quartieren
Implementierung von „Reinforcement Learning“ für das Energiemanagement von Gebäude-Clustern
Vahid M. Nik, Mohammad Hosseini, Kavan Javanroodi
Der Klimawandel kann zu stärkeren und häufigeren Extremwetterereignissen führen, was für städtische Gebiete, Gebäude und Versorgungsnetze eine erhöhte Anpassungsfähigkeit aufgrund eines erhöhten Ausfallsrisikos notwendig macht. [1,2] Aber auch die Integration eines höheren Anteils an erneuerbaren Energien erfordert zuverlässige und belastbare Energielösungen zur Erhöhung der Klimaresilienz und Nutzung von Flexibilitäten. [2]
Schematische Darstellung der CIRLEM (Collective Intelligence and Reinforcement Learning in Energy Management) - Kommunikationsstrategie (Abbildung a, Abbildung b). Quelle: Lund University
In komplexen städtischen Umgebungen besteht insbesondere eine große Herausforderung in Bezug auf die Ermittlung optimaler Gebäudesteuerungen für eine große Gruppe miteinander verbundener Gebäude, bei denen jede Struktur Einfluss auf die anderen ausübt.
In diesem Zusammenhang hat Reinforcement Learning (RL)1 bereits vielversprechende Ergebnisse gezeigt, um die Robustheit von Regelungen zu verbessern und Multiagentensysteme2 in nicht-stationären Umgebungen optimal zu steuern. [3]
Eine innovative Energiemanagementtechnologie
Die CIRLEM-Technologie (Collective Intelligence and Reinforcement Learning in Energy Management) konzentriert sich zunächst auf die Bedarfssteuerung (Demand Side Management) und versucht, Flexibilitäten in Energienetzen zu nutzen. [4] In vielen Fällen wird ein Preissignal als Flexibilitätssignal verwendet. Der Ansatz für das Senden des Signals unterscheidet sich je nach Intelligenz und Kontrollniveau auf der Energieversorgungs (Verteilnetzbetreiber)- oder Clusterseite (Distributed SystemOperator). Ein höherer Kontrollzugriff entspricht oft einem erhöhten Datentransfer und beeinträchtigt den Datenschutz und die Privatsphäre der Nutzer.
Bei der Verwendung von Edge Node Control ENC ist der Datenaustausch zwischen den Gebäuden und dem Energieversorger auf ein Minimum beschränkt. Die gesamte Regelung erfolgt lokal auf der Ebene der Agenten und die Rechenleistung auf Clusterebene ist relativ gering. Alle Agenten erhalten pro Zeitschritt das gleiche Signal, können aber je nach internen Steuerungsmöglichkeiten unterschiedlich reagieren.
Auf der Ebene des Agenten wird die Entscheidungsfindung mit einem Reinforcement Learning (RL)-basierten Algorithmus durchgeführt3. Die Erkenntnis des Agenten über seine Umgebung und seinen Zustand wird durch die Berechnung von Belohnungen pro Zeitschritt generiert, die als "Werte" bezeichnet werden.
In dieser Arbeit werden der Energiebedarf und der Innenraumkomfort verwendet, um „Wertefunktionen“ im Vergleich zu typischen Leistungsbedingungen zu definieren. Der Weg zu einer optimalen Lösung ist ein Learning-by-Doing-Verfahren, das über einen kurzen Zeitraum zu einer Strategie führt, durch die der Agent schnell auf Umweltveränderungen reagieren kann. [4]
Fallstudie mit 24 Gebäuden
In einem Stadtgebiet mit 24 Gebäuden wurden vier generische Gebäude-Archetypen mit Hilfe eines Mehrzonen-Wärmemodellierungsansatzes auf der Grundlage der häufigsten architektonischen Grundrisse der Mehrfamilienhäuser generiert (Tabelle 1). Zwei Baualtersklassen wurden definiert, der Gebäudebestand vor 1990 und der Neubau nach 2000. Spezifische physikalische Eigenschaften (z. B. U-Werte, solare Wärmegewinnungskoeffizienten etc.) und Hülleneigenschaften wurden verschiedenen Datenbanken entnommen. Für neu errichtete Gebäude wurden die Kriterien des schwedischen Zentralamts für Wohnungswesen, Bauwesen und Planung (Boverket) und die Technische Bauordnung (CTE) verwendet. Die Energiesimulationen wurden mit den Simulationsprogrammen EnergyPlus und OpenStudio durchgeführt.
Tabelle 1: Details der archetypischen Gebäude. [5] (WWR – Fenster zu Wand-Verhältnis)
Für jedes Gebäude werden die Regelungsstrategien als eine Reihe von Maßnahmen interpretiert, die in fünf Hauptkategorien unterteilt sind:
(a) Heizungssollwerte zwischen 17 und 23 °C mit Intervallen von 1 °C
(b) Kühlungssollwerte zwischen 24 und 28 °C mit Intervallen von 1 °C
(c) Lüftungsraten pro Fläche zwischen 0. 4-1,2 l/s.m2 mit 0,4 l/s.m²-Intervallen
(d) Bedarf an Geräten und Steckdosenlasten zwischen 3-9 W/m2 mit Intervallen von 3 W/m2 und
(e) Beleuchtungsbedarf zwischen 6-12 W/m2 mit Intervallen von 3 W/m2
Insgesamt wurden pro Gebäude (Agent) 945 mögliche Aktionen als Anpassungsmaßnahmen an die neuen Umweltbedingungen definiert.
Um den Energiebedarf der Gebäude unter zukünftigen Klimabedingungen zu simulieren, wurden typische und extreme Wetterdaten mit Hilfe von Klimadaten aus regionalen Klimamodellen (RCMs) für den Zeitraum 2040-2069 erstellt. Die Klimadatensätze enthalten unterschiedliche globale Klimamodelle und decken dadurch verschiedene Klimaunsicherheiten und -szenarien ab. Für diese Arbeit wurden zwei Sätze repräsentativer Wetterdaten nach dem Ansatz von Nik [6] generiert, nämlich das „Typical Downscaled Year (TDY)“ und das „Extreme Cold Year (ECY)“. Der TDY-Winter (Dez-Jan-Feb) wurde als Referenz verwendet, während der Winter mit Kältewellen durch Ersetzen von zwei extremen Kälteperioden aus dem ECY in den TDY-Daten erstellt wurde.
Leistungsfähigkeit von CIRLEM
Die Leistungsfähigkeit von CIRLEM wurde im Vergleich zu den Referenzgebäuden für einen typischen Winter und einen Winter mit Kältewellen untersucht. In der folgenden Abbildung links sind die Perioden mit Kältewellen durch blaue Quadrate gekennzeichnet. Die grüne und die rote Linie zeigen den kumulierten Energiebedarf der Gebäude, ohne CIRLEM- Regelung. Die Abweichung von den typischen Wetterbedingungen (grüne Linie) beginnt mit der ersten Kältewelle, und der Energiebedarf steigt bis zu einem weiteren Höhepunkt während der zweiten Kältewelle (rote Linie). Diese beiden Kältewellen führen zu einem Anstieg des Heizbedarfs um etwa 20 Prozent im Vergleich zu einem typischen Winter. Durch den Einsatz von CIRLEM während des Winters mit Kältewellen (schwarze Linie) sinkt der Gesamtenergiebedarf auf einen Wert, der den typischen Bedingungen sehr nahekommt.
Die Verteilung der Innentemperatur während des kalten Winters mit CIRLEM ist in der Abbildung rechts dargestellt. In etwa 35 Prozent der Zeit liegt die Temperatur unter 19 °C, mit einem Minimum von 17 °C. In Anbetracht der Tatsache, dass einige der Gebäude recht groß und nicht gut isoliert sind, kann eine solche Temperaturverteilung akzeptabel sein.
Eine wichtige Auswirkung des Energie-Managements ist die Senkung des Spitzenenergiebedarfs. In Abb. 3 sind die Boxplots des Energiebedarfs für drei separate Wintermonate dargestellt, wobei die Werte für die drei Fälle in Abb. 2-links verglichen werden. Für jeden Fall werden die 80. bis 99. Perzentile angegeben, sowie statistische Werte wie Mittelwert und Median. Die erste und kürzere Kältewelle tritt im Januar auf und erhöht den durchschnittlichen Energiebedarf ohne CIRLEM um etwa 18 Prozent, während es mit CIRLEM fast keinen Anstieg gibt. Im Februar, mit längerer Kältewelle, steigt der durchschnittliche Energiebedarf ohne CIRLEM um etwa 40 Prozent, während CIRLEM den Wert etwa 15 Prozent über den typischen Wetterbedingungen hält. In Bezug auf die Spitzenwerte liegt der Anstieg des 80. Perzentils beispielsweise um etwa 75 Prozent über den typischen Bedingungen, während er mit CIRLEM bei 50 Prozent liegt. Für das 90. Perzentil beträgt der Anstieg ohne CIRLEM 68 Prozent und mit CIRLEM 43 Prozent. Ein Blick auf die Werte für den Monat Dezember zeigt, dass mit CIRLEM sowohl der Durchschnitts- als auch der Spitzenbedarf niedrigere Werte als in einem typischen Winter ohne Kältewelle erreicht.
Schlussfolgerungen
Die Ergebnisse der Untersuchungen zeigen, dass CIRLEM den Energiebedarf von Gebäuden sowohl bei normalen als auch bei extremen Wetterbedingungen wirksam reduzieren kann und das Energienetz bei der Bewältigung von extremen Bedingungen und Bedarfsspitzen unterstützt. Darüber hinaus hält es den Innenraumkomfort auf einem akzeptablen Niveau, wobei die Einschränkungen der betrachteten Gebäude berücksichtigt werden. CIRLEM kann die Energieleistung von Gebäuden in einem Netzwerk effektiv verwalten, ohne dass es eine zentrale Steuerung gibt. CIRLEM kann für das Energiemanagement und die Steuerung des Flexibilitätsmarktes im gesamten Netz eingesetzt werden und deckt sowohl die Angebots- als auch die Nachfrageseite ab. Dadurch wird die synergetische Leistung eines mehrschichtigen Energienetzes mit verteilten Nachfrage-, Angebotsund Speicheragenten verbessert.
Danksagung: Diese Arbeit wurde vom schwedischen Forschungsrat für nachhaltige Entwicklung, Formas, CRAFTCIRLEM projekt (Projekt-ID: 2022-01120), dem Joint ERA-Net Call 2020 (MICall20) zur digitalen Transformation für die grüne Energiewende im Rahmen des DigiCiti-Projekts (Projekt-ID: 108807) und dem Forschungs- und Innovationsprogramm Horizon 2020 der Europäischen Union im Rahmen des COLLECTiEF-Projekts (Finanzhilfevereinbarung-ID: 101033683) unterstützt.
Erläuterung
1 Reinforcement Learning (deutsch: bestärkendes Lernen oder verstärkendes Lernen) steht für eine Methode des maschinellen Lernens, in der ein Agent eigenständig eine Strategie erlernt, um eine erhaltene Belohnung anhand einer Belohnungs-Funktion zu maximieren.
2 Agent: Als Agent wird ein Software-Programm bezeichnet, das zu gewissem eigenständigen Verhalten fähig ist. Im Fall von Reinforcement Learning führt der Agent Aktionen in einem Szenario / Umfeld aus und bekommt dafür eine Belohnung (Reward).
3 Reinforcement Learning ist eine Trainingsmethode des maschinellen Lernens, in dem gewünschte Verhaltensweisen des Agenten belohnt werden.
Literatur
[1] Perera ATD, Javanroodi K, Nik VM. Climate resilient interconnected infrastructure: Co-optimization of energy systems and urban morphology. Appl Energy 2021;285:116430. https://doi.org/10.1016/j.apenergy.2020.116430.
[2] Nik VM, Perera ATD, Chen D. Towards climate resilient urban energy systems: a review. Natl Sci Rev 2021;8. https://doi.org/10.1093/nsr/nwaa134.
[3] Vázquez-Canteli JR, Nagy Z. Reinforcement learning for demand response: A review of algorithms and modeling techniques. Appl Energy 2019;235:1072–89. https://doi.org/10.1016/j.apenergy.2018.11.002.
[4] Nik VM, Hosseini M. CIRLEM: a synergic integration of Collective Intelligence and Reinforcement learning in Energy Management for enhanced climate resilience and lightweight computation. Appl Energy 2023;350:121785. https://doi.org/10.1016/j.apenergy.2023.121785.
[5] Dahlström L, Johari F, Broström T, Widén J. Identification of representative building archetypes: A novel approach using multi-parameter cluster analysis applied to the Swedish residential building stock. Energy Build 2024;303:113823. https://doi.org/10.1016/j.enbuild.2023.113823.
[6] Nik VM. Making energy simulation easier for future climate – Synthesizing typical and extreme weather data sets out of regional climate models (RCMs). Appl Energy 2016;177:204–26. https://doi.org/10.1016/j.apenergy.2016.05.107.
Weiterführende Informationen
Autor:innen
Vahid M. Nik, Division of Building Physics, Department of Building and Environmental Technology und Centre for Innovation Research (CIRCLE), Universität Lund, Schweden. Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!; Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein!
Mohammad Hosseini, Department of Ocean Operations and Civil Engineering, Faculty of Engineering, NTNU Norwegian University of Science and Technology, Ålesund, Norwegen.
Kavan Javanroodi, Division of Building Physics, Department of Building and Environmental Technology, Universität Lund, Schweden.