Energy- and Cost-Efficient Pumping Station Control
| Beschrijving | Het doel van mijn master thesis was om te onderzoeken hoe kunstmatige intelligentie het bedienen van gemalen in poldergebieden energiezuiniger en goedkoper kan maken. Dit probleem was met name uitdagend door de vele verschillende gemalen die bediend moeten worden, de grote onzekerheid in energieprijzen en de effecten van acties ver in de toekomst. Gedurende het project ontwikkelde ik een watersysteemsimulatie die de waterstroom en energieprijzen kan voorspelen, en besluitvormingsalgoritmes die de simulatie gebruiken om de meest belovende acties te bepalen. Gezien de experimentele resultaten een significante verbetering over de huidige technieken tonen en het werk was goed ontvangen werd door zowel de industrie als de Universiteit van Amsterdam, besloten we om een compacte paper over het werk te publiceren bij de Computational Sustainability track van de 2016 AAAI conferentie. De paper gaat gepaard met de thesis rapportage, die de methodes in meer detail beschrijft en een meer schaalbare variant onderzoekt. |
|---|---|
| Uittreksel | With renewable energy becoming more common, energy prices fluctuate more depending on environmental factors such as the weather. Consuming energy without taking volatile prices into consideration can not only become expensive, but may also increase the peak load, which requires energy providers to generate additional energy using less environment-friendly methods. In the Netherlands, pumping stations that maintain the water levels of polder canals are large energy consumers, but the controller software currently used in the industry does not take real-time energy availability into account. We investigate if existing AI planning techniques have the potential to improve upon the current solutions. In particular, we propose a light weight but realistic simulator and investigate if an online planning method (UCT) can utilise this simulator to improve the cost-efficiency of pumping station control policies. An empirical comparison with the current control algorithms indicates that substantial cost, and thus peak load, reduction can be attained. |
| Citaat | Timon V. Kanters, Frans A. Oliehoek, Michael Kaisers, Stan R. van den Bosch, Joep Grispen, and Jeroen Hermans Energy- and Cost-Efficient Pumping Station Control In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, Phoenix, Arizona, USA, 2016 |
| Link | |
| Master thesis | |
| Jaar | 2015 |
Quality Assessment of MORL Algorithms: A Utility-Based Approach
| Eén van de projecten die ik met twee medestudenten uitvoerde aan de Universiteit van Amsterdam focuste op het evalueren van besluitvormingsalgoritmes met meerdere doelstellingen. Middels een taakverdeling gebaseerd op onze achtergronden, ontwikkelde één student wiskundig bewijs voor enkele belangrijke eigenschappen van een kwaliteitsmetriek terwijl de andere student en ik een benchmark ontwierpen en programmeerde voor het evalueren van algoritmes van andere onderzoekers. Door gebruik te maken van de RL-Glue library kan onze open-source benchmark gekoppeld worden aan algoritmes geschreven in de meeste gebruikelijke programmeertalen. Om het gebruik van zowel onze benchmark als metriek te bevorderen hebben we ons werk als paper gepubliceerd bij de 2015 Benelearn conferentie. | Beschrijving |
|---|---|
| Sequential decision-making problems with multiple objectives occur often in practice. In such settings, the utility of a policy depends on how the user values different trade-offs between the objectives. Such valuations can be expressed by a so-called scalarisation function. However, the exact scalarisation function can be unknown when the agents should learn or plan. Therefore, instead of a single solution, the agents aim to produce a solution set that contains an optimal solution for all possible scalarisations. Because it is often not possible to produce an exact solution set, many algorithms have been proposed that produce approximate solution sets instead. We argue that when comparing these algorithms we should do so on the basis of user utility, and on a wide range of problems. In practice however, comparison of the quality of these algorithms have typically been done with only a few limited benchmarks and metrics that do not directly express the utility for the user. In this paper, we propose two metrics that express either the expected utility, or the maximal utility loss with respect to the optimal solution set. Furthermore, we propose a generalised benchmark in order to compare algorithms more reliably. | Uittreksel |
| Luisa M. Zintgraf, Timon V. Kanters, Diederik M. Roijers, Frans A. Oliehoek, and Philipp Beau Quality Assessment of MORL Algorithms: A Utility-Based Approach In Benelearn, 2015 |
Citaat |
| Link | |
| 2014 | Jaar |
