Reinforcement learning (RL) holds the promise of autonomous decision-making in robotics, energy management, and personalized healthcare, yet three practical obstacles curb its impact. A solitary agent typically needs an impractically large number of interactions before useful behavior emerges; distributing the workload across many learners shortens the wall-clock time but burdens the network with costly model exchanges, and once experience is gathered on diverse devices, differences in local data and dynamics erode the guarantees enjoyed by standard federated algorithms.

This thesis offers a unified response that advances sample efficiency, communication awareness, and heterogeneity robustness in tandem. For single-agent settings, it introduces two complementary forms of lightweight guidance: an automatically annealed curriculum of auxiliary goals that accelerates exploration in sparse-or-composite-reward tasks, and a decaying surrogate loss that soft-injects imperfect heuristic controllers during early training. In distributed scenarios, a new convergence analysis proves that momentum-based optimization remains stable even when updates are aggressively compressed, leading to a federated Q-learning framework that preserves linear progress while transmitting an order-of-magnitude fewer bits. Finally, the work establishes convergence bounds for federated optimization without tying step-size choices to explicit data similarity constants and extends them to collaborative value estimation when each learner operates in a perturbed environment, revealing precisely how mismatch and communication frequency shape residual error. Experiments across tabular and high-dimensional decision-making domains confirm that interaction demands plummet, bandwidth usage drops sharply, and learning degrades gracefully under severe non-IID conditions. Collectively, the six papers assembled here chart a coherent route toward sample-efficient, communication-constrained, and heterogeneity-robust RL, advancing the feasibility of real-world deployment on resource-limited, privacy-sensitive platforms.

Förstärkningsinlärning (reinforcement learning, RL) utlovar självgående beslutsfattande inom områden som robotik, energihantering och personcentrerad sjukvård. Tre praktiska hinder begränsar dock teknikens genomslag. En ensam agent behöver ofta ett orimligt stort antal interaktioner innan användbart beteende uppstår. När flera agenter tränas parallellt blir visserligen väggklocktiden kortare, men nätverket belastas i stället av omfattande modellutbyten. Dessutom undergrävs teoretiska garantier när lärandet sker på heterogena enheter med skilda datakällor och dynamik.

Avhandlingen presenterar ett samlat angreppssätt som samtidigt höjer proveffektiviteten, minskar kommunikationsbehovet och ökar robustheten mot heterogenitet. För enskilda agenter introduceras två kompletterande, lättviktiga styrmekanismer: dels ett automatiskt avtonande målkurrikulum som påskyndar utforskningen i glesa eller sammansatta belöningsmiljöer, dels en avtagande surrogatförlust som injicerar ofullkomliga heuristiska kontrollregler under de tidiga träningsfaserna. I distribuerade scenarier visar en ny konvergensanalys att momentumbaserad optimering förblir stabil även när uppdateringar kraftigt komprimeras. Resultatet är ett federerat Q-lärningsramverk som bibehåller linjär inlärningstakt samtidigt som det sänder en storleksordning färre bitar. Vidare härleds konvergensgränser för federerad optimering utan att steglängden behöver kopplas till någon datasimilaritetskonstant, och dessa utvidgas till kollaborativ värdeestimering när varje agent verkar i en perturberad miljö, vilket klargör hur modellskillnader och synkroniseringsfrekvens påverkar kvarstående fel. Experiment på såväl tabellära som högdimensionella beslutsproblem bekräftar analysen: interaktionskraven sjunker drastiskt, bandbreddsanvändningen minskar kraftigt och inlärningen degraderas kontrollerat även under starkt icke-IID-betingade förhållanden. Sammantaget utstakar de sex inkluderade studierna en tydlig väg mot proveffektiv, kommunikationssnål och heterogenitetstålig RL och för därmed tekniken ett steg närmare verklig tillämpning på resursbegränsade och integritetskänsliga plattformar.