Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Communication-Adaptive Gradient Sparsification for Federated Learning with Error Compensation
Stockholms universitet, Samhällsvetenskapliga fakulteten, Institutionen för data- och systemvetenskap.
King Abdullah University of Science and Technology (KAUST), Thuwal, Saudi Arabia.
Stockholms universitet, Samhällsvetenskapliga fakulteten, Institutionen för data- och systemvetenskap.ORCID-id: 0000-0002-6617-8683
Antal upphovsmän: 32025 (Engelska)Ingår i: IEEE Internet of Things Journal, ISSN 2327-4662, Vol. 12, nr 2, s. 1137-1152Artikel i tidskrift (Övrigt vetenskapligt) Published
Abstract [en]

Federated learning has emerged as a popular distributed machine-learning paradigm. It involves many rounds of iterative communication between nodes to exchange model parameters. With the increasing complexity of ML tasks, the models can be large, having millions of parameters. Moreover, edge and IoT nodes often have limited energy resources and channel bandwidths. Thus, reducing the communication cost in Federated Learning is a bottleneck problem. This cost could be in terms of energy consumed, delay involved, or amount of data communicated. We propose a communication cost-adaptive model sparsification for Federated Learning with Error Compensation. The central idea is to adapt the sparsification level in run-time by optimizing the ratio between the impact of the communicated model parameters and communication cost. We carry out a detailed convergence analysis to establish the theoretical foundations of the proposed algorithm. We conduct extensive experiments to train both convex and non-convex machine learning models on a standard dataset. We illustrate the efficiency of the proposed algorithm by comparing its performance with three baseline schemes. The performance of the proposed algorithm is validated for two communication models and three cost functions. Simulation results show that the proposed algorithm needs a substantially less amount of communication than the three baseline schemes while achieving the best accuracy and fastest convergence. The results are consistent for all the considered cost models, cost functions, and ML models. Thus, the proposed FL-CATE algorithm can substantially improve the communication efficiency of federated learning, irrespective of the ML tasks, costs, and communication models.

Ort, förlag, år, upplaga, sidor
2025. Vol. 12, nr 2, s. 1137-1152
Nyckelord [en]
Federated learning, Communication efficiency, IoT, Gradient sparsification, Distributed learning
Nationell ämneskategori
Datavetenskap (datalogi)
Forskningsämne
data- och systemvetenskap
Identifikatorer
URN: urn:nbn:se:su:diva-235702DOI: 10.1109/JIOT.2024.3490855ISI: 001395714600019Scopus ID: 2-s2.0-85208723002OAI: oai:DiVA.org:su-235702DiVA, id: diva2:1914447
Anmärkning

The article is available online under early access area on IEEE Xplore. This article has been accepted for publication in a future issue of this journal, but has not been edited and content may change prior to final publication. It may be cited as an article in a future issue by its Digital Object Identifier.

Tillgänglig från: 2024-11-19 Skapad: 2024-11-19 Senast uppdaterad: 2026-04-13Bibliografiskt granskad
Ingår i avhandling
1. AI-Driven Multi-objective Decision-Making With Applications to IoT
Öppna denna publikation i ny flik eller fönster >>AI-Driven Multi-objective Decision-Making With Applications to IoT
2026 (Engelska)Doktorsavhandling, sammanläggning (Övrigt vetenskapligt)
Abstract [en]

Artificial intelligence (AI) plays an increasingly central role in enabling autonomous decision-making in complex, uncertain environments. Many modern systems must optimise multiple, often conflicting objectives while operating under dynamic resource constraints and incomplete knowledge of system dynamics. Classical approaches such as dynamic programming, constrained stochastic optimisation, and static multi-objective scalarisation provide principled solutions when accurate models are available. However, in distributed and stochastic environments such as the Internet of Things (IoT), system dynamics are often unknown, non-stationary, and resource-limited, making purely model-based methods difficult to apply.

Reinforcement learning (RL) and online learning offer an alternative by enabling policy adaptation through interaction rather than relying on explicit system models. Within multi-objective settings, existing approaches often assume fixed scalarisation weights or externally specified preferences and typically focus on learning policies for given trade-offs. In dynamic IoT systems, however, both resource constraints and preference parameters may vary over time, requiring algorithms that can adapt efficiently without repeated retraining or centralised coordination.

This thesis investigates how AI-based methods, with a primary focus on reinforcement learning and complementary distributed learning techniques, can support adaptive multi-objective decision-making under communication constraints, explicit resource limitations, and dynamically changing trade-offs. The research is organised around three themes. First, communication-efficient distributed learning methods are developed to balance model accuracy and communication cost infederated learning through adaptive sparsification. Second, constrained bandit and reinforcement learning formulations are proposed to incorporate explicit and time-varying resource constraints while maintaining theoretical performance guarantees. Third, multi-objective reinforcement learning methods are designed to adapt routing decisions indistributed IoT systems under dynamically changing energy–reliabilitytrade-offs without retraining.

Overall, the thesis demonstrates that integrating communication awareness, constraint handling, and preference adaptation directly into learning algorithms is essential for reliable AI-based decision-makingin IoT environments. The results provide both algorithmic advances and a conceptual framework for designing autonomous systems that operate robustly under dynamic objectives and limited resources.

Abstract [sv]

Artificiell intelligens (AI) spelar en allt viktigare roll för att möjliggöra autonomt beslutsfattande i komplexa och osäkra miljöer. Många moderna system måste optimera flera, ofta motstridiga mål samtidigt som de verkar under dynamiska resursbegränsningar och med ofullständig kunskap om systemets dynamik. Klassiska metoder såsom dynamisk programmering, begränsad stokastisk optimering och statisk multiobjektiv skalärisering erbjuder principiella lösningar när exakta modeller finns tillgängliga. I distribuerade och stokastiska miljöer, såsom Internet of Things (IoT), är dock systemdynamiken ofta okänd, icke-stationär och resursbegränsad, vilket gör rent modellbaserade metoder svåra att tillämpa.

Förstärkningsinlärning (reinforcement learning, RL) och onlineinlärning erbjuder ett alternativ genom att möjliggöra policyanpassning genom interaktionsnarare än genom explicita systemmodeller. Inom multiobjektiva problemantar befintliga metoder ofta fasta skaläriseringsvikter eller externt specificerade preferenser och fokuserar främst på att lära policyer för givna avvägningar.I dynamiska IoT-system kan dock både resursbegränsningar och preferensparametrarförändras över tid, vilket kräver algoritmer som kan anpassa sig effektivtutan upprepad ominlärning eller centraliserad styrning.

Denna avhandling undersöker hur AI-baserade metoder, med särskilt fokus på förstärkningsinlärning och kompletterande distribuerade inlärningsmetoder,kan stödja adaptivt multiobjektivt beslutsfattande under kommunikationsbegränsningar,explicita resurskrav och dynamiskt föränderliga avvägningar.Forskningen är organiserad kring tre huvudteman. För det första utveckla kommunikationseffektiva distribuerade inlärningsmetoder som balanserar modellnoggrannhet och kommunikationskostnad i federerad inlärning genom adaptiv sparsifiering. För det andra föreslås begränsade bandit- och förstärkningsinlärningsformuleringar för att hantera explicita och tidsvarierande resursbegränsningar med teoretiska prestandagarantier. För det tredje utvecklasmultiobjektiv förstärkningsinlärning för att möjliggöra adaptiv routingi distribuerade IoT-system under dynamiskt föränderliga avvägningar mellanenergiförbrukning och tillförlitlighet, utan behov av ominlärning.

Sammanfattningsvis visar avhandlingen att det är avgörande att explicit integrera kommunikationsmedvetenhet, begränsningshantering och preferensanpassning i inlärningsalgoritmer för att uppnå tillförlitligt AI-baserat beslutsfattande i IoT-miljöer. Resultaten bidrar med både algoritmiska framsteg och konceptuell grund för att utforma autonoma system som kan verka robusta under dynamiska mål och begränsade resurser.

Ort, förlag, år, upplaga, sidor
Stockholm: Department of Computer and Systems Sciences, Stockholm University, 2026. s. 116
Serie
Report Series / Department of Computer & Systems Sciences, ISSN 1101-8526 ; 26-005
Nyckelord
Artificial Intelligence, Multi-objective, Internet of Things, Federated Learning, Reinforcement Learning
Nationell ämneskategori
Kommunikationssystem Datorsystem Telekommunikation Annan elektroteknik och elektronik
Forskningsämne
data- och systemvetenskap
Identifikatorer
urn:nbn:se:su:diva-254165 (URN)978-91-8107-602-8 (ISBN)978-91-8107-603-5 (ISBN)
Disputation
2026-05-29, Small Auditorium NOD (Lilla hörsalen), plan 2, Borgarfjordsgatan 12, Kista, 13:00 (Engelska)
Opponent
Handledare
Tillgänglig från: 2026-05-06 Skapad: 2026-04-13 Senast uppdaterad: 2026-04-28Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Person

Vaishnav, ShubhamMagnússon, Sindri

Sök vidare i DiVA

Av författaren/redaktören
Vaishnav, ShubhamMagnússon, Sindri
Av organisationen
Institutionen för data- och systemvetenskap
I samma tidskrift
IEEE Internet of Things Journal
Datavetenskap (datalogi)

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
urn-nbn

Altmetricpoäng

doi
urn-nbn
Totalt: 145 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf