Bakgrund
Rapporten har tagits fram inom ramen för Myndigheten för arbetsmiljökunskaps uppgift att utvärdera och analysera effekter av beslutade och genomförda statliga insatser och initiativ. Utvärderingen avser ett regeringsuppdrag som Arbetsmiljöverket genomförde i form av olika insatser inom ramen för programmet Kvinnors arbetsmiljö under åren 2012 till och med 2014.
Syfte
Det övergripande syftet med utvärderingen var att undersöka om de insatser som genomförts inom ramen för regeringsuppdraget, med huvudsakligt fokus på de två projekten Ergonomi i kvinnors arbetsmiljö (EKA) och Hållbar arbetsmiljö med kvinnor i fokus (HAK), gett bestående avtryck i form av erfarenheter, insikter och lärdomar och därmed bidragit till att förebygga att kvinnor slås ut från arbetslivet på grund av arbetsmiljöproblem. Det inkluderade att tydliggöra vilka villkor och förutsättningar som behövs för att inspektioner och därtill relaterade förändringar ska kunna bidra till en bättre arbetsmiljö. Ännu ett specifikt syfte var att undersöka bestående avtryck inom Arbetsmiljöverkets interna verksamhet. En ytterligare aspekt handlade om att klargöra vilka villkor och förutsättningar som bör finnas på plats för att möjliggöra en utvärdering av ett genomfört program och därmed tydliggöra vilka insikter och lärdomar som kan göras utifrån de förutsättningar som funnits för föreliggande utvärderingsarbete.
Genomförande
Inledningsvis genomfördes en områdesöversikt (kap. 1, och bil. 1) samt ett förarbete (kap. 1, och bil. 2). Områdesöversikten inkluderade en sammanfattning av en tidigare uppföljande utvärdering och forskning om programmet Kvinnors arbetsmiljö och ett förarbete som fokuserade på att tydliggöra vilka olika dataunderlag som fanns att tillgå för en utvärdering av programmet. Med utgångspunkt i resultaten från områdesöversikten genomfördes en långtidsutvärdering.
För att undersöka om programmet Kvinnors arbetsmiljö gett något avtryck kombinerades en kvantitativ och en kvalitativ metodansats (kap. 3). Den kvantitativa utvärderingen baserades på arbetsskadestatistik för de verksamheter och arbetsplatser som varit föremål för inspektion inom EKA- projektet. Analysen av arbetsskadestatistik kom huvudsakligen att fokusera på arbetsskador, arbetsolyckor, och arbetssjukdomar med belastningsrelaterade orsaker totalt sett samt för kvinnor respektive män (kap. 4, och bil. 4).
Den kvalitativa utvärderingen inkluderade intervjuer samt dokumentstudierav inspektionsmeddelanden, protokoll och förelägganden från verksamheter som varit föremål för inspektion inom EKA eller HAK-projektet. Sammantaget inkluderades fem specifika arbetsställen, eller fall, från EKA-projektet samt sex olika kommuner från HAK-projektet (kap. 5 och bil. 5).
Resultat
Utifrån den kvantitativa arbetsskadestatistiken finns inga samband mellan inspektion inom EKA-projektet och lägre förekomst av belastningsrelaterade arbetsskador, arbetsolyckor och arbetssjukdomar. Det är alltså svårt att talaom kvantitativt mätbara avtryck av EKA-projektet på en övergripande nivå. Samtidigt går det inte att utesluta att EKA-projektet som sådant gett avtrycki arbetsmiljön på de olika arbetsställen som inspekterades. Andra, liknande program, insatser och projekt har genomförts både nationellt och lokalt. Tillsammans med andra samhälleliga processer kan det ha haft en övergripande påverkan på alla eller flera delar av arbetslivet. Det saknas därmed möjlighet att dra säkra slutsatser.
Analys av det kvalitativa datamaterialet pekar på att en del av de inspektioner som genomfördes inom ramen för projekten EKA respektive HAK potentiellt sett gett bestående avtryck. Däremot finns inget stöd för bestående avtryck i alla fall eller kommuner. Likväl visar det övergripande resultatet från de fem fallen i EKA-projektet och de sex kommunerna inom HAK-projektet att ett kontinuerligt och systematiskt arbetsmiljöarbete (SAM) är en förutsättning för att en inspektion ska kunna ge ett bestående avtryck. Det är alltså avgörande att arbetsgivare och högsta ledning kunnat ta till sig syftet med en inspektion samt de implikationer som följer och sedan prioriterat att arbeta vidare med frågorna. Totalt sett inkluderar den kvalitativa utvärderingen dock ett fåtal verksamheter av alla de verksamheter som inkluderades i EKA respektive HAK. Likväl visar den kvalitativa utvärderingen att inspektionsinsatser har potential att bidra till en god arbetsmiljö. Svårigheten består i att bibehålla fokus över tid och därigenom åstadkomma bestående förändringar. Samtidigt är det omöjligt att säkert slå fast att de avtryck som identifierats enbart beror av EKA och HAK. Genom åren har det funnits olika projekt och initiativ, både på nationell och lokal nivå. Det betyder att de bestående avtryck som framkommit kan ha förstärkts av senare projekt eller helt vara resultat av senare insatser. De kan därmed ha en starkare koppling till sådant som går bortom EKA och HAK. Det framkommer dock att de tekniska och organisatoriska förändringar som genomförts i de fall som ingick i EKA-projektet medfört bättre förutsättningar att upprätthålla dessa förändringar över tid. Det hänger troligen samman med att förändringarna ofta krävde konkreta rutiner och utbildningsinsatser. Jämförelsevis kan det vara svårare att omsätta insikter och kunskaper från HAK-projektet till konkreta mål och strategier. Likväl kan systematiska rutiner från HAK ändå fortleva. Det gäller exempelvis dokumentation av antalet underställda per chef och återkommande jämförelser av villkor i kvinno- respektive mansdominerade verksamheter. Det gäller särskilt om någon funktion i verksamheten får detta som ett tydligt uppdrag. Det här tyder på att vissa organisatoriska förutsättningar behöver finnas på plats för att en inspektion ska få tydlig effekt på arbetsmiljöarbetet. Sådana förutsättningar inkluderar exempelvis en förberedelse för att kunna ta emot de synpunkter som lyfts i samband med en inspektion samt möjlighet att kunna hantera synpunkterna. Här kan, som i något av fallen, uppföljande inspektioner eller tydlig samverkan, underlätta fortsatt långsiktig förändring, utveckling och lärande.
Det övergripande resultatet visar inga entydigt systematiska avtryck av de tillsynsinsatser som genomfördes inom programmet Kvinnors arbetsmiljö. Det resultatet avser den kvantitativa arbetsskadestatistiken samt utvärderingen av kvalitativa data från inspekterade arbetsplatser. Samtidigt finns vissa avtryck som kan kopplas till programmet. Det är inte överraskande att det saknas bestående avtryck som på ett entydigt sätt kan härledas till programmet. Även om det relativt sett genomfördes många professionellt utförda inspektioner, med hjälp av särskilt framtagna metoder, är en inspektion fortfarande ett tillfälligt ingrepp i en organisation. Det gör att avtrycken ofta blir lokala och tidsbegränsade snarare än långvariga. När det gäller EKA kan sådana direkta och kortsiktiga förändringar ge omedelbara förändringar i form av minskade arbetsskador. Samtidigt kan en förändring som gör att något uppmärksammas också bidra till en ökad rapportering. Det kan i sin tur spegla en ökad förekomst av arbetsskador under en period. För att få till stånd en långsiktig förändring behöver arbetsgivare prioritera ett fortsatt systematiskt arbete med arbetsmiljöfrågor och utveckla hållbara arbetsprocesser som möjliggör sådant systematiskt arbete. Det här betyder att långsiktiga förändringar är avhängiga goda organisatoriska förutsättningar och villkor.
I och med att regeringen gav Arbetsmiljöverket i uppdrag att genomföra programmet Kvinnors arbetsmiljö hade myndigheten en självklar nyckelroll. Intervjuer med nio inspektörer från Arbetsmiljöverket visar att de metoder som utarbetades inom ramen för programmet fortfarande används. Det framkommer också att det fortfarande finns en god kunskap och medvetenhet om ergonomi samt om arbetsmiljön i kvinnodominerade verksamheter. På liknande sätt finns det fortfarande kunskap och medvetenhet kring jämställd arbetsmiljö, villkor för kvinnor och män samt kvinno- respektive mansdominerade verksamheter. Den här kunskapen och medvetenheten utgör tydliga och bestående avtryck av programmet. Utvärderingen visar också att erfarenheterna från programmet lever kvar i nya projekt och i tillsynsutbildning för nya inspektörer. Det ärett avgörande avtryck eftersom det betyder att erfarenheter och kunskap från programmet kan föras vidare inom Arbetsmiljöverkets fortsatta, interna arbete.
Slutsatser
Sammanfattningsvis har programmet gjort tydliga avtryck i Arbetsmiljöverkets interna arbete. Samtidigt finns andra projekt och initiativ, vilket kan orsaka konflikter i det praktiska arbetet när flera olika frågor ska prioriteras parallellt. Det finns därmed utmaningar i att aktualisera och synliggöra flera perspektiv. För att hantera sådana konflikter och utmaningar har konkreta erfarenheter förts in i Arbetsmiljöverkets inspektionsverksamhet och i det systematiska arbetsmiljöarbetet. Det visar hur de perspektiv som ingick i programmet Kvinnors arbetsmiljö fortlever samtidigt som det verkar finnas behov av ett helhetsperspektiv som på ett konsekvent sätt gör det möjligt att inkludera flera områden.
Utifrån de oklara resultaten av den här utvärderingen uppstår frågan om vad som behövts för att komma fram till mer entydiga resultat som möjliggjort tydligare slutsatser. Svaren på en sådan fråga kan ge insikter och lärdomar till kommande programsatsningar och insatser av liknande karaktär som de som aktualiserats inom ramen för programmet Kvinnors arbetsmiljö. I sammanhanget är det angeläget att dra lärdom av den kunskap som finns om systematisk planering och genomförande av förändrings- och utvecklingsarbete. Det är viktigt att tidigt tydliggöra vilka insatser och aktiviteter som ska genomföras.
På ett övergripande plan gjordes det inom programmet Kvinnors arbetsmiljö där regeringsuppdraget klargjorde vilken typ av insatser som skulle genomföras. Däremot fanns inga tydliga krav på former för systematisk kort- eller långsiktig utvärdering av dessa insatser. Om sådana krav funnits hade Arbetsmiljöverket också haft att leverera en tydlig utvärderande analys som gått bortom beskrivningar av kortsiktiga resultat och hur dessa kommer att omsättas i myndighetens ordinarie verksamhet. För programmet Kvinnors arbetsmiljö finns visserligen dokumentation som beskriver vad som gjorts och ungefär när, men den tid som gått innebär att det saknas systematisk dokumentation. Det gör det svårare att på ett konsekvent sätt utvärdera i vilken mån olika insatser och aktiviteter fortlevt.
Sammanfattningsvis ger resultaten inget underlag för att kunna dra några slutsatser om huruvida programmet bidragit till att nå avsett resultat ellerinte. Likväl kan den här rapporten vara av värde för ett fortsatt arbete med att förbättra arbetsmiljön i kvinnodominerade verksamheter. Rapporten lyfter fram vikten av ett initialt och parallellt planeringsarbete av insatser och utvärdering för att möjliggöra långtidsutvärderingar av hög kvalitet. Det i sig utgör en avgörande insikt och lärdom från den här utvärderingen av programmet Kvinnors arbetsmiljö.
Background
This report forms part of the Swedish Work Environment Authority and itstask relating to the evaluation and analysis of the effects of governmental activities, initiatives, interventions, and programs. This evaluation concerns a government decision to task the Swedish Work Environment Authority with initiating activities focusing on the work environment of women. Starting in 2012 and ending in 2014, these activities were carried out within the program Women’s Work Environment (Swedish: Kvinnors arbetsmiljö). Specifically, this evaluation focused on two projects within the program, that is Ergonomics in Women’s Work Environment (Swedish: Ergonomi i kvinnors arbetsmiljö, EKA) and Sustainable Work Environment focusing on Women (Swedish: Hållbar arbetsmiljö med kvinnor i fokus, HAK). The overall aim of the evaluation was to examine whether the activities that were carried out within these two projects had had any lasting impact and thus contributed to preventing the early exiting of women from the labour market due to a straining work environment.
Methods
The initial work included reviewing the area (Chapter 1 and Appendix 1) and preparatory pilot work (Chapter 1 and Appendix 2). The review included summarizing a prior follow-up and research relating to the program Women’s Work Environment and the preparatory work that focused on clarifying the types of data that was of potential use to evaluate the program. Based on the results of this, a long-term evaluation was carried out.
At the core of this report is its’ quantitative and qualitative parts which aimed to investigate whether the activities carried out within the program had had any long-term impact in the organizations and workplaces where inspections had been carried out. This included clarifying whether these activities had had any lasting impact in terms of experiences, insights, and lessons learned in
the organizations and workplaces that had been included in different parts of the program. This aimed to clarify the prerequisites and conditions needed in order for inspections to improve the work environment. Another aim was to examine lasting impacts within the internal operations of the Swedish Work Environment Authority. A further issue related to clarifying the conditions needed to enable the post hoc evaluation of a program and thereby clarify insights and lessons learned of the present long-term evaluation.
In order to evaluate whether the program had had any impact, quantitative and qualitative methodological approaches were combined (Chapter 3). The quantitative evaluation was based on occupational injury statistics for the organizations and workplaces that had been subject to inspections within the EKA-project (Chapter 4 and Appendix 4). The reason for including EKA only was due to the fact that the project included inspections involving newly developed assessment methods. As information was available for a number of years, variation over time was investigated for the workplaces includedin the EKA-project. Then, these statistics were compared to occupational injury statistics for other workplaces. In addition, women and men were compared. Given that the program and the inspections within the EKA-project targeted ergonomics, the analysis of occupational injury statistics focused on occupational injuries, accidents, and occupational illness associated with physical strain.
The qualitative evaluation involved interviews at one point in time and the analysis of documents covered, for instance, inspection notes and protocols from the workplaces and organizations that were included in the inspections that were carried out within the EKA- or HAK-projects. In total, the qualitative evaluation included five workplaces, or case studies, from the-EKA project and six different municipalities from the HAK-project (Chapter 5 and Appendix 5).
Results
From the quantitative data, there are no associations suggesting that the inspections performed within the EKA-project were related to fewer strain- related occupational injuries, accidents and less occupational illness. Thus, at an overall level, based on existing statistics, it is difficult to identify any quantifiable impact of EKA. At the same time, it would be impossible to rule out thatthe EKA-project had no impact on the work environment of the different workplaces that were subject to inspection. However, other similar programs, initiatives, and projects that have been carried out both nationally and locally, along with other societal changes may have had an overall impact on all or several parts of working life. In view of this, it is impossible to draw any firm conclusions.
The analysis of the qualitative data suggests that some of the inspectionsthat were carried out within EKA and HAK may have had a lasting impact. However, there is no support for any lasting impacts for all cases or in all municipalities. Nevertheless, the overall combined findings from the analysis of the five cases from EKA and the six municipalities within HAK show that a continuous and systematic work environment management is a prerequisite for an inspection to have a lasting impact. This points up a key factor, namely that employers and upper management need to understand the purposeof an inspection and the implications that follow from it, and to prioritize the continued work relating to the relevant issues. Overall, the qualitative evaluation, which came to include only a small number of organizations of all the organizations included in EKA and HAK, shows that inspections have a potential to improve the work environment. Challenges involve maintaining the focus over time in order to achieve a lasting impact. Still, it is impossible to claim that the impact identified is solely due to EKA and HAK. Over the years, various projects and initiatives have been carried out, both at national and local levels. This means that the long-term impact that was identified may have been supported by later projects or be the result of other, later activities or interventions and thus be related to processes going beyond EKA and HAK. This is important to take into consideration and particularly so given that the evaluation of both EKA and HAK included few cases and a limited number of municipalities which also chose themselves to participate in this long-term evaluation. However, it seems like the technical and organizational changes implemented in the cases included in the EKA-project were better equippedto maintain these changes over time. This was likely due to the fact that such changes often required hands-on procedures and training. In comparison, it may be more difficult to translate insights and knowledge from the HAK-project into tangible goals and strategies. Nevertheless, systematic procedures from HAK, including documenting the number of subordinates per manager and recurring comparisons of the conditions in workplaces and organizations dominated by women and men respectively, may be maintained over time. This may be facilitated by clearly appointing the task to keep up these systematic procedures to a function or role within the organization. This suggests that certain organizational prerequisites need to be met in order for an inspection to impact the management of the work environment. Such prerequisites include, for instance, being prepared to receive feedback following an inspection along with the ability and competence to handle the issues raised. This, in turn, requires the active engagement from the staff involved, managers, management, as well as union and safety representatives. Moreover, it is obvious that the process following an inspection is important for the continued work within an organization. As seen in one of the cases, follow-up inspections, as well as the joint collaboration around the inspection, may facilitate long-term changes, organizational development and learning.
The overall findings show no systematic impact of the inspections that were carried out within the program. This holds for the inspection of the quantitative data which included occupational injury statistics but also for the evaluationof qualitative data from the workplaces that were inspected. In parallel, the program can be argued to have had some impact. However, any impact may be the result of other, subsequent national or local activities and initiatives. The lack of any lasting impact that can be clearly attributed to the program is not surprising. Despite the large number of professionally conducted inspections using newly developed methods, an inspection is still to be considered a temporary activity intervention. From this follows that its impact is oftenlocal and temporary, rather than long-lasting. As for EKA, the direct and short-term changes may have yielded immediate changes that are reflected in fewer occupational injuries. However, targeted changes may yield an increased reporting that is reflected in increased numbers of occupational injuries over a period of time. To achieve long-term changes, employers need to prioritize the continued systematic work environment management and the development of sustainable processes that enable this work. This means that long-term changes are dependent on adequate organizational prerequisites and conditions. When the Swedish Work Environment Authority was tasked with executing the program, the Authority had a key role. Based on the interviews with nine inspectors from the Swedish Work Environment Authority, the analysis shows that the methods that were developed within program are still being used. Moreover, there is an understanding and recognition of ergonomics and the work environment in organizations dominated by women. Similarly, there is an understanding and recognition of equality at work, working conditions for women and men, and organizations dominated by women and men. Such knowledge can be identified as clear and lasting effects of the program. Furthermore, the evaluation shows that the experiences gained within the program have been transferred to new projects and in the education and training activities of new inspectors. All in all, the findings show that the program has brought to the fore issues that are of relevance to women’s work environment in the operations of the Swedish Work Environment Authority. This impact is key as it suggests that experiences and knowledge gained during the program can be transferred and translated into the internal operations of the authority.
Conclusions
The findings show a clear impact of the program on the internal operations of the Swedish Work Environment Authority. At the same time, there are other projects and initiatives. This may yield conflicts when having to prioritize several topics and perspectives in parallel. This means that there are challenges in bringing several parallel perspectives to the fore and translating these into practice. To manage such conflicts and challenges, hands-on experiences have been incorporated into the inspection activities and systematic work environment management. This shows clearly how the perspectives from the program are sustained, while there also seems to be a need for an overall holistic perspective that makes it possible to include and consistently consider different areas.
Based on the unclear findings of the present evaluation, it is necessary to consider if anything could have been done differently to allow for more consistent conclusions. Such rethinking of the conditions relating to this long-term evaluation can result in important insights and learning for future initiatives that are similar to those of this program. Here, it is important to consider existing knowledge relating to the systematic planning and implementation of organizational development and change. A key aspect involves clarifying, at an early stage, the initiatives and activities that are to be included. At an overall level, this was done when launching the program by detailing the key activities. However, there were no clear requirements regarding the systematic short-term or long-term evaluation of these activities. Had
such requirements been included, this would have tasked the Swedish Work Environment Authority with producing a clear-cut evaluation going beyond descriptions of short-term findings and the translation of these into the regular operations of the authority. Despite the existing documentation of the program describing what was done and about when, it has been about a decade since the program was initiated which means that there is little or no systematic documentation available. This makes it difficult to consistently evaluate the extent to which various initiatives and activities have had an impact and continued over time.
Taken together, the findings from the quantitative and qualitative data analyzed in this evaluation allow no firm conclusions as to whether or not the program contributed to achieving its intended results. Regardless, this report may be valuable for continued efforts to improve the work environment in organizations dominated by women. The report underscores the importance of an initial and parallel planning of initiatives and activities and their evaluation in order to enable high-quality long-term evaluations. This is an important insight and lesson to be learned from this long-term evaluation of this governmental initiative.