Human language has many functions. Our communication on social media carries information about how we relate to ourselves and others, that is our identity, and we adjust our language to become more similar to our community - in the same way as we dress and style and act to show our commitment to the groups we belong to. Within a community, members adopt the community's language, and the common language becomes a unifying factor.

In this paper, we explore the possibilities of identifying linguistic alignment - that individuals adjust their language to become more similar to their conversation partners in a community. We use machine learning to detect linguistic alignment to a number of different ideologies, communities, and subcultures. We use two different approaches: transfer learning with RoBERTa and traditional machine learning using Random forest and feature selection.

Machine learning of high-dimensional models have received attention for their ability to predict psychological variables, such as personality. However, it has been less examined to what degree such models are capable of generalizing across domains. Across two text domains (Reddit message and personal essays), compared to low-dimensional- and theoretical models, atheoretical high-dimensional models provided superior predictive accuracy within but poor/non-significant predictive accuracy across domains. Thus, complex models depended more on the specifics of the trained domain. Further, when examining predictors of models, few survived across domains. We argue that theory remains important when conducting prediction-focused studies and that research on both high- and low-dimensional models benefit from establishing conditions under which they generalize.

The incel subculture has gained increasing attention due to its toxic nature and its association with real-world violence. This paper investigates the prevalence and characteristics of violent threatful communication within incel forums, focusing on a platform known as Blackpill. We have trained a machine learning model to detect violent threatful language and analyzed the posts. The analysis concentrated on three key aspects: the identity of perpetrators (categorized into first-person, third-person, or generalized), the targets (individuals, groups, or general targets), and the types of violence described (general violence, sexual violence, self-harm, and military violence). The analysis showed that the most common type violent threatful communication involved generalized perpetrators targeting groups.

Additionally, 13.5\% of the violent threatful communication contained coded language, including references to video games to obscure violent intentions. A smaller proportion of the posts (4.1\%) glorified past mass shooters and violent criminals.

This research highlights the complexities of identifying violent rhetoric in online forums and the use of coded language to evade detection, emphasizing the need for refined models in threat detection.

One of the most challenging threats to the security of society is attacks from violent lone offenders. Identifying potential offenders is difficult since they act alone and do not necessarily communicate with others. However, several targeted violent attacks have been preceded by communication published on social media and the internet. Such communication is a valuable component when conducting risk and threat assessments.In this paper, we introduce a diagnostic measure of the risk of violent behavior based on text analysis. Using automated text analysis, we extract psychological variables and warning indicators from a given text and summarize these in an index that we denote as the general risk index. When developing the general risk index, we analyzed data (text) from 208 288 users on 32 online environments with diverse ideologies/orientations, including 76 previous violent lone offenders. A receiver operating characteristics (ROC) analysis showed that, when using the general risk index, it was possible to correctly classify between 90% and 96% of the cases depending on the comparison sample. These results support the predictive validity of the general risk index, suggesting that the risk index can be used to identify individuals with an increased risk of committing violent attacks that need further investigation.

Lisa Kaati diskuterar hur man med hjälp av nya tekniker kan identifiera toxiskt språk för att skapa en mer anständig samtalston på sociala medier. Hon konstaterar att internet erbjuder fantastiska möjligheter för alla att delta i diskussioner när som helst och om vad som helst. Men alltför ofta präglas samtalsklimatet av toxiskt språk. Begreppet används för att beskriva kommunikation som förgiftar samtalsklimatet i sociala medier. Det kan vara kommunikation som är förbjuden i lag (hets mot folkgrupp, förtal) men också andra former av kränkningar som nedsättande tilltal, respektlöshet eller integritetskränkningar. Att upprepade gånger utsättas för toxiska kommentarer innebär en oerhörd påfrestning och kan leda till att man väljer att dra sig tillbaka från det offentliga samtalet. Det kan i sin tur innebära att vissa röster tystnar och att de mer lågmälda och diskuterande samtalen försvinner. På många av de stora sociala medieplattformarna finns användarvillkor som förbjuder viss typ av kommunikation men det finns också en stor mängd plattformar som inte har några regler för vad som får publiceras så länge det inte bryter mot någon lag. Eftersom många av dessa plattformar finns i USA är det amerikansk lag som gäller. För att hantera mängden av kommunikation har nya tekniker utvecklats för att identifiera toxiskt språk automatiskt. Dessa tekniska lösningar bygger på olika typer av textanalys. Det sker främst genom maskininlärningsbaserade tekniker där datorn själv lär sig att känna igen toxiskt språk. Det kräver i sin tur tillräckligt många och varierade exempel på vad som är toxiskt språk. Idag använder många sociala medieplattformar automatiserade tekniker för att hitta inlägg i kommentarsfält som inte följer användarreglerna. Det har även tagits fram andra verktyg som gör det möjligt att undvika toxiska kommentarer genom att dölja dem eller att varna/förmana den som skriver genom att markera innehåll som kan uppfattas som toxiskt och vara konfliktdrivande. Lisa Kaati framhåller att automatiserade tekniker är nödvändiga i vårt digitala samhälle för att det ska vara möjligt att identifiera toxiskt språk. Samtidigt finns det ett stort behov av att utveckla och förfina metoderna. Vidare krävs medvetenhet om metodernas begränsningar samt om betydelsen av att använda dem på ett ansvarsfullt och etiskt sätt.

Nazar Akrami och Lisa Kaati beskriver utifrån psykologisk forskning vad som utmärker de personer som hatar på nätet. De konstaterar att näthat kan ses som ett sätt att ge uttryck för fördomar, det vill säga att nedvärdera en individ utifrån dennes grupptillhörighet. Fördomsfullhet kan förklaras utifrån faktorer som har med individens omgivning att göra, som grupptillhörighet och stereotypa uppfattningar om en grupp eller individ. Dock kan närvaron av en social norm mot fördomsfullhet bidra till att blockera utrymmet att utrycka fördomar även om individen inte blir mindre fördomsfull i sitt tankesätt. Fördomar kan också förklaras utifrån individens personlighet. Här finns forskning som visar att individer med låg grad av öppenhet, vänlighet och utåtriktning har större benägenhet att nedvärdera individer som inte tillhör den egna gruppen, särskilt minoritetsgrupper eller grupper med låg social status. Forskning visar även att individer som skriver hatkommentarer kännetecknas av en hög grad av mörk personlighet, ett samlingsnamn för egenskaper som bristande empatisk förmåga, manipulerande, narcissism och cynism. Det är endast en liten del av alla internetanvändare som hotar, hatar och kränker och endast ett fåtal individer som står för den allra största delen av de hatiska kommentarerna. En majoritet av dem som ligger bakom hatkommentarer i digitala miljöer verkar vara medelålders eller äldre män. När forskare sökt analysera personligheten hos personer som skriver texter med hatfulla kommentarer visade det att de hade signifikant lägre medelvärden i vänlighet, öppenhet och utåtriktning och att de hade större likheter med varandra än med de som inte uttryckte hat. Resultaten kan tyckas nedslående eftersom förekomsten av fördomar och stereotypa uppfattningar är vanliga även utanför nätet och eftersom det är svårt att förändra människors personlighet. Men Nazar Akrami och Lisa Kaati konstaterar samtidigt att det är en förhållandevis liten grupp som ligger bakom flertalet hatfulla kommentar. Man knyter också förhoppningar till de tekniska metoder som kan göra en hel del digitala miljöer relativt fria från hat. Men framför allt lyfter de betydelsen av att även söka etablera normer som vi har i den fysiska världen i det digitala rummet. En av orsakerna till att trakasserier ofta sker på sociala medier och nätforum är den anonymitet som många av dessa forum erbjuder. Det gör att man kan åsidosätta sociala normer och säga mer extrema saker än vad man skulle göra ansikte mot ansikte. En stark social norm skulle med stor sannolikhet bidra till att höja tröskeln för att uttrycka hat och hot och bidra till att minska betydelsen av andra komponenter, som grupptillhörighet, personlighet och stereotypa uppfattningar.

In this study, we trained three machine learning models to detect toxic language on social media. These models were trained using data from diverse sources to ensure that the models have a broad understanding of toxic language. Next, we evaluate the performance of our models on a dataset with samples of data from a large number of diverse online forums. The test dataset was annotated by three independent annotators. We also compared the performance of our models with Perspective API - a toxic language detection model created by Jigsaw and Google’s Counter Abuse Technology team. The results showed that our classification models performed well on data from the domains they were trained on (F1 = 0.91, 0.91, & 0.84, for the RoBERTa, BERT, & SVM respectively), but the performance decreased when they were tested on annotated data from new domains (F1 = 0.80, 0.61, 0.49, & 0.77, for the RoBERTa, BERT, SVM, & Google perspective, respectively). Finally, we used the best-performing model on the test data (RoBERTa, ROC = 0.86) to examine the frequency (/proportion) of toxic language in 21 diverse forums. The results of these analyses showed that forums for general discussions with moderation (e.g., Alternate history) had much lower proportions of toxic language compared to those with minimal moderation (e.g., 8Kun). Although highlighting the complexity of detecting toxic language, our results show that model performance can be improved by using a diverse dataset when building new models. We conclude by discussing the implication of our findings and some directions for future research

For decades, threat assessment professionals have used structured professional judgment instruments to make decisions about, for example, the likelihood of violent behavior of an individual. However, with the increased use of social media, most people use online digital platforms to communicate, which is also the case for potential violent offenders. For example, many mass shootings in recent years have been preceded by communication in online forums. In this paper, we introduce methods to identify markers of the warning behaviors Leakage, Fixation, Identification, and Affiliation and examine their discriminant validity. Our results show that violent offenders score higher on these markers and that these markers were present among a significantly higher proportion of violent offenders as compared to the normal population. We argue that our method can be used to predict potential planned, purposeful, or instrumental targeted violence in written communication. Automated methods for detecting warning behavior from written communication can serve as a complement to traditional threat assessment and provides unique opportunities for threat assessment beyond traditional methods.