Le 31 août, le vétéran de l’armée américaine Ronnie McNutt s’est suicidé en diffusant en direct sur Facebook. Le flux a depuis été supprimé, mais pas avant que la vidéo ne soit republiée et partagée sur d’autres sites, devenant finalement virale sur TikTok plus tôt cette semaine. Combinez l’incapacité de Facebook à arrêter le flux et la lutte de TikTok avec le contenu viral, et il est clair que leurs efforts pour empêcher la diffusion de contenus nuisibles ne fonctionnent pas. 

Le problème provient de Facebook, selon l’ami de McNutt Josh Steen, qui dirige actuellement une campagne #ReformForRonnie pour responsabiliser les entreprises de médias sociaux. Steen a dit Snopes qu’il avait signalé le livestream à Facebook alors que McNutt était encore très vivant, mais qu’il n’avait pas reçu de réponse de la société avant qu’il ne soit trop tard. Même dans ce cas, il a reçu une réponse automatisée indiquant que la vidéo ne violait pas les normes de la communauté. 

« Ronnie était décédé depuis près d’une heure et demie lorsque j’ai reçu la première notification de Facebook indiquant qu’ils n’allaient pas retirer la vidéo [.] qu’est-ce que c’est que ce genre de normes? » Steen a dit Snopes

Plus tôt cette semaine, Facebook a publié la déclaration suivante: «Nous avons supprimé la vidéo originale de Facebook le mois dernier le jour de sa diffusion et avons utilisé la technologie d’automatisation pour supprimer les copies et les téléchargements depuis ce temps.» 

Wachiwit via Getty Images

Plus tard, le 10 septembre, la société a informé Snopes que la vidéo était sur le site pendant deux heures et 41 minutes avant d’être supprimée. «Nous examinons comment nous aurions pu arrêter le livestream plus rapidement», a-t-il déclaré dans un communiqué. Ces deux heures et 41 minutes, a déclaré Steen à Snopes, ne sont pas une réponse assez rapide et sont totalement inacceptables car les amis et la famille ont été touchés par la vidéo. 

Pendant ce temps, la vidéo a été republiée sur d’autres groupes Facebook et, selon Vice, se propager à des forums marginaux comme 4chan. Les utilisateurs de ces sites ont ensuite transféré la vidéo sur Facebook, ainsi que sur d’autres sites comme Twitter et YouTube. Mais c’est sur TikTok que la vidéo est vraiment devenue virale. 

L’une des raisons potentielles de cette propagation est l’algorithme de TikTok, qui est également souvent crédité du succès de l’application. La principale caractéristique de TikTok est sa page Pour vous, un flux sans fin de vidéos spécialement conçu pour vous, en fonction de vos intérêts et de votre engagement. En raison de cet algorithme, il est souvent possible que des inconnues complètes deviennent virales et deviennent importantes sur TikTok, alors qu’elles pourraient avoir du mal à le faire sur d’autres réseaux sociaux. 

Dans un article de blog publié en juin, TikTok a déclaré que lorsqu’une vidéo est téléchargée sur le service, elle est d’abord montrée à un petit sous-ensemble d’utilisateurs. En fonction de leur réponse – comme regarder le tout ou le partager – la vidéo est ensuite partagée avec plus de personnes qui pourraient avoir des intérêts similaires, puis cette boucle de rétroaction est répétée, ce qui conduit une vidéo à devenir virale. D’autres éléments tels que les extraits de chansons, les hashtags et les légendes sont également pris en compte, ce qui explique souvent pourquoi les utilisateurs ajoutent le hashtag « #foryou » afin d’accéder à la page Pour vous – si les gens interagissent avec ce hashtag, alors on pourrait leur recommander plus de vidéos. avec le même tag. 

Lire aussi  Android 11 est là et apporte enfin l'enregistrement d'écran intégré

Anatoliy Sizov via Getty Images

En d’autres termes, en utilisant certains extraits de chansons populaires, hashtags et légendes, vous pourriez potentiellement «jouer» l’algorithme TikTok et inciter les gens à regarder la vidéo. Bien que TikTok n’ait pas dit que c’est ce qui s’est passé dans ce cas, c’est certainement une possibilité. Il est également tout à fait possible qu’au fur et à mesure que l’histoire de la vidéo circule, les gens aient simplement recherché la vidéo par eux-mêmes pour satisfaire une curiosité morbide, ce qui l’incite à être reprise sur la page Pour vous encore et encore.  

TikTok, pour sa part, travaille pour bloquer la vidéo et la retirer depuis qu’elle a commencé à apparaître dimanche. Dans un communiqué, il a déclaré:

Nos systèmes, en collaboration avec nos équipes de modération, ont détecté et supprimé ces clips pour avoir enfreint nos politiques contre le contenu qui affiche, loue, glorifie ou encourage le suicide. Nous interdisons les comptes qui essaient à plusieurs reprises de télécharger des clips, et nous apprécions les membres de notre communauté qui ont signalé du contenu et mis en garde les autres contre le visionnage, l’engagement ou le partage de telles vidéos sur n’importe quelle plateforme par respect pour la personne et sa famille. Si quelqu’un dans notre communauté est aux prises avec des pensées suicidaires ou s’inquiète pour quelqu’un qui l’est, nous l’encourageons à demander de l’aide et nous fournissons un accès aux lignes directes directement depuis notre application et dans notre centre de sécurité.

Mais l’entreprise traverse une période difficile. Les utilisateurs ont continué à trouver des solutions de contournement, comme partager la vidéo dans les commentaires ou la déguiser dans une autre vidéo qui semble initialement inoffensive. 

Dans le même temps, cependant, TikTok a vu une vague de vidéos qui visent à transformer les gens une façon de la vidéo. Certains utilisateurs, ainsi que d’éminents créateurs, ont commencé à publier des vidéos d’avertissement, dans lesquelles ils disaient quelque chose comme « si vous voyez cette image, ne la regardez pas, continuez à faire défiler ». Ceux les vidéos sont également devenues virales, ce que la société semble soutenir. 

Quant à savoir pourquoi les gens diffusent ces vidéos en premier lieu, c’est malheureusement un peu inévitable. «Tout ce qui se passe dans la vraie vie se produira sur des plateformes vidéo», a déclaré Bart Andrews, directeur clinique de Behavioral Health Response, une organisation qui fournit des conseils téléphoniques aux personnes en crise de santé mentale. «Parfois, l’acte n’est pas seulement la fin de la vie. C’est une communication, un message final au monde. Et les réseaux sociaux sont un moyen de faire passer votre message à des millions de personnes. »

«Les gens sont devenus tellement habitués à vivre leur vie en ligne et via les médias sociaux», a déclaré Dan Reidenberg, directeur exécutif de l’organisation à but non lucratif SAVE (Suicide Awareness Voices of Education). « C’est une extension naturelle pour quelqu’un qui a peut-être du mal à penser que c’est là qu’il le ferait. » Parfois, dit-il, mettre ces idées sur les réseaux sociaux est en fait une bonne chose, car cela permet d’avertir les amis et la famille que quelque chose ne va pas. «Ils diffusent un message de détresse et reçoivent beaucoup de soutien ou de ressources pour les aider.» Malheureusement, ce n’est pas toujours le cas, et l’acte passe malgré tout. 

Lire aussi  Facebook ajoute des parties de visionnage `` Watch Together '' à Messenger

Il appartient donc aux plateformes de médias sociaux de trouver des solutions pour prévenir au mieux de tels actes, ainsi que pour empêcher leur partage. Facebook connaît malheureusement bien le problème, car plusieurs incidents de suicide et de meurtre se sont produits sur sa plateforme de streaming en direct au cours des dernières années. 

Soe Zeya Tun / Reuters

Facebook a cependant pris des mesures pour résoudre ce problème et Reidenberg pense en fait qu’il est le leader du monde technologique sur ce sujet. (Il était l’une des personnes qui ont dirigé le développement des meilleures pratiques de prévention du suicide pour l’industrie technologique.) Facebook a fourni des FAQ sur la prévention du suicide, embauché un expert en santé et bien-être à son équipe de politique de sécurité, fourni une liste de ressources chaque fois quelqu’un recherche le suicide ou l’automutilation et a déployé un outil de prévention du suicide basé sur l’IA qui peut supposément détecter les commentaires susceptibles d’inclure des pensées suicidaires. 

Facebook a même intégré des outils de prévention du suicide dans Facebook Live, où les utilisateurs peuvent contacter la personne et signaler l’incident à l’entreprise en même temps. Cependant, Facebook a déclaré qu’il ne couperait pas la diffusion en direct, car cela pourrait «supprimer la possibilité pour cette personne de recevoir de l’aide». Bien que cela soit controversé, Andrews soutient cette notion. « Je comprends que si cette personne est toujours en vie, peut-être y a-t-il de l’espoir, peut-être qu’il y a quelque chose qui peut arriver dans le moment qui l’empêchera de le faire. » 

Mais malheureusement, comme c’est le cas avec McNutt, il y a aussi le risque d’exposition et d’erreur. Et le résultat peut être traumatisant. « Il y a des cas où la technologie n’a pas progressé assez vite pour être en mesure d’empêcher nécessairement chaque mauvaise chose d’être montrée », a déclaré Reidenberg.

«Voir ce type de vidéos est très dangereux», a déclaré Joel Dvoskin, psychologue clinicien à l’Université de l’Arizona College of Medicine. «L’un des facteurs de risque de suicide est si un membre de votre famille [est décédé] du suicide. Les personnes que vous voyez sur les réseaux sociaux sont comme des membres de votre famille. Si quelqu’un est déprimé ou vulnérable ou y a réfléchi, [voir la vidéo] en fait une possibilité plus évidente. »

Dado Ruvic / Reuters

Quant à cette IA, Reidenberg et Andrews affirment qu’elle n’a tout simplement pas fait un excellent travail pour éliminer les contenus préjudiciables. Prenons, par exemple, l’incapacité d’identifier la vidéo de la fusillade de la mosquée de Christchurch parce qu’elle a été filmée à la première personne ou simplement la lutte plus récente pour repérer et supprimer la désinformation sur le COVID-19. De plus, quelle que soit la qualité de l’IA, Andrews pense que les mauvais acteurs auront toujours une longueur d’avance. 

«Pourrions-nous avoir un programme d’intelligence artificielle entièrement automatisé pour identifier les problèmes et les verrouiller? Je pense que nous allons nous améliorer dans ce domaine, mais je pense qu’il y aura toujours des moyens de contourner cela et de tromper l’algorithme », a déclaré Andrews. « Je ne pense tout simplement pas que ce soit possible, même si c’est quelque chose à atteindre. »

Lire aussi  Dites-nous tout sur le son et la sensation des Pixel Buds de cette année

Au lieu de se fier uniquement à l’IA, Reidenberg et Andrews affirment qu’une combinaison de blocage automatisé et de modération humaine est essentielle. « Nous devons nous fier à toute l’IA disponible pour identifier qu’il pourrait y avoir un risque », a déclaré Reidenberg. «Et les personnes réelles comme les modérateurs de contenu et les professionnels de la sécurité de ces entreprises doivent essayer d’intervenir avant que quelque chose de grave ne se produise.» 

Quant aux nouvelles entreprises de médias sociaux, elles doivent elles aussi réfléchir de manière proactive au suicide. «Ils doivent se demander comment ils veulent être connus en tant que plate-forme en termes de bien social», a déclaré Reidenberg. Dans le cas de TikTok, il espère qu’elle s’associera à une entreprise comme Facebook qui a beaucoup plus d’expérience dans ce domaine. Même si la vidéo était diffusée sur Facebook, elle n’est pas devenue virale sur Facebook parce que l’entreprise a réussi à la verrouiller (l’entreprise aurait pu encore faire un bien meilleur travail en étant plus proactive pour la retirer beaucoup plus tôt qu’elle ne l’a fait. ). 

NurPhoto via Getty Images

«Toute nouvelle plate-forme devrait partir des leçons des anciennes plates-formes. Ce qui fonctionne, ce qui ne fonctionne pas et quel type d’environnement voulons-nous créer pour vos utilisateurs », a déclaré Andrews. «Vous avez l’obligation de vous assurer que vous créez un environnement et des normes et que vous disposez de mécanismes de reporting et d’algorithmes pour vous assurer que l’environnement est aussi fidèle à ce que vous vouliez être que vous pouvez le créer. Vous devez encourager et responsabiliser les utilisateurs lorsqu’ils voient des choses qui ne sont pas conformes à la norme, qu’ils disposent d’un mécanisme pour signaler cela et que vous devez trouver un moyen de réagir très rapidement à cela.

La réponse pourrait aussi résider dans la création d’une communauté qui prend soin d’elle-même. Andrews, par exemple, est particulièrement encouragé par le fait que la communauté TikTok se soit levée pour avertir les autres utilisateurs de la vidéo. «C’est cette merveilleuse version des propres anticorps d’Internet», a-t-il déclaré. «C’est un exemple où nous avons vu le pire d’Internet, mais nous avons également vu le meilleur d’Internet. Ce sont des personnes qui n’ont aucun intérêt à faire cela, en avertissant les autres, mais elles ont fait tout leur possible pour protéger les autres utilisateurs de cette imagerie traumatisante. »

C’est pourquoi, malgré la tragédie et la douleur, Andrews pense que la société s’adaptera. « Pendant des milliers d’années, les humains ont développé un comportement au fil du temps pour déterminer ce qui est acceptable et ce qui ne l’est pas », a-t-il déclaré. «Mais nous oublions que la technologie, la diffusion en direct, tout cela est encore si nouveau. La technologie a parfois devancé nos institutions et nos normes sociales. Nous sommes toujours en train de les créer, et je pense que c’est merveilleux que nous fassions cela. « 

Aux États-Unis, le numéro de la National Suicide Prevention Lifeline est le 1-800-273-8255. Crisis Text Line peut être atteint en envoyant un SMS HOME au 741741 (États-Unis), 686868 (Canada) ou 85258 (Royaume-Uni)