ChatGPT a dépassé les humains dans l’écriture de nouvelles courtes

Une nouvelle étude scientifique menée par des chercheurs de l’université de Villanova a montré que les nouvelles courtes créées par l’intelligence artificielle étaient mieux notées par les lecteurs que les textes écrits par des humains. Au cours de l’expérience, les textes de ChatGPT ont obtenu de meilleurs résultats en matière d’intérêt et de capacité à captiver les lecteurs. Cela confirme une nouvelle fois les progrès considérables des technologies modernes d’intelligence artificielle générative dans la création de textes. À ce sujet, Ixbt.com rapporte .

Selon ixbt.com, la première expérience a réuni 1 682 participants âgés de 18 à 81 ans. Ils ont lu trois histoires écrites par des humains, tirées de célèbres revues et recueils littéraires, ainsi que trois textes correspondants rédigés avec l’aide de l’intelligence artificielle. Les lecteurs ont été informés de l’auteur de chaque texte, mais cette information était parfois volontairement erronée. En moyenne, les histoires créées par le réseau neuronal ont obtenu de meilleures notes que celles des humains en matière de qualité et d’attractivité.

Tromperie sur l’auteur et facteurs psychologiques

L’étude a montré que l’hypothèse concernant l’auteur jouait un rôle déterminant dans l’évaluation d’un texte. Lorsque les participants pensaient qu’un texte avait été écrit par un humain, ils lui attribuaient une meilleure note, quelle que soit son origine réelle. C’est pourquoi les histoires de ChatGPT prises à tort pour des textes humains ont obtenu les meilleurs scores. Cela révèle l’existence d’un certain stéréotype psychologique à l’égard des produits de l’intelligence artificielle.

Lors de l’étape suivante, les chercheurs ont vérifié si les lecteurs pouvaient déterminer eux-mêmes l’origine d’un texte sans aucun indice sur son auteur. Une expérience complémentaire a réuni 424 participants, dont le taux de bonnes réponses n’a atteint que 39,93 %. Ce résultat s’est même révélé inférieur au niveau attendu en cas de réponse choisie au hasard.

Il devient plus difficile de distinguer les textes générés par l’intelligence artificielle

Dans une deuxième expérience similaire, 481 personnes ont été testées et le taux de réussite s’est élevé à 51,97 %. Selon les spécialistes, ce chiffre ne se distingue pas non plus statistiquement d’une identification aléatoire. Pour un lecteur moyen, différencier un texte produit par un réseau neuronal d’un texte écrit par un humain est donc une tâche presque impossible.

Les auteurs de l’étude ont précisé que cette expérience ne visait pas à comparer les compétences littéraires, l’originalité ou la capacité à écrire des œuvres longues. Elle cherchait uniquement à mesurer deux aspects : l’évaluation de la qualité des textes par les lecteurs et la difficulté à déterminer leur origine. Les résultats montrent que, sans méthodes de vérification spécifiques, les gens peinent à distinguer les textes écrits par une intelligence artificielle générative.