Tests de génération de textes par IA, avec Baptiste Guiraud

Il y a 1 an et demi, avec Baptiste Guiraud, nous avons présenté une conférence lors d’une « Garden Party » de Linksgarden : « PBN + IA, le combo gagnant« . Depuis, les choses ont beaucoup évolué du côté des IA et une mise à jour s’avère indispensable 🙂 A noter que le contenu théorique sur les PBN, lui, reste d’actualité, vu qu’il est beaucoup moins sujet à l’obsolescence.

Aujourd’hui, nous allons mettre en compétition plusieurs IA pour évaluer leur intérêt pour la rédaction d’articles de blog. L’idée est simple : envoyer le même prompt à différentes IA et analyser les textes générés.

Voici la vidéo du test :

Et voici l’analyse des textes générés

Le prompt

Je suis consultant en SEO.
J’ai un blog professionnel sur lequel je voudrais publier un article : un comparatif des différentes IA qui génèrent des textes.

Rédige un article de blog d’au moins 500 mots dont le titre est ‘Sur quels critères peut-on comparer des IA qui génèrent des textes’.

Liste les différents critères et donne des explications pour chacun d’eux. Tu peux aussi donner des exemples.
Adopte un ton professionnel mais vulgarisateur.
Il faut qu’il y ait des informations intéressantes et factuelles, mais également de petites distractions pour conserver l’intérêt du lecteur.

Au niveau de la mise en forme :

• Sépare les différentes parties par des titres et des sous-titres.
• Utilise au moins une liste à puces pour faciliter la lecture.
• Utilise du gras pour mettre en avant les idées principales. Il doit être possible de comprendre les principales idées du texte en lisant uniquement les mots en gras.
• L’introduction doit contenir directement les principales idées, qui seront développées dans le texte (pyramide inversée).

Résultats

Modèle de l’IA	Résultats	Commentaire
ChatGPT-4	14 ✅ 3 ❌	Bon fake d’article de blog, il manque juste un peu de contenu dans les paragraphes. Voir le test
GPT-4 (playground)	11 ✅ 6 ❌	Gros listing de critères, c’est inexploitable comme article de blog. Voir le test
Claude-2	10 ✅ 7 ❌	Bon article de blog (bonne présentation et agréable à lire), mais il y a beaucoup d’informations fausses. Voir le test
Mixtral-8xB7	9 ✅ 8 ❌	Beaucoup de ❌ à cause d’une mise en forme complètement ratée, mais c’est le meilleur texte. Finalement, peu de travail à prévoir pour l’améliorer. Gros potentiel, à surveiller. Voir le test

Conclusion

A titre personnel, j’utilise les IA pour rédiger des articles sponsorisés à petit prix. Pour cette mission précise, ChatPT-4 me semble être le meilleur choix : bonne présentation, informations correctes, texte pas génial mais ça fait le travail. Je vais surveiller de près l’évolution de Mixtral qui pourrait facilement devenir un meilleur candidat pour cette tâche.