1) Respect des consignes

Format article de blog	✅
Au moins 500 mots	❌
Majuscules des titres au format français	✅
Respect du sujet	✅
Liste des critères	✅
Explication de chaque critère	✅
Exemples fournis	✅
Ton professionnel	✅
Vulgarisation	❌
Informations correctes	❌
Titres H2	✅
Titres H3	❌
Liste à puces	✅
Gras	✅
Texte compréhensible via le gras	❌
L’introduction contient les idées principales	❌
Pyramide inversée	❌

2) Données techniques sur la génération

Nombre de mots	488
Durée de génération	40 secondes
Vitesse	12,2 mots par seconde
SOSEO	11
DSEO	0

3) Mon commentaire

• ✅ Le texte a bien une forme d’article de blog, c’est plutôt bien présenté et les phrases sont assez agréables à lire.
• ❌ Claude-2 a écrit : « Claude ne fonctionne qu’en anglais pour le moment. » Phrase que Claude a rédigé en français 😅. Difficile de mieux illustrer les limites des IA 👀 De façon générale, il y a beaucoup trop d’inexactitudes dans ce texte.
• ❌Tous les exemples portent sur GPT-3 et Claude, comme si le titre de l’article avait été « GPT-3 vs Claude, le match ! » alors que le sujet est plus général.

Bref, c’est un peu hors-sujet et il y a beaucoup d’erreurs. Il est donc impossible d’exploiter ce texte en l’état. Un gros travail est à prévoir pour pouvoir l’utiliser.

Et voici le texte généré par Claude-2 :

---

Sur quels critères peut-on comparer des IA qui génèrent des textes ?

Les intelligences artificielles capables de générer des textes se sont considérablement développées ces dernières années. De GPT-3 à ChatGPT en passant par Anthropic Claude, les options sont de plus en plus nombreuses. Mais comment comparer objectivement ces différents outils ? Quels sont les critères pertinents pour évaluer et choisir l’IA la plus adaptée à vos besoins ?

La qualité des textes générés

C’est évidemment le critère essentiel. La fluidité des phrases, la cohérence du discours, l’absence d’erreurs, l’adhérence au sujet demandé… Tous ces aspects permettent de juger de la qualité rédactionnelle des textes produits par l’IA.

Il est intéressant de tester l’IA sur différents types de contenus (articles de blog, pages produits, emails…) et avec des consignes plus ou moins précises. Plus l’IA s’adapte facilement au contexte et respecte les instructions, mieux c’est.

• GPT-3 est réputée pour générer des textes très fluides mais avec des dérives thématiques.
• Claude reste focalisé sur le sujet demandé mais ses phrases sont moins sophistiquées.

La vitesse de génération

Certains contextes nécessitent d’obtenir un texte rapidement. La vitesse de traitement est donc un critère à prendre en compte.

• GPT-3 peut mettre plusieurs secondes à générer un paragraphe.
• Claude est optimisé pour une production en temps réel, idéale pour des interfaces conversationnelles.

Attention cependant, vitesse ne rime pas toujours avec qualité !

Le volume de texte généré

Selon vos besoins, vous aurez peut-être besoin de produire de longs documents (livres blancs, guides, articles de blog multi-pages…).

Dans ce cas, la capacité de l’IA à générer de grands volumes cohérents est importante.

• GPT-3 excelle pour les longs documents mais le coût augmentera rapidement.
• Claude est plus adapté aux contenus courts et moyens.

La personnalisation possible

Certaines IA sont entraînées de manière générique quand d’autres permettent un entraînement personnalisé sur vos données.

Cette customisation peut les rendre plus efficaces sur votre domaine de niche.

• GPT-3 est générique.
• Claude permet un entraînement sur mesure.

Les langues et l’internationalisation

Si vous avez besoin de contenus dans d’autres langues que l’anglais, vérifiez que l’IA le permet.

• GPT-3 gère une centaine de langues.
• Claude ne fonctionne qu’en anglais pour le moment.

La confidentialité des données

Les IA nécessitent souvent de grandes quantités de données d’entraînement, incluant parfois des informations sensibles. Leurs politiques de confidentialité sont donc cruciales.

• OpenAI assure ne pas exploiter les données des utilisateurs.
• Anthropic a une approche open source et transparente.

La tarification

Le modèle tarifaire varie d’une IA à l’autre et a un impact significatif sur le coût d’utilisation.

• GPT-3 est payante à l’usage. C’est rapidement onéreux pour un volume important.
• Claude propose un abonnement mensuel tout compris.

En pesant chacun de ces critères en fonction de votre cas d’usage, vous serez en mesure de déterminer quelle IA de génération de texte correspond le mieux à vos besoins. N’hésitez pas à faire des essais pratiques pour vous forger votre propre opinion !