Test SAIO – SEO : résultats et observations

La semaine dernière j’ai lancé un test SAIO (Search Artificial Intelligence Optimization) sur Bing/Skype, vous pouvez le découvrir sur cette page.

J’ai déjà dévoilé les principaux résultats sur les réseaux sociaux, mais je vais faire un point complet dans cet article, partager quelques observations personnelles et répondre à vos questions 🙂

Rappel rapide du test SAIO

Depuis mi-mars, Skype permet de communiquer directement avec le ChatBot de Bing (que j’appellerai Bing/Skype dans la suite de cet article). Il est possible de lui poser des questions de type SEO comme, par exemple :

• « Qui est Machin« 
• « Qu’est-ce qu’un machin« 
• « Quel est le meilleur machin« 
• …

Bing/Skype vous répond alors en générant un texte. Vous n’avez donc pas besoin d’aller chercher sur un site internet, la réponse est déjà là, sous vos yeux. Si la population adopte massivement les ChatBots IA pour effectuer leurs recherches, les entreprises auront tout intérêt à ce que leurs produits/services soient visibles dans les réponses proposées par l’IA. C’est à ce moment qu’intervient le SAIO, qui consiste à « optimiser » les réponses fournies par une IA à notre avantage (ou celui de nos clients).

Lorsque Bing/Skype génère une réponse, il précise les URLs des pages web qui ont servies de sources. Les tests consistaient à vérifier si on pouvait modifier les réponses en modifiant les sources. Voyons tout ça 🙂

Pour rappel, les tests complets sont décrits sur cette page.

Résultats des tests SAIO

Test 0 : Ajouter une nouvelle notion à Bing/Skype

Je n’ai pas parlé de ce test dans mon article car il était déjà long et dense, néanmoins, je l’avais en tête : « Peut-on ajouter une nouvelle notion dans Bing/Skype ? ».

✅ La réponse est OUI !

C’est ce résultat qui a été obtenu le plus facilement. A peine 24 heures après la publication de l’article, Skype/Bing savait parfaitement répondre à la question « Qu’est-ce que le SAIO en SEO ? » :

J’avais fait exprès de démarrer l’article avec une belle liste à puces, contenant toutes les informations nécessaires pour répondre à cette question. La liste à puces est un format facile à digérer par un robot. Visiblement, Bing/Skype s’est régalé : sa réponse est quasiment un copié-collé de l’introduction de mon article 😉

J’avoue que j’ai été bluffé par la rapidité de cet ajout. Peut-être que le fait que l’article ait fait un buzz sur Twitter et LinkedIn a bien aidé (Google l’a même intégré à Discover sans aucune action de ma part 🥳 ).

Test 1 : Optimiser la réponse sur un service SAAS : « Bulldoz-Netlinking »

🤷‍♂️ Pour l’instant, on ne sait pas

Ce test n’a pas donné de résultats. A voir avec un peu plus de temps…

Test 2 : Optimiser la réponse sur une personne : « François Tréca »

🤷‍♂️ Pour l’instant, on ne sait pas

Ce test n’a pas donné de résultats. A voir avec un peu plus de temps…

Test 3 : Optimiser un classement de services SAAS

Celui-là, c’était LE test que tous les SEO attendaient : « Peut-on passer devant les autres ? » 😉 Cette question est imprimée dans notre ADN, coule dans nos veines et met notre cerveau en feu 🔥

✅ La réponse est OUI !

Le classement proposé par Bing/Skype a changé moins de 3 jours après la modification de la page de DebugBar (encore une fois, j’ai été surpris par la rapidité). Ma plateforme de netlinking Bulldoz est passée de la neuvième position à la première 😎

Le game SEO continuera donc avec l’IA 🥳

Le test continue !

Le 03/04/2023 à 18h, LePtitDigital a placé Bulldoz en troisième position de son classement des plateformes de netlinking. Un grand merci à Vincent Brossas qui a accepté de contribuer à ce test 👍

Cette mise à jour devrait avoir beaucoup de conséquences sur les réponses de Bing/Skype car LePtitDigital est souvent utilisé comme source. C’est surtout le cas lorsqu’on ne précise pas explicitement qu’on veut 10 résultats.

Observations sur les réponses fournies

Certes, j’avais bien le classement souhaité sur le Skype de mon smartphone. Mais, j’ai été vite mis au courant que ce n’était absolument pas le cas de tout le monde ! J’ai donc demandé à mes abonnés de Twitter de m’envoyer des captures d’écran de la réponse que Skype/Bing leur donnait. J’ai reçu beaucoup de réponses, merci à tous ceux qui ont pris le temps de le faire, c’est super sympa 👍

Je vais en montrer quelques-unes dans cet article pour illustrer mes observations. Vous pouvez retrouver l’intégralité des captures d’écrans partagées sur ce thread Twitter.

1) Les résultats sont différents en fonction des utilisateurs

Cette capture d’écran a été effectuée 1h30 après la mienne, vous pouvez voir que le résultat est complètement différent, alors qu’il s’agit de la même requête :

Il semble que l’historique des conversations sur Skype joue un rôle dans cette affaire. Pour obtenir la modification du classement du site DebugBar, j’ai discuté à plusieurs reprises avec Baptiste Guiraud via Skype. On s’est donc envoyé plusieurs fois l’URL de la page de DebugBar qui contient ce classement. Ces échanges ont pu donner plus de « poids » au classement de DebugBar pour mon compte Skype. C’est juste une hypothèse.

N’oublions pas que les ChatBots IA sont de grands baratineurs, ils sont susceptibles de favoriser une réponse qui nous plaira davantage. C’est un des points que « Monsieur Phi » montre dans ses 2 vidéos (que je vous recommande chaudement de regarder) :

• De quoi ChatGPT est-il vraiment capable ?
• ChatGPT : la philosophie du baratin

Conclusion : comme en SEO, les résultats varient en fonction des personnes. Pour se faire une idée de la « réponse moyenne » à une question, il faut donc chercher à obtenir un résultat neutre de la part des IA, c’est à dire sans aucun historique. A ce jour, j’ignore comment l’obtenir facilement.

2) Skype/Bing peut générer un classement moyen !

C’est probablement, l’information la plus importante de cet article : Bing/Skype peut générer ses propres classements. En effet, la capture d’écran précédente montre un classement qui ne correspond à aucun de ceux des 3 sources qu’il cite :

On dirait qu’il fait une espèce de moyenne des 3 classements d’origine (à noter : ils ont tous été modifiés récemment suite à mes demandes auprès des administrateurs de ces sites).

Pour le vérifier, j’ai calculé un classement moyen à partir des 3 sources. J’ai utilisé une méthode assez simple :

• Chaque plateforme marque des points en fonction de sa position dans un classement :
  • 1ère position : 10 point.
  • 2ème position : 9 points.
  • …
  • 9ème position : 2 points.
  • 10ème position : 1 point.
  • Après 10ème position et/ou absent d’un classement : 0 point.
• Enfin, on classe les plateformes selon leur moyenne : plus une plateforme a une moyenne élevée, mieux elle est positionnée.

Ce calcul pourrait certainement être affiné par des formules mathématiques sophistiquées, mais je pense pouvoir affirmer sans rougir qu’il fait le gros du boulot.

Avec cette méthode, j’obtiens le classement suivant :

Maintenant, comparons ce classement moyen avec celui proposé par Skype/Bing :

Première remarque : les couleurs résument bien ce qu’est l’IA aujourd’hui, un mélange d’idées géniales (les cases vertes) et de grand n’importe quoi (les cases rouges).

Une caractéristique qui peut les rendre assez dangereuses : elles pourraient très bien vous recommander de verser du poison dans votre café pour le rendre moins amer, en toute sérénité 👀

Deuxième remarque : les 5 premiers sont plutôt bien classés, il y a 4 cases vertes pour 1 case rouge. Ce qui est plutôt une bonne performance. J’en reparlerai après.

Conclusion : Les IA tentent de faire des classements à partir de plusieurs sources. Les futurs SAIO devront donc faire en sorte que leurs produits/services soient bien positionnés sur un maximum de sites différents.

Si vous voulez en savoir plus sur la génération de réponses par les intelligences artificielles, vous pouvez regarder cette vidéo de vulgarisation de Defakator. Il y a même des exercices pour apprendre à « réfléchir comme une IA ».

3) Skype/Bing ne sait pas compter !

Sur beaucoup de capture d’écran, on peut voir que Skype/Bing donne 5 résultats alors qu’on lui en demande explicitement 10 :

Peut-être que les concepteurs ont remarqué que l’IA se débrouille bien pour donner 5 premiers résultats corrects, mais qu’au delà le risque de grand n’importe quoi augmente de façon dramatique ? L’IA aura alors tendance à proposer seulement 5 résultats pour limiter les dégâts ? Attention, c’est juste une hypothèse de ma part.

Conclusion : l’IA a plutôt tendance à générer des classements de 5 produits/services, même si on en demande explicitement 10. Les futurs SAIO devront faire en sorte que leur produit/service soit au moins dans le TOP 5 sur les différents sites pour garantir un minimum de visibilité sur les ChatBots IA.

Il faut se faire une raison, je crois que les IA nous remplaceront tous… Du moins, une fois qu’elles sauront compter jusqu’à 10 😋

4) Skype/Bing peut mentir sans vergogne

Dans cette capture d’écran, Skype/Bing affirme mordicus qu’il n’a copié DebugBar alors qu’il a fournit une copie conforme du classement de ce site. Il se justifie alors en baratinant qu’il a du utiliser les mêmes sources que DebugBar. Ceci est évidemment faux vu que ce classement a été décidé par l’équipe de DebugBar en fonction de leurs affinités pour les différentes plateformes (il n’existe donc aucune source écrite permettant de reproduire ce classement).

Retrouver la conversation complète sur le thread Twitter de Jordan Jaoui.

Conclusion : baratineuses et menteuses, difficile de faire confiance à ces machines 🤨

Faites-nous part de vos observations 🙂

Si vous constatez d’autres points intéressants dans les différentes captures d’écran ou sur votre Bing/Skype, n’hésitez pas à nous en faire part dans les commentaires de cet article. Pour rappel, ajouter un commentaire sur ce blog est totalement gratuit 😉

Vos questions et remarques

J’ai reçu plusieurs questions et remarques de la part des lecteurs. Je vais essayer d’y répondre mais, attention, je ne suis pas un spécialiste en IA.

1) « Finalement, c’est juste une Position 0 de Google, quelle déception ! »

Si jamais vous ne savez ce qu’est la « Position 0 » :

Bing va quand même plus loin que Google :

• Google se contente d’afficher 2 ou 3 lignes qu’il copie-colle à partir d’un seul site.
• Bing mixe plusieurs sources et génère un résumé de 5 à 10 lignes.

2) « Comment Bing et ChatGPT interagissent-ils ? »

Pour l’instant, j’ai l’impression que :

1. Bing analyse la requête.
2. Bing cherche des pages correspondantes dans sa base de données.
3. Bing fournit le contenu des pages à ChatGPT avec un prompt du style : « Résume le contenu de ces pages en 5 lignes pour répondre à la question « xxxxxxx », en citant les sources ».
4. ChatGPT génère le texte.
5. Bing affiche le texte à l’utilisateur.

3) « Faut-il laisser les IA « voler » le contenu de mon site ? »

C’est une question complexe. Le fait de laisser une IA utiliser vos textes dépend de la raison pour laquelle vous l’avez rédigé. Ca dépend donc de chaque éditeur et la réponse est au cas par cas.

Pour mon cas personnel, je rédige des articles pour obtenir de la visibilité. Mon intérêt est donc plutôt de laisser les IA utiliser mes textes pour être cité comme une source dans les ChatBots IA.

4) « Comment Bing sélectionne-t-il les sources ? »

J’ai beaucoup torturé Skype/Bing sur ce sujet. Il n’aime pas parlé de ses sources : le joker « ma politique de confidentialité m’interdit de… » sort rapidement. Le peu de réponses qu’il donne sont très vagues…

Pour résumer, il y aurait 3 critères :

1. La pertinence : est-ce que le sujet de la page correspond à la question ?
2. La fiabilité : est-ce que des sites fiables citent la page (gouvernement, grande entreprise, organisation reconnue…)
3. La popularité : est-ce que la page est citée par de nombreux sites ?

Bref, le trio classique du SEO.

Mais, ATTENTION, il y a un biais : il a pu copier des pages de sites SEO dont le contenu correspond à mes questions…

5) « La version actuelle de chatBot est une béta, modifier la source ne suffira pas dans la version finale ! »

Difficile à prédire… En tout cas, avec la version actuelle, ça fonctionne. C’est déjà pas mal.

Quoi qu’il en soit, j’ai du mal à imaginer que, dans un avenir proche, des IA testeront elles-mêmes des aspirateurs ou des plateformes de netlinking pour se faire un avis et les classer. On peut donc supposer qu’elles vont continuer à se baser sur des sources disponibles sur le web pendant quelques années. Vraisemblablement, ces sources pourront être mises à jour par des humains.

Posez vos questions en commentaire 🙂

Si vous avez une question ou une remarque, n’hésitez pas à l’écrire dans les commentaires de cet article 👍

L’enthousiasme des SEO

J’ai été très étonné par les réactions que l’article du « test SAIO » a suscité dans la communauté SEO FR : les retours via les réseaux sociaux, les commentaires et les messages privés ont été vraiment nombreux et très enthousiastes.

Ca m’a vraiment fait plaisir, merci à tout ceux qui ont liké, partagé et commenté ❤️

J’ai essayé de répondre à un maximum de monde, mais j’ai du me résoudre à répondre uniquement aux remarques et aux questions. On m’a recommandé d’utiliser l’IA pour répondre automatiquement… Merci, mais non merci 😂

Il y a un autre point qui m’a étonné : je me situe à la frontière du Black Hat et du White Hat. Généralement, lorsque je publie un article, il intéresse soit les Black Hat, soit les White Hat (soit personne 😅). La communauté intéressée est toujours assez clairement identifiable. Pour l’article sur le « test SAIO », j’ai des retours positifs de la part des deux côtés. On dirait que face à la menace que fait planer l’IA sur le métier de SEO, les rangs se resserrent autour d’un objectif commun : s’adapter pour survivre.

Comment faire des classements éthiques ?

Vous prendrez bien un peu d’éthique avant de partir ?

Je ne prends pas un grand risque en prédisant que si le SAIO se développe dans les années à venir, des sites de classements vont pousser par centaines, encore plus vite que les champignons en automne !

En soit, ça ne pose aucun problème si ces classements sont éthiques, c’est à dire qu’ils reflètent bien la réalité du jugement de l’équipe qui les publie, en toute transparence.

Voici quelques conditions qui me semblent indispensable pour assurer un bon niveau de transparence d’un classement :

• Des critères objectifs doivent être définis pour évaluer les produits/services. Par exemple, dans le cas des plateformes de netlinking : le taux de commission, la taille du catalogue, la qualité des sites proposés, le délai de livraison, la réactivité du support…
• Les critères choisis doivent être listés et expliqués sur la page du classement de façon visible et compréhensible par l’utilisateur.
• La méthode de calcul de la note finale doit être décrite.
• Les notes pour chaque critère doivent être visibles, pour chacun des produits/services du classement. Evidemment, elles doivent être le reflet de la réalité.
• L’équipe qui effectue les évaluations doit être clairement identifiée, avec possibilité de contact.
• Si des produits/services sont mis en avant en échange d’argent, alors des mentions « Mise en avant sponsorisée » doivent apparaître clairement.

Si toutes ces conditions sont respectées le classement sera certainement très fiable et l’équipe du site prouvera qu’elle a une éthique à toute épreuve. Bravo 👏 Sachez-le, avoir une excellente éthique est très rentable à long terme (mais c’est un boulet à court terme).

J’espère que les IA sauront récompenser les « classements éthiques » à leur juste valeur, ce que incitera plus d’éditeurs à choisir cette voie 👼

Remerciements

• Merci encore aux administrateurs des différents sites, qui ont accepté de modifier leur classement pour ce test :
  • Baptiste Guiraud, du site DebugBar.
  • Loïc Frissard, du site Digitiz.
  • Vincent Brossas, du site LePtitDigital.

• Merci à Emile Moureau qui a publié une vidéo au sujet de ce test 👍 Retrouvez toutes ses vidéos sur l’IA sur sa chaîne YouTube : @Emile_dev

https://youtu.be/sfaMjHqbCeg

• Merci à Nicolas Audemar, qui a traduit et publié mon article sur un site espagnol 🙂
• Merci à Kevin Jourdan, qui a partagé l’article dans sa newsletter. Je vous recommande chaudement de vous y abonner 🚀