Construire un moteur de recherche pour rivaliser avec Google pourrait coûter des milliards – et ce n’est pas le seul problème
Les serveurs du site Web Gigablast occupent un bâtiment en brique sans fenêtre sur l’avenue Bogan à Albuquerque, au Nouveau-Mexique, juste à côté de l’autoroute et à proximité des prêteurs sur gages et des concessionnaires de pneus à prix réduits.
« C’est Bogan Avenue. Vous êtes australien, vous aurez la blague », a déclaré Matt Wells, fondateur et unique employé du moteur de recherche.
Gigablast est aujourd’hui pour la plupart oublié, mais il fut une fois, au tournant du millénaire, où il pouvait être mentionné dans le même souffle qu’une autre option: Google.
Google a grandi pour dominer le monde, tandis qu’une chambre d’amis à Gigablast a été louée à un service de garde local.
Le site Web, ironique intitulé « le dernier moteur de recherche », apparaît comme une relique des années 2000 avec sa page de destination HTML de base et ses couleurs fluoro-aqua.
Mais son existence pose une question pour l’avenir: existe-t-il une alternative à la domination Internet des grandes technologies?
Alors que Google menaçait de se retirer d’Australie en raison d’une proposition de première législation mondiale l’obligeant à payer pour des informations, le Parti des Verts a récemment suggéré que nous pourrions développer un moteur de recherche financé par l’État comme alternative.
L’idée a été généralement accueillie avec moquerie et grattage de tête poli.
Mais parmi un petit cercle international d’experts des moteurs de recherche et d’étrangers, la simple mention de cette idée en Australie était un gros problème.
Ils croient que le changement arrive. Ils soulignent l’inquiétude croissante du gouvernement concernant le monopole de Google – en Australie, en Europe et aux États-Unis. L’ère des moteurs de recherche géants, espèrent-ils, touche à sa fin.
« L’Australie doit absolument nationaliser l’importante ressource de recherche », a déclaré Matt Wells de Gigablast.
« Ce n’est pas seulement une question de confidentialité et de contrôle, mais une question de sécurité nationale. »
Un pays pourrait-il créer son propre moteur de recherche? Avec assez d’argent, serait-ce bon?
Estimer le coût
Alors que Google devenait de plus en plus dominant au milieu des années 2000, plusieurs pays ont essayé de créer leurs propres moteurs de recherche.
En 2005, les gouvernements français et allemand ont annoncé qu’ils allaient dépenser 450 millions d’euros (700 millions de dollars) sur cinq ans pour développer un moteur de recherche, Quaero, qui serait un concurrent européen de Google.
L’Allemagne s’est rapidement retirée du projet après que les critiques aient souligné que, au moment du lancement de Quaero en 2011, les moteurs de recherche commerciaux seraient des générations à venir.
L’année suivante, en 2006, le Japon a alloué des millions de dollars de financement à un consortium d’entreprises privées pour s’attaquer à Google: ce projet n’a jamais été lancé non plus.
La Russie a lancé en 2014 un moteur de recherche appartenant à l’État, Spoutnik, qui n’a pas réussi à gagner des utilisateurs.
Qu’est-ce qui ne va pas?
Ce pourrait être une simple question d’argent. L’année dernière, l’autorité britannique de la concurrence (comme l’ACCC en Australie) a examiné combien il en coûterait à un concurrent pour reproduire le moteur de recherche de Google et est arrivée à un chiffre incroyable: 10 à 30 milliards de dollars.
Google et Microsoft Bing, dit-il, sont les seuls moteurs de recherche qui dépensent des centaines de millions de dollars par an pour maintenir leurs index.
Un moteur de recherche fonctionne en combinant trois fonctions:
- Exploration: des robots logiciels appelés «robots d’exploration» parcourent Internet à la recherche de contenu
- Indexation: le contenu analysé est stocké et organisé par mot-clé ou par ordre d’importance
- Classement: utiliser l’index pour répondre au mieux à une requête sur Google
La clé de la domination de Google n’est pas le logiciel sophistiqué ou les algorithmes de classement, mais la taille même de l’indice, a déclaré Zack Maril, un ingénieur logiciel à Washington DC qui a récemment informé les enquêteurs du gouvernement américain sur le monopole de recherche de Google.
En 2000, Google avait un index de 1 milliard de pages: le plus grand au monde. Depuis lors, il est passé à environ 600 milliards de pages.
La compilation de cet indice, a déclaré M. Maril, a coûté beaucoup d’argent.
« Il y a eu beaucoup de start-ups qui ont essayé de perturber Google qui ont échoué, car cela prend pas mal d’argent », dit-il.
« Vous allez probablement perdre, non? »
Cela peut-il être fait à moindre coût?
Potentiellement. Certains disent que le coût de la recherche diminue.
L’estimation des coûts de l’autorité britannique de la concurrence repose sur l’hypothèse que tous les actifs physiques de Google sont nécessaires pour faire fonctionner son moteur de recherche.
Étant donné que Google propose de nombreux produits, des cartes aux e-mails, cela peut être une mauvaise hypothèse. Si tel est le cas, le coût de la concurrence avec Google pourrait être inférieur aux estimations.
Colin Hayhurst, directeur général du petit moteur de recherche britannique Mojeek, a déclaré qu’une meilleure estimation pourrait être de quelques centaines de millions de dollars.
Mojeek, a-t-il dit, a été en mesure d’indexer 3,7 milliards de pages pour environ 6 millions de dollars.
Et le coût des serveurs diminuait fortement, a-t-il déclaré.
«Aujourd’hui, il est moins coûteux d’indexer Internet qu’auparavant,» dit-il.
« Google a créé ce mythe selon lequel vous avez besoin d’énormes ressources pour rivaliser avec eux. »
Serait-ce aussi bon que Google?
Donc, si la recherche peut être bon marché, pourquoi un troupeau de rivaux ne détruit-il pas Google?
En 2018, le gouvernement français a décrété que toutes les recherches du gouvernement devaient être effectuées à l’aide du moteur de recherche privé crypté Qwant, surnommé le «Google gaulois».
Malgré ce coup de pouce, Qwant n’a pas pris le relais. Il détient moins de 1% du marché français de la recherche, qui continue d’être dominé par – oui – Google.
C’est l’histoire mondiale. Google détient plus de 90% du marché mondial de la recherche, avec Microsoft Bing son plus proche rival à 2,7%.
Le produit de Google domine-t-il simplement parce qu’il est meilleur?
Cela dépend en partie de qui vous demandez – Google ou Microsoft. Les tests menés par Google et soumis à l’autorité britannique de la concurrence ont montré que les évaluateurs humains obtenant des résultats de recherche sans marque favorisaient Google.
Cependant, lorsque Microsoft a effectué des tests similaires, ils ont obtenu un résultat différent.
Ils ont trouvé qu’une proportion presque égale d’évaluateurs humains préféraient les résultats de recherche sans marque de Bing à ceux de Google.
Et lorsque les résultats de la recherche ont été marqués, quelque chose d’intéressant s’est produit. Les gens ont largement préféré les résultats de Google.
« Cela pourrait suggérer que les différences de qualité objectives sont limitées pour certaines requêtes », a conclu l’autorité britannique de la concurrence.
Google a brillé, cependant, lorsqu’on lui a demandé des requêtes inhabituelles, l’enquête a révélé.
Les moteurs de recherche concurrents peuvent convenir à la plupart des recherches, mais les résultats locaux et spécialisés plus riches de Google ont porté leurs fruits pour une recherche approfondie.
Vous pouvez le construire, mais viendront-ils?
En plus d’être perçu comme meilleur que ses concurrents, Google a un autre avantage: c’est le moteur de recherche par défaut sur la plupart des appareils mobiles du monde.
En octobre 2020, le ministère américain de la Justice a déposé une plainte accusant Google d’abuser de son pouvoir de monopole.
Il contenait un chiffre remarquable: le montant annuel que Google aurait payé à Apple en 2018 pour être le moteur de recherche par défaut sur tous les iPhones et autres produits Apple.
Ce chiffre? 8 milliards de dollars – 12 milliards de dollars.
M. Hayhurst a décrit ces paiements comme «la construction de douves autour du moteur de recherche» par Google.
«Parce que la recherche est là où ils gagnent tout l’argent», a-t-il déclaré.
Un autre fossé est le système d’exploitation Android, a-t-il déclaré.
Android, qui est utilisé par près des trois quarts des téléphones dans le monde, utilise Chrome comme navigateur par défaut, qui a Google comme moteur de recherche par défaut.
Cela a des implications pour un moteur de recherche australien: combien de personnes changeraient le moteur de recherche par défaut dans les paramètres du navigateur?
Si Google est prêt à payer des milliards de dollars pour être le moteur de recherche par défaut du navigateur Safari d’Apple, la réponse semble être: peu de monde.
Le robot d’exploration Google obtient un accès préférentiel aux sites Web
Et en plus de cela, il y a un autre problème: les robots d’exploration.
Dans sa soumission à l’enquête britannique sur la concurrence, Microsoft a déclaré que les sites Web donnent la priorité à l’accès au robot d’exploration de Google par rapport à celui de Bing.
En conséquence, Google est en mesure d’indexer ces pages de manière plus approfondie et plus approfondie.
En ayant un index plus grand, il peut renvoyer de meilleurs résultats et gagner plus d’utilisateurs.
La plainte de Microsoft peut ressembler à des raisins aigres du côté des perdants, mais elle est étayée par une étude menée par l’autorité britannique de la concurrence.
Sur un échantillon de 57 millions de domaines, le robot d’exploration de Google avait le meilleur accès.
Pourquoi les webmasters bloqueraient-ils les robots d’exploration? Parce qu’ils épuisent le temps du serveur et apportent peu de valeur: tous les clics proviennent de Google.
Pourquoi se donner la peine d’aider les start-up?
« Seul un knucklehead affronterait Google »
D’autres petits moteurs de recherche, tels que DuckDuckGo, ont en partie contourné ce problème d’accès aux robots d’exploration et de taille d’index en syndiquant les résultats de recherche de Microsoft Bing.
C’est en grande partie Bing mais dans un wrapper différent, avec le suivi des données supprimé et une partie de leur propre exploration supplémentaire ajoutée.
Une version de ceci peut être une option pour l’Australie, bien que cela signifierait céder un certain contrôle à Microsoft.
Une autre option proposée par M. Maril était de faire de l’exploration Web un service public.
Au lieu d’un groupe de moteurs de recherche privés rivalisant pour faire exactement la même chose – et se gênant les uns les autres – un robot d’exploration Web public pourrait compiler un seul index.
Les opérateurs privés pourraient utiliser cet index pour créer leurs propres moteurs de recherche, a déclaré M. Maril.
« Nous n’avons vraiment besoin que d’un seul robot d’exploration Web à cette échelle », a-t-il déclaré.
Les robots d’exploration de service public peuvent sembler un résultat improbable, a déclaré M. Maril, mais une Australie sans Google aurait également semblé improbable il y a quelques mois.
Depuis que Google a menacé de se retirer d’Australie, il a montré le pouvoir qu’il exerce sur la recherche; en supprimant les liens vers certains organes de presse australiens des résultats de certains utilisateurs.
M. Maril décrit la position de Google comme un «monopole naturel» – comme la possession de tous les poteaux téléphoniques ou chemins de fer – et a formé une organisation pour sensibiliser à ce sujet.
Il l’a appelé le Knuckleheads Club, « parce que seul un knucklehead affronterait Google ».
Il espère que l’Australie s’inscrira.