Plus qu'un wrapper OpenAI : Perplexity pivote vers l'Open Source

Le moteur de recherche d’IA Perplexity a récemment fait l’objet de beaucoup de buzz en tant qu’alternative à ChatGPT. Contrairement à ChatGPT, Perplexity fournit des citations par défaut pour les informations qu’il fournit. Cette fonctionnalité unique est devenue cruciale dans l’IA générative, compte tenu du problème persistant d’hallucinations lié à cette technologie. En conséquence, Perplexity est devenu un acteur étonnamment puissant sur un marché autrement dominé par OpenAI, Microsoft, Google et Meta.

J’ai parlé avec le co-fondateur et PDG de Perplexity, Aravind Srinivas (anciennement chercheur chez OpenAI et DeepMind) pour en savoir plus sur le produit, y compris son récent accent mis sur les LLM open source. A noter que cette interview a été réalisée avant que la société n’annonce un tour de table de série B de 73,6 millions de dollars plus tôt ce mois-ci, ce qui la propulse financièrement dans la cour des grands.

Plus qu’un emballage

À la base, Perplexity est un moteur de recherche. Srinivas m’a dit qu’il était « un grand fan de Larry Page » et dès le début, lors du lancement de Perplexity en décembre 2022, il voulait s’attaquer au moteur de recherche de Google. Cependant, à ce moment-là, Perplexity dépendait à la fois du modèle GPT 3.5 d’OpenAI et de Microsoft Bing. Il s’agissait simplement d’un « emballage » de la technologie d’autres entreprises, pour utiliser un terme populaire (et quelque peu péjoratif) dans la communauté des ingénieurs en IA.

Mais au cours de la dernière année, Perplexity a évolué rapidement. Il dispose désormais de son propre index de recherche et a construit ses propres LLM basés sur des modèles open source. Ils ont également commencé à combiner leurs produits technologiques exclusifs. Fin novembre, Perplexity a annoncé deux nouveaux « LLM en ligne » – des LLM combinés à un index de recherche – appelés pplx-7b-online et pplx-70b-online. Ils ont été construits sur les modèles open source mistral-7b et lama2-70b.

« Nous avons commencé à utiliser des modèles open source le jour de la sortie de LLaMA-2 », a déclaré Srinivas, faisant référence à la sortie en juillet 2023 par Meta de son modèle LLaMA de deuxième génération (le nom est un acronyme pour « Large Language Model Meta AI »). Ils ont également pris note du fait qu’une société française appelée Mistral AI a publié un LLM open source appelé Mistral 7B en septembre. Après cela, la stratégie de Perplexity visant à devenir plus qu’un emballage a pris forme.

« Il existe une saine concurrence entre les deux », a déclaré Srinivas à propos de Meta et Mistral. « Et cela nous profite parce que nous nous disons : « D’accord, nous sommes les utilisateurs de ces modèles ». Par exemple, nous allons prendre votre chatbot, nous allons le regrouper dans une inférence vraiment efficace et rapide que nous hébergeons nous-mêmes – afin que nous ne soyons pas un wrapper. Ensuite nous [will] personnalisez-le et affinez-le pour nos modèles, notre produit – qui est un résumé des cas d’utilisation de la recherche – puis nous le déploierons auprès de l’utilisateur final.

L’utilisation de modèles open source a été essentielle à la croissance de Perplexity. Srinivas a noté que « le dernier modèle de Mistral est aussi puissant – sinon plus puissant – que GPT 3.5, qui est le modèle avec lequel nous avons commencé. [at] Perplexité il y a un an.

En plus de la technologie backend, l’interface utilisateur de Perplexity a également évolué avec le temps. Son interface par défaut est toujours un chatbot (similaire à ChatGPT), mais Perplexity propose désormais ce qu’il appelle « recherche Copilot » – qui « demande des détails, prend en compte vos préférences, approfondit et fournit ensuite des résultats précis ».

Perplexité contre ChatGPT

Pour une démonstration rapide des différences entre Perplexity et ChatGPT, j’ai posé la question suivante aux deux produits : « Comment JavaScript est-il utilisé dans les applications Web modernes ?

Tout d’abord, une divulgation : avant l’entretien, Perplexity m’a offert un compte Pro d’un an afin de mieux tester son produit. J’étais déjà un utilisateur de ChatGPT Plus, que je paie moi-même, j’ai donc pu faire une comparaison pomme par pomme des offres premium des deux sociétés. Les deux sociétés facturent 20 $ par mois pour leurs services premium. Perplexity Pro vous permet de « choisir votre modèle d’IA préféré parmi GPT-4, Claude 2.1, Gemini ou Perplexity ».

En réponse à ma requête, ChatGPT 4 a répondu avec une liste en dix points de « fonctionnalités et avantages » – y compris l’utilisation de JavaScript dans l’interaction utilisateur et les applications Web en temps réel. C’était un résumé correct, bien qu’assez haut niveau et j’ai repéré quelques lignes que j’aimerais vérifier.

La réponse de Perplexity, issue du modèle Perplexity par défaut, ressemblait davantage à un court article. C’était aussi bon que ChatGPT, mais il comprenait également plus de 20 citations. Srinivas a déclaré que son modèle par défaut est basé sur une version affinée de GPT-3.5, plus un peu de LLaMA-2 – « d’une manière ou d’une autre, nous acheminons les deux choses ensemble ».

J’ai essayé la même requête avec le modèle « expérimental » de Perplexity, qui, selon Srinivas, était « affiné en interne à l’aide de LLaMA-2 ». La réponse a été plus courte et, à mon avis, pas aussi complète que la réponse du modèle Perplexity par défaut. Mais c’est expérimental, donc votre kilométrage peut varier. Et il s’avère que la concision est l’un de ses objectifs.

« Le modèle expérimental n’est pas meilleur que GPT-4 », a expliqué Srinivas. « Que pensez-vous en sortir? Sa concision [and] exactitude factuelle sans aucun comportement moralisateur.

Quelle est la prochaine étape pour la perplexité

Comme indiqué ci-dessus, le modèle Perplexity par défaut repose toujours sur GPT 3.5 (et un soupçon de LLaMA-2). Mais l’intention est de s’éloigner de cette dépendance de longue date à l’égard d’OpenAI pour son modèle de base.

« Notre objectif maintenant, au cours du prochain trimestre, est de déplacer complètement tout le monde vers nos modèles Perplexity », a déclaré Srinivas. « Et maintenant, nous avons le choix : nous pouvons soit utiliser le LLaMA-2 comme modèle de base, soit le nouveau Mistral comme modèle de base. »

Du côté de la recherche, j’ai demandé comment l’index de recherche de Perplexity se compare actuellement à celui de Google en termes d’échelle ?

« Nous avons un milliard de pages dans l’index », a-t-il répondu. « Mais, vous savez, le point principal que je veux souligner est [that] la taille de l’index de recherche est également comme une grande taille de modèle de langage – la taille d’un index n’a pas vraiment d’importance. Ce qui compte le plus, c’est la qualité des données ; combien y a-t-il de pages Web de haute qualité ? »

Il a noté que son mécanisme de classement dans les recherches est similaire à celui de Google, dans le sens où il repose sur des citations, mais avec une touche LLM. Plus le produit de Perplexity cite une certaine page Web, plus elle devient importante. Pour expliquer, Srinivas a une fois de plus vérifié le nom de son héros, Larry Page.

« Semblable à l’idée de Larry Page, qui a déclaré que les pages du Web [that are] les plus importants sont ceux qui sont cités par d’autres pages importantes. Sauf que nous disons que les pages du Web [that] sont importants sont ceux qui sont cités par un grand modèle de langage, dans le contexte d’un moteur de réponse conversationnel – un chatbot. Et si de plus en plus de personnes l’utilisent régulièrement, nous apprenons à connaître de plus en plus de pages importantes sur le Web — […] la fréquence à laquelle ils sont cités, s’ils ont réellement amélioré ou pire la réponse.

Étant donné que Google (avec Bard) et Microsoft (avec Bing) ont déjà commencé à utiliser également des citations dans leurs chatbots IA, Perplexity pourrait avoir une année difficile à venir. Mais pour une jeune startup fraîchement financée, son produit est déjà convaincant et le pivot vers des modèles LLM open source semble le meilleur moyen de contrer ces grands acteurs technologiques.