MemoriaGCP

tekio.org

Agent Search

Projet GCPUtilisateursrechercheAgentoutil de récupérationCloud StoragePDF, HTMLBigQuerytables structuréesAgent Searchdata store + appCloud Runapplication web123456
  1. Import des documents non structurés : analyse de mise en page, OCR, découpage et vectorisation
  2. Import des données structurées d'une table, avec leur schéma et leurs métadonnées
  3. L'utilisateur saisit une requête en langage naturel dans l'application
  4. Appel de l'API de recherche ou de réponse : résultats classés, puis réponse générée avec citations
  5. Renvoi des événements utilisateur (clics, conversions) qui affinent le classement au fil du temps
  6. Un agent utilise le même index comme outil de récupération pour ancrer ses réponses

Ce que c'est

Moteur de recherche et de recommandation géré, à brancher sur ses propres données : on déclare des sources, le service les indexe, puis une API renvoie des résultats classés et, si on le demande, une réponse rédigée avec ses citations. C'est la brique de récupération sur laquelle s'appuient les applications RAG et les agents.

  • Data store : le réservoir indexé. Il accepte un site web public (après vérification du domaine), des données non structurées — PDF, HTML, texte, images — depuis Cloud Storage ou BigQuery, et des données structurées — tables BigQuery, JSON dans Cloud Storage. Des connecteurs alimentent les data stores depuis des applications tierces.
  • Application (app, appelée engine dans l'API) : elle relie un ou plusieurs data stores et porte le réglage du comportement. Plusieurs data stores sur une même application, c'est la recherche mixte (blended search), qui interroge tout le contenu d'un coup.
  • Indexation : extraction de mots-clés, vecteurs d'embeddings pour le sens, traitement des métadonnées, analyse avancée des documents (tableaux, images, graphiques, OCR et analyse de mise en page).
  • Requête et classement : compréhension de l'intention en langage naturel, traduction d'une contrainte exprimée en toutes lettres en filtre, désambiguïsation par le graphe de connaissances, correction orthographique et synonymes ; puis un classement qui mêle correspondance de mots-clés, similarité sémantique, signaux web pour les sites, règles de promotion ou de rétrogradation (boost, bury) et personnalisation apprise des événements utilisateur.
  • Restitution : liste de résultats avec extraits et segments, ou réponse générée par un modèle à partir des meilleurs résultats, avec citations, questions de suivi et requêtes liées. L'intégration se fait par l'API ou par un widget déposé dans une page.
  • Variantes par métier : recherche personnalisée (générique), recherche et recommandations média, recherche santé sur des ressources FHIR, recommandations personnalisées.

L'API sous-jacente est Discovery Engine : les appels curl et les bibliothèques clientes visent discoveryengine.googleapis.com, et la page de la console s'appelle AI Applications. Ce sont bien le même produit.

À quoi ça sert

  • Moteur de recherche interne ou public sur un corpus documentaire, sans construire de chaîne d'indexation.
  • Brique de récupération d'une application RAG : l'API answer rend la réponse et ses sources, sans code de découpage, de vectorisation ni de classement à écrire.
  • Outil de récupération d'un agent, pour ancrer ses réponses dans les documents de l'entreprise.
  • Recommandations de contenu à partir des événements utilisateur.

À éviter quand on veut maîtriser le découpage, le modèle d'embeddings et la fonction de classement : Vector Search ou une base vectorielle laissent ce contrôle. À éviter aussi pour une recherche par mots-clés sur quelques milliers de lignes déjà stockées en base : un index de recherche plein texte de PostgreSQL suffit (voir Choisir une base de données). Pour un assistant prêt à l'emploi destiné aux salariés, avec son interface et ses connecteurs, préférer Gemini Enterprise app.

Alternatives en logiciel libre

  • OpenSearch : moteur de recherche distribué, recherche lexicale et vectorielle (k-NN), classement personnalisable ; la base la plus proche en périmètre.
  • Qdrant, Weaviate, Milvus : bases vectorielles pour la recherche sémantique, avec filtrage sur métadonnées et recherche hybride.
  • Haystack, LlamaIndex : cadres qui assemblent la chaîne complète — ingestion, découpage, embeddings, récupération, génération avec citations — soit l'équivalent de l'API de réponse.
  • Apache Solr : moteur plein texte mûr, pour un besoin de recherche classique avec facettes.
  • PostgreSQL avec tsvector et pgvector : recherche plein texte et vectorielle dans la base applicative, quand le volume ne justifie pas un moteur dédié.

Documentation