MemoriaGCP

tekio.org

Vision AI

Projet GCPUtilisateursenvoi de photosCloud RunAPI d'envoiCloud Storageimages, PDFCloud Vision APIlabels, SafeSearch, OCRFirestorelabels, verdict12345
  1. Envoi d'une photo par le formulaire de l'application
  2. L'image est déposée dans le bucket, sous son nom définitif
  3. images:annotate demande labels et SafeSearch en une requête synchrone (20 Mo au plus)
  4. files:asyncBatchAnnotate traite les PDF et TIFF du bucket : opération longue, résultat JSON écrit à côté
  5. Les annotations et le verdict de modération sont enregistrés avec la fiche de l'image

Ce que c'est

Vision AI désigne l'offre d'analyse d'images ; l'API appelée depuis le code est la Cloud Vision API. Une requête porte une image et une liste de fonctions à appliquer ; la réponse est un JSON d'annotations.

  • Fonctions : LABEL_DETECTION (libellés généraux), TEXT_DETECTION et DOCUMENT_TEXT_DETECTION (OCR, texte épars ou dense et manuscrit), OBJECT_LOCALIZATION (objets et boîtes englobantes), FACE_DETECTION (visages, points caractéristiques, indices d'émotion — pas d'identification de personne), LOGO_DETECTION, LANDMARK_DETECTION, SAFE_SEARCH_DETECTION (contenu sensible, en cinq catégories et six niveaux de vraisemblance), IMAGE_PROPERTIES, CROP_HINTS, WEB_DETECTION.
  • Product Search : un index d'images de catalogue, interrogé par photo, pour retrouver un article de référence.
  • Trois points d'entrée. images:annotate en synchrone, jusqu'à 20 Mo par image et 10 Mo pour la requête JSON entière. files:annotate pour un PDF ou un TIFF court. images:asyncBatchAnnotate et files:asyncBatchAnnotate pour les lots : opération longue, les fichiers sont lus dans Cloud Storage et le JSON d'annotations y est écrit.
  • Entrées : JPEG, PNG, GIF, BMP, WEBP, RAW, ICO, PDF, TIFF. 640×480 suffit pour la plupart des fonctions, 1024×768 pour l'OCR, 1600×1200 pour les visages ; au-delà de 75 millions de pixels, l'image est redimensionnée pour l'OCR.
  • Modèles versionnés : builtin/stable, builtin/latest et builtin/legacy dans le champ model d'une fonction, pour essayer un nouveau modèle avant qu'il ne devienne le défaut.
  • Facturation par unité = une fonction appliquée à une image ou à une page. Les 1 000 premières unités du mois sont gratuites, puis 1,50 $ les 1 000 unités jusqu'à 5 millions. SafeSearch est gratuit quand il accompagne la détection de labels.

Pour un PDF, chaque page compte comme une image facturée, et chaque fonction demandée comme une unité distincte : une requête à trois fonctions sur un document de 40 pages coûte 120 unités.

À quoi ça sert

  • Modérer des images envoyées par les utilisateurs, avec SafeSearch.
  • Étiqueter et rendre cherchable un fonds photographique.
  • Lire du texte dans des photos : panneaux, étiquettes, plaques, captures d'écran.
  • Reconnaître des articles de catalogue à partir d'une photo, avec Product Search.

À éviter pour un document structuré — facture, formulaire, contrat : Document AI lit la mise en page, les tableaux et les champs, là où l'OCR de Vision ne renvoie qu'une hiérarchie page / bloc / paragraphe / mot. À éviter aussi quand la question posée sur l'image est ouverte (« que fait cette personne ? », « ce plan est-il conforme ? ») ou que l'on veut une sortie au format de son choix : c'est le terrain d'un modèle Gemini multimodal. L'API dédiée reste préférable pour des sorties structurées et stables — coordonnées de boîtes, scores de confiance, catégories fixes —, pour un tarif à l'unité qui ne dépend pas de la taille de l'image, pour la latence, et pour des volumes de plusieurs millions d'images.

Dans la console

Détection de labels : chaque libellé est rendu avec son score de confiance
Détection de labels : chaque libellé est rendu avec son score de confiance. Source : documentation Google Cloud, licence CC BY 4.0.
Détection de texte sur la même image : l'enseigne est encadrée et rendue dans la hiérarchie page, bloc, paragraphe
Détection de texte sur la même image : l'enseigne est encadrée et rendue dans la hiérarchie page, bloc, paragraphe. Source : documentation Google Cloud, licence CC BY 4.0.

Alternatives en logiciel libre

  • Tesseract (Apache 2.0) et PaddleOCR (Apache 2.0) : OCR classique, plus de 100 langues ; PaddleOCR gère mieux les scènes naturelles et les langues asiatiques.
  • docTR (Apache 2.0) : OCR par réseaux de neurones, détection puis reconnaissance, en PyTorch ou TensorFlow.
  • OpenCV (Apache 2.0) : traitement d'images classique — détection, segmentation, correspondance de points ; la base sur laquelle se construit le reste.
  • Ultralytics YOLO (AGPL 3.0) et MMDetection (Apache 2.0) : détection d'objets et boîtes englobantes, préentraînées sur COCO ou affinées.
  • OpenCLIP (MIT) : étiquetage et recherche d'images par similarité vectorielle, l'équivalent libre de Product Search.
  • NudeNet (AGPL 3.0) : classification et floutage de contenu explicite, à la place de SafeSearch.

Documentation