Comment éditer le robots.txt ou l’assetlinks.json de mes campagnes ?

Q1 : Qu’est-ce qu’un fichier robots.txt ?

Un fichier robots.txt est un petit fichier texte placé à la racine d’un site web. Il indique aux moteurs de recherche (comme Google, Bing ou DuckDuckGo) quelles parties de votre site ils peuvent ou ne peuvent pas explorer.

Cela ne bloque pas les robots en tant que tel mais leur dit ce qui est hors d'accès.

Plus d'info sur les robots.txt ici.

Q2 : Pourquoi ajouter un fichier personnalisé robots.txt à ma campagne Qualifio ?

Par défaut, les moteurs de recherche peuvent tenter d’indexer vos campagnes, même si elles sont intégrées ou non destinées à être publiques.
En ajoutant un fichier personnalisé robots.txt, vous pouvez définir précisément comment les robots d’exploration interagissent avec vos campagnes.

Empêcher l’indexation des campagnes temporaires ou privées

De nombreuses campagnes Qualifio sont limitées dans le temps (concours, quiz, jeux saisonniers, etc.). Vous pouvez ne pas vouloir qu’elles apparaissent dans les résultats de recherche Google.

Exemple :

User-agent: *
Disallow: /

Cela indique à tous les robots de ne pas indexer ou explorer votre campagne.

Diriger les robots vers votre sitemap

Si votre marque héberge plusieurs campagnes Qualifio et que vous souhaitez aider les robots à mieux comprendre la structure de vos campagnes, vous pouvez les orienter vers un sitemap spécifique.

Exemple :

User-agent: *
Allow: /
Sitemap: https://www.votremarque.com/sitemap.xml

Cela permet de garantir que seules les bonnes URL de campagne sont indexées.

Contrôler certains robots spécifiques

Certaines entreprises préfèrent autoriser ou bloquer certains robots d’exploration (par exemple autoriser Googlebot, mais bloquer les robots d’IA).

Exemple :

# Bloquer GPTBot
User-agent: GPTBot
Disallow: /

# Bloquer Google Extended
User-agent: Google-Extended
Disallow: /

# Autoriser les partages X
User-agent: Twitterbot
Allow: /

Cela permet de garder votre contenu visible sur Google, mais non exploité pour l’entraînement de modèles d’IA.

Q3 : Le robots.txt est-il actif par campagne ou domaine ?

Un robots.txt personnalisé est actif pour toutes les campagnes d’un domaine, pas par campagne. Il est associé au nom d’hôte exact : www.votremarque.com et votremarque.com sont deux hôtes différents, ils ont donc chacun besoin de leur propre fichier.

Un domaine sans fichier personnalisé utilise le robots.txt par défaut de Qualifio, qui autorise tous les robots d’exploration.

Q4 : Est-il obligatoire d’ajouter un fichier personnalisé robots.txt ?

Non — c’est facultatif.

Q5 : Comment en créer un ?

Vous pouvez créer un fichier robots.txt avec n’importe quel éditeur de texte — en texte brut, sans mise en forme.

Q6 : Comment ajouter mon fichier robots.txt à mes campagnes Qualifio ?

Ouvrez un ticket, joignez votre fichier robots.txt et indiquez-nous le nom d’hôte exact de chaque domaine sur lequel vous souhaitez que nous l’appliquions (par exemple form.votremarque.com).

Pour vérifier, ouvrez https://votre-domaine/robots.txt dans votre navigateur.

Et voilà — c’est aussi simple que ça !

Q7 : Puis-je aussi ajouter un fichier assetlinks.json ?

Oui. Qualifio peut aussi servir un fichier /.well-known/assetlinks.json personnalisé sur les domaines de vos campagnes. Il est actuellement utilisé pour déclarer des sites liés avec une relation lookalikes/allowlist.

Exemple :

[
  {
    "relation": ["lookalikes/allowlist"],
    "target": {
      "namespace": "web",
      "site": "https://www.votremarque.com"
    }
  }
]

Comme le robots.txt, il s’applique à un domaine entier et est associé au nom d’hôte exact. Un domaine sans fichier personnalisé n’en a pas : l’adresse renvoie « introuvable ».

Pour en ajouter un, ouvrez un ticket, joignez le fichier et indiquez-nous sur quel(s) domaine(s) vous souhaitez que nous l’utilisions.

Autres liens utiles:

• Google : introduction à robots.txt