Historiquement, certains gros sites d'actualité envoient les articles en entier, sans paywall, aux requêtes du Googlebot en vérifiant uniquement le user-agent. Par exemple : https://www.peteroome.com/2015/04/05/botty-the-web-through-the-eyes-of-a-google-bot-copy/
Ça ne fonctionne plus trop aujourd'hui hélas.

Ah j'apprends qqch, merci, et je comprends enfin certains résultats que j'ai sur Google, qui me sors des liens mais je ne retrouve pas le texte de ma recherche dans ce qui m'est donné de voir, souvent parce qu'il y a un paywall (mais pas toujours)... Et je me suis dit que justement Google devait pouvoir indexer l'article en entier dans certain cas, histoire de faire de la pub pour le site ("vous voulez lire ? Votre recherche se trouve peut-être dans la suite... Abonnez-vous!"), ou bien que l'article est devenu payant par la suite ou a été modifié...