Sentiment de l’IA et des analystes

En résumé

• L’équipe de recherche quantitative sur les actions a récemment étudié et mis en œuvre un moyen d’améliorer l’octroi de la note de sentiment des analystes de recherche utilisée dans le cadre des portefeuilles axés sur la recherche mixte.
  
• FinBERT est nettement plus performant que l’outil précédent pour contextualiser le texte d’un document et quantifier le sentiment qui s’en dégage.
• En utilisant des outils de pointe comme FinBERT pour analyser les ensembles de données exclusives de MFS, nous pensons pouvoir offrir un indicateur de création de valeur différencié.

Les stratégies axées sur la recherche mixte de MFS^_MD sont des stratégies de placement en actions gérées à l’aide d’un indicateur de création de valeur qui combine des données quantitatives et fondamentales. La création de valeur fondamentale comprend plusieurs caractéristiques qui reflètent l’opinion des analystes de recherche sur les actions qu’ils couvrent, notamment leurs cotes (achat, détention, vente), mais l’indicateur comporte également deux autres composantes : un regain de confiance pour les titres détenus par l’analyste dans les stratégies de recherche de MFS et une note de sentiment qui s’appuie sur le traitement du langage naturel pour « lire » les commentaires des analystes et évaluer leur sentiment. 

L’équipe de recherche quantitative sur les actions a récemment étudié et mis en œuvre un moyen d’améliorer l’octroi de cette note de sentiment. Avant cette étude, on estimait le sentiment à l’aide d’un algorithme de traitement du langage naturel appelé le modèle de « sac de mots », qui évalue le texte en s’appuyant sur un dictionnaire qui catégorise les mots selon leur connotation positive ou négative. Le modèle que nous utilisons à présent est un grand modèle de langage appelé FinBERT. Par rapport au modèle de sac de mots, FinBERT est nettement plus performant pour contextualiser le texte d’un document et quantifier le sentiment qui s’en dégage^₁. 

Dans le présent article, nous décrirons les deux modèles et leur fonctionnement. Nous présenterons également un exemple tiré de notre bibliothèque exclusive de commentaires d’analystes passées, qui montre pourquoi nous pensons que FinBERT est plus efficace pour saisir le sentiment des analystes.

Tour d’horizon des modèles de traitement du langage naturel

La méthode de sac de mots utilisée précédemment dans le cadre des stratégies axées sur la recherche mixte fait appel à un lexique financier, élaboré par Tim Loughran et Bill McDonald de l’Université Notre-Dame, qui balise les mots en les classant comme positifs ou négatifs en fonction de la manière dont ils sont généralement employés dans les commentaires financiers. Le nombre de ces mots dans chaque commentaire est ensuite comptabilisé pour mesurer le sentiment qui s’en dégage. Le dictionnaire Loughran-McDonald est un lexique relativement court, car il a pour but d’éviter les erreurs de classification des mots qui peuvent être perçus différemment dans un contexte d’affaires et en anglais courant. Par exemple, la plupart des lexiques considèrent le mot « vice » comme un mot négatif, mais étant donné que « vice-président » est un terme souvent utilisé dans un contexte d’affaires, le mot « vice » n’est pas inclus dans le dictionnaire Loughran-McDonald et est considéré comme neutre. L’avantage de la mesure du sentiment dans le cadre du modèle de sac de mots est qu’elle est facile à mettre en œuvre et à comprendre, et qu’elle permet à l’utilisateur de savoir quels mots se voient attribuer une valeur positive ou négative. L’inconvénient du modèle est que sa simplicité ne lui permet pas de comprendre le contexte et qu’il est sensible aux mots utilisés dans le lexique.

Figure 1: Comparaison des deux modèles 

FinBERT est un grand modèle de langage fondé sur le modèle de représentations d’encodeur bidirectionnel à partir de transformateurs (« Bidirectional Encoder Representations from Transformers » ou « BERT ») de Google. Les modèles BERT sont largement utilisés dans des tâches linguistiques. Citons par exemple la prédiction du prochain mot dans un message texte ou un courriel, le fait d’aider les agents conversationnels à répondre à des questions, etc. Le modèle FinBERT est optimisé en fonction d’un vaste corpus de textes financiers et entraîné à prédire le sentiment à l’aide de l’ensemble de données Financial PhraseBank tirées de l’ouvrage de Pekka Malo de 2014^₂. Grâce à cette optimisation, le modèle d’encodage linguistique de FinBERT connaît mieux le jargon financier et la couche « sentiment » lui apprend à mesurer le sentiment de façon positive ou négative. Les grands modèles de langage sont composés de plusieurs « couches » de réseaux neuronaux ou de logiciels qui travaillent en tandem pour traiter le texte d’entrée et produire un résultat. La couche relative au sentiment résulte des processus informatiques qui déterminent l’attitude du rédacteur à l’égard du sujet.

BERT a été élaboré en tant que modèle linguistique pour coder et prédire le langage et est entraîné pour représenter les mots et les phrases ainsi que les relations entre eux. En optimisant le modèle en fonction de textes financiers et en créant un modèle de sentiment, FinBERT tire parti de la capacité du modèle BERT à comprendre l’anglais courant et lui confie la tâche de mesurer le sentiment dans des textes financiers. L’avantage du modèle FinBERT est qu’il n’est pas sensible à un lexique et qu’il peut comprendre l’anglais courant, le contexte et les relations complexes qui ne sont pas prises en compte par le modèle de sac de mots, mais l’inconvénient est qu’il est plus complexe et plus difficile de comprendre exactement les éléments qui contribuent à l’obtention d’une note donnée. Pour en savoir plus sur le développement du modèle FinBERT, consultez l’ouvrage de Dogu Araci de 2019^₃. 

Soulignons que même si FinBERT est un grand modèle de langage, il ne s’agit pas d’un modèle génératif comme ChatGPT. Par conséquent, il ne présente pas certains des problèmes de stabilité de ChatGPT (il n’hallucine pas les réponses, par exemple). Si on lui donne les mêmes données à l’entrée, il produira toujours le même résultat à la sortie.

Comparaison des modèles au moyen d’un commentaire d’analystes de MFS

Lors de l’évaluation des deux modèles, nous avons examiné à la fois leur capacité à mesurer efficacement le sentiment et les rendements prévisionnels associés aux notes lorsque ces données sont utilisées en tant que facteur quantitatif systématique. Les résultats du modèle FinBERT ont été supérieurs à ceux du modèle de sac de mots, mais la différence la plus importante que nous ayons remarquée réside dans sa capacité à mesurer le sentiment d’une manière qui correspond davantage à la façon dont l’être humain lit les commentaires.. 

Prenons l’exemple du commentaire suivant, rédigé par un analyste de MFS au sujet d’une entreprise américaine de technologie et de défense en novembre 2016 : 

Paragraphe 1 – « La société a dégagé des résultats trimestriels conformes aux prévisions après la normalisation du taux d’imposition. Les revenus internes ont reculé de 2 %, mais le taux de baisse semble avoir atteint son point le plus bas. Les commandes au sein du secteur du commerce interentreprises ont été excellentes (1,17x).

Paragraphe 2 – Je m’inquiétais des ventes de radios tactiques à marge élevée, mais elles ont augmenté ce trimestre pour la première fois en trois trimestres (1,22x contre 0,92x au trimestre précédent dans le secteur du commerce interentreprises). La prudence est de mise en ce qui concerne les réservations dans l’ensemble des secteurs d’activités, qui sont irrégulières, mais c’est pour moi une preuve suffisante que l’entreprise a touché un creux. Les réservations de radios à l’international ont augmenté de près de 30 % de façon séquentielle. Le secteur de la radio aux États-Unis devait toujours croître en 2018 compte tenu des gains obtenus, mais la situation n’est plus ce qu’elle était. Le reste de l’entreprise devrait commencer à connaître une croissance interne, et la réduction du portefeuille se poursuit. 

Paragraphe 3 – L’équipe continue d’exécuter le plan de synergie (marges de +50 pb à 13,7 %), tandis que les baisses dans l’ensemble de l’entreprise connaissent une décélération rapide. L’évaluation semble toujours acceptable (17x) par rapport à 2017. Selon moi, les FTD devraient atteindre 1 milliard de dollars d’ici l’an prochain, ce qui donne à l’action un rendement d’environ 8 %. L’entreprise devrait passer à la cote 1. »

Il est clair que le commentaire est favorable à l’égard de l’entreprise et l’analyste indique que les perspectives sont bonnes et qu’il la fait passer à la cote « Achat ». Le modèle FinBERT considère ce commentaire comme positif, alors que le modèle de sac de mots le considère comme négatif.

Figure 2: Les notes pour les modèles FinBERT et de sac de mots sont réparties par paragraphe

Il convient de noter que les modèles FinBERT et de sac de mots ne sont pas sur la même échelle, mais qu’ils sont tous deux centrés à 0. Une valeur proche de 0 correspond à un sentiment neutre, une valeur positive correspond à un sentiment positif et une valeur négative correspond à un sentiment négatif.

Les deux modèles considèrent le premier paragraphe comme négatif, en raison de l’expression « les revenus internes ont reculé », mais le modèle FinBERT relève des points encourageants dans les deux autres paragraphes. Le modèle de sac de mots se positionne de façon neutre sur de nombreuses phrases parce qu’aucun des mots n’est indiqué dans le lexique financier Loughran-McDonald. On peut ainsi passer à côté d’importants indicateurs de sentiment. Par exemple, les phrases « l’entreprise devrait passer à la cote 1 », « le reste de l’entreprise devrait commencer à connaître une croissance interne » et « les réservations de radios à l’international ont augmenté de près de 30 % de façon séquentielle » sont considérées comme neutres dans le cadre du modèle de sac de mots, car aucun des mots ne figure dans le lexique. Le modèle FinBERT évalue avec exactitude toutes ces phrases de manière positive et montre efficacement comment les aspects positifs de ce commentaire l’emportent sur les aspects négatifs. 

Le modèle de sac de mots peut être sensible au lexique utilisé relativement à la note et, pour les commentaires plus courts comme celui de cet exemple, un petit nombre de phrases peut influencer la note parce que le modèle adopte un point de vue neutre sur la plupart des phrases. Le modèle FinBERT semble saisir le sentiment davantage.comme le ferait un être humain. Certains mots ou certaines phrases de l’exemple peuvent être considérés comme négatifs, mais l’essentiel du commentaire est que l’analyste est optimiste quant à l’action.

Comparaison de l’exactitude des notes

Dans le cadre de l’analyse, nous avons examiné les commentaires sur lesquels les deux modèles étaient le plus en désaccord et nous les avons notés à la main, leur attribuant une valeur positive, négative ou neutre. Dans ces cas, la note du modèle FinBERT était non seulement plus corrélé avec nos valeurs notées à la main, mais les notes de FinBERT correspondaient à nos notes positives ou négatives dans une proportion de 85 %.

Figure 3: Notes des modèles et notes de l’équipe de recherche quantitative de MFS

L’avantage de la recherche mixte

Certes, le modèle FinBERT constitue une méthode plus perfectionnée et plus efficace pour mesurer le sentiment, mais il convient également de souligner que le principal avantage en ce qui concerne les placements ne réside pas dans le modèle lui-même, mais dans les données auxquelles il est appliqué. MFS dispose d’une équipe mondiale de spécialistes de l’analyse fondamentale pour analyser les actions, et les notes de sentiment sont calculées en fonction d’un ensemble de données exclusives tirées de commentaires d’analystes accessibles uniquement aux investisseurs de MFS. En utilisant des outils de pointe comme FinBERT pour analyser les ensembles de données exclusives, nous pensons pouvoir offrir un indicateur de création de valeur différencié, qui permet de faire valoir les analyses réalisées par nos équipes de recherche fondamentale.

Notes

^₁ Le sentiment fait référence à la façon dont les modèles de traitement du langage naturel comprennent le texte de la même manière que l’être humain. Il diffère du facteur de sentiment utilisé dans le modèle de création de valeur quantitative de la stratégie axée sur la recherche mixte de MFS.
^₂ Malo, P., Sinha, A., Korhonen, P., Wallenius, J. et Takala, P. (2014), Good Debt or Bad Debt. J Assn Inf Sci Tec, 65: 782-796. https://doi.org/10.1002/asi.23062.
^₃ D. Araci, « Finbert: Financial sentiment analysis with pre-trained language models », arXiv preprint arXiv:1908.10063, 2019. 

Les points de vue exprimés sont ceux du ou des auteurs et peuvent changer sans préavis. Ils sont fournis à titre indicatif seulement et ne doivent pas être considérés comme une recommandation d’achat d’un titre, une sollicitation ou un conseil en placement. Les prévisions ne sont pas garanties. Le rendement passé n’est pas garant du rendement futur.

L’analyse de placement de MFS, sa conception et son utilisation de modèles quantitatifs ainsi que sa sélection de placements peuvent ne pas produire les résultats escomptés ou risquent d’engendrer une orientation des placements qui se traduit par un rendement du portefeuille inférieur à celui des portefeuilles appliquant des stratégies de placement semblables ou à celui des marchés sur lesquels le portefeuille est investi. Les modèles quantitatifs exclusifs et de tiers utilisés par MFS peuvent ne pas produire les résultats escomptés pour diverses raisons, y compris les facteurs utilisés, la pondération de chaque facteur, l’évolution des sources de rendement du marché, les changements par rapport aux tendances historiques des facteurs du marché, et les problèmes techniques liés au développement, à l’application et à la maintenance des modèles (p. ex., données incomplètes ou inexactes, problèmes de programmation/logiciels, erreurs de codage et défaillances technologiques).