Notre expérience phare de l’IA se poursuit : avons-nous cassé la machine ?

Nous sommes maintenant dans la phase trois de notre projet d’apprentissage automatique, c’est-à-dire que nous avons dépassé le déni et la colère, et nous glissons maintenant dans le marchandage et la dépression. J’ai été chargé d’utiliser la mine de données d’Ars Technica provenant de cinq années de tests de gros titres, qui associent deux idées l’une à l’autre dans un Essai “A/B” pour permettre aux lecteurs de déterminer lequel utiliser pour un article. L’objectif est d’essayer de créer un algorithme d’apprentissage automatique capable de prédire le succès d’un titre donné. Et depuis mon dernier enregistrement, ça ne se passait pas comme prévu.

J’avais également dépensé quelques dollars en temps de calcul Amazon Web Services pour découvrir cela. L’expérimentation peut être un peu chère. (Indice: Si vous avez un budget limité, n’utilisez pas le mode “AutoPilot”.)

Nous avions essayé plusieurs approches pour analyser notre collection de 11 000 titres issus de 5 500 tests de titres : moitié gagnants, moitié perdants. Premièrement, nous avions pris l’ensemble du corpus sous forme de valeurs séparées par des virgules et essayé un “Je vous salue Marie” (ou, comme je le vois rétrospectivement, un “Leeroy Jenkins“) avec l’outil Autopilot dans SageMaker Studio d’AWS. Cela est revenu avec un résultat de validation de 53%. Cela s’avère rétrospectivement pas si mal, car lorsque j’ai utilisé un modèle spécialement conçu pour le traitement du langage naturel -AWS’ Texte flamboyant— le résultat était de 49 % de précision, voire pire qu’un tirage au sort. (Si une grande partie de cela semble absurde, au fait, je recommande revisiter la partie 2, où je passe en revue ces outils beaucoup plus en détail.)

C’était à la fois un peu réconfortant et aussi un peu décourageant que l’évangéliste technique d’AWS, Julien Simon, ait le même manque de chance avec nos données. En essayant un modèle alternatif avec notre ensemble de données en mode de classification binaire, nous n’avons obtenu qu’un taux de précision de 53 à 54 %. Alors maintenant, il était temps de comprendre ce qui se passait et si nous pouvions y remédier avec quelques ajustements du modèle d’apprentissage. Sinon, il est peut-être temps d’adopter une approche totalement différente.