Comment la loi s’est trompée avec Apple Card – TechCrunch


Les défenseurs de la justice algorithmique ont commencé à voir leurs « jours au tribunal » proverbiaux avec des enquêtes judiciaires sur des entreprises comme UHG et Carte Apple. L’affaire Apple Card est un bon exemple de la façon dont les lois anti-discrimination actuelles sont loin du rythme rapide de la recherche scientifique dans le domaine émergent de l’équité quantifiable.

S’il est peut-être vrai qu’Apple et ses souscripteurs ont été reconnus innocents d’infractions en matière de prêt équitable, la décision est accompagnée de mises en garde claires qui devraient être un signal d’avertissement pour les entreprises utilisant l’apprentissage automatique dans tout espace réglementé. À moins que les cadres commencent à prendre l’équité algorithmique plus sérieusement, leurs jours à venir seront pleins de défis juridiques et de dommages à la réputation.

Que s’est-il passé avec la carte Apple ?

Fin 2019, le leader de startup et célébrité des médias sociaux David Heinemeier Hansson a soulevé une question importante sur Twitter, en grande pompe et applaudissements. Avec près de 50 000 likes et retweets, il a demandé à Apple et à leur partenaire de souscription, Goldman Sachs, d’expliquer pourquoi lui et sa femme, qui partagent la même capacité financière, se verraient accorder des limites de crédit différentes. Pour beaucoup dans le domaine de l’équité algorithmique, ce fut un moment décisif de voir les problèmes que nous défendons se généraliser, aboutissant à une enquête du Département des services financiers de New York (DFS).

À première vue, il peut sembler encourageant pour les souscripteurs de crédit que le DFS ait conclu en mars que l’algorithme de souscription de Goldman n’enfreignait pas les règles strictes d’accès financier créées. en 1974 protéger les femmes et les minorités contre la discrimination en matière de prêt. Bien que décevant pour les militants, ce résultat n’était pas surprenant pour ceux d’entre nous qui travaillons en étroite collaboration avec les équipes de données en finance.

Il existe des applications algorithmiques pour les institutions financières où les risques de l’expérimentation dépassent de loin tout avantage, et la souscription de crédit en fait partie. Nous aurions pu prédire que Goldman serait déclaré innocent, car les lois sur l’équité des prêts (si elles sont dépassées) sont claires et strictement appliqué.

Et pourtant, il ne fait aucun doute dans mon esprit que l’algorithme Goldman/Apple discrimine, ainsi que tous les autres algorithmes de notation de crédit et de souscription sur le marché aujourd’hui. Je ne doute pas non plus que ces algorithmes s’effondreraient si les chercheurs avaient un jour accès aux modèles et aux données dont nous aurions besoin pour valider cette affirmation. Je le sais parce que le NY DFS partiellement publié sa méthodologie de vérification de l’algorithme de Goldman, et comme vous pouvez vous y attendre, leur audit est bien en deçà des normes détenues par les auditeurs d’algorithmes modernes aujourd’hui.

Comment DFS (en vertu de la loi actuelle) a-t-il évalué l’équité de la carte Apple ?

Afin de prouver que l’algorithme d’Apple était « juste », DFS a d’abord examiné si Goldman avait utilisé des « caractéristiques interdites » des candidats potentiels comme le sexe ou l’état matrimonial. Celui-ci était facile à passer pour Goldman – ils n’incluent pas la race, le sexe ou l’état matrimonial en tant qu’entrée dans le modèle. Cependant, nous savons depuis des années que certaines caractéristiques du modèle peuvent agir comme « mandataires » pour les classes protégées.

Si vous êtes noir, une femme et enceinte, par exemple, votre probabilité d’obtenir un crédit peut être inférieure à la moyenne des résultats de chaque catégorie protégée globale.

La méthodologie DFS, basée sur 50 ans de précédent juridique, a omis de mentionner s’ils ont pris en compte cette question, mais nous pouvons deviner qu’ils ne l’ont pas fait. Parce que s’ils l’avaient fait, ils auraient vite trouvé que cote de crédit est si étroitement liée à la race que certains États envisagent d’interdire son utilisation pour assurance dommages. Les fonctionnalités proxy ne sont apparues que récemment sous les projecteurs de la recherche, nous donnant notre premier exemple de la façon dont la science a dépassé la réglementation.

En l’absence de fonctionnalités protégées, DFS a ensuite recherché des profils de crédit dont le contenu était similaire mais qui appartenaient à des personnes de classes protégées différentes. Dans un certain sens imprécis, ils ont cherché à savoir ce qui arriverait à la décision de crédit si nous « retournions » le genre sur la demande. Une version féminine du candidat masculin recevrait-elle le même traitement ?

Intuitivement, cela semble être une façon de définir « juste ». Et c’est – dans le domaine de l’équité de l’apprentissage automatique, il existe un concept appelé un « retour d’essai » et c’est l’une des nombreuses mesures d’un concept appelé « équité individuelle », qui est exactement ce que cela ressemble. J’ai interrogé Patrick Hall, scientifique principal chez bnh.ai, un cabinet d’avocats spécialisé dans l’IA, sur l’analyse la plus courante dans les enquêtes sur les cas de prêt équitable. Se référant aux méthodes utilisées par DFS pour auditer Apple Card, il l’a appelée régression de base, ou “une version des années 1970 du test de retournement”, nous apportant l’exemple numéro deux de nos lois insuffisantes.

Un nouveau vocabulaire pour l’équité algorithmique

Depuis l’article fondateur de Solon Barocas « L’impact disparate du Big Data » en 2016, les chercheurs ont travaillé dur pour définir les concepts philosophiques fondamentaux en termes mathématiques. Plusieurs conférences ont vu le jour, avec de nouvelles pistes d’équité émergeant lors des événements d’IA les plus notables. Le domaine est dans une période de hypercroissance, où la loi n’a pas encore suivi le rythme. Mais tout comme ce qui est arrivé au secteur de la cybersécurité, ce sursis légal ne durera pas éternellement.

Peut-être pouvons-nous pardonner à DFS son audit de softball étant donné que les lois régissant les prêts équitables sont nées du mouvement des droits civiques et n’ont pas beaucoup évolué au cours des 50 années et plus depuis leur création. Les précédents juridiques ont été établis bien avant que la recherche sur l’équité en apprentissage automatique ne décolle vraiment. Si DFS avait été équipé de manière appropriée pour relever le défi de l’évaluation de l’équité de la carte Apple, ils auraient utilisé le vocabulaire robuste pour l’évaluation algorithmique qui s’est épanouie au cours des cinq dernières années.

Le rapport DFS, par exemple, ne fait aucune mention de la mesure des « cotes égalisées », une ligne d’enquête notoire rendue célèbre pour la première fois en 2018 par Joy Buolamwini, Timnit Gebru et Deb Raji. Leur « Nuances de genre » L’article a prouvé que les algorithmes de reconnaissance faciale devinent plus souvent mal sur les visages féminins sombres que sur les sujets à la peau plus claire, et ce raisonnement est vrai pour de nombreuses applications de prédiction au-delà de la vision par ordinateur.

Les chances égales demanderaient à l’algorithme d’Apple : à quelle fréquence prédit-il correctement la solvabilité ? À quelle fréquence devine-t-il mal ? Existe-t-il des disparités dans ces taux d’erreur entre les personnes de sexe, de race ou de handicap différents ? Selon Hall, ces mesures sont importantes, mais tout simplement trop nouvelles pour avoir été entièrement codifiées dans le système juridique.

S’il s’avère que Goldman sous-estime régulièrement les candidates dans le monde réel, ou attribue des taux d’intérêt plus élevés que ceux que les candidats noirs méritent vraiment, il est facile de voir comment cela nuirait à ces populations mal desservies à l’échelle nationale.

Catch-22 des services financiers

Les auditeurs modernes savent que les méthodes dictées par les précédents juridiques ne parviennent pas à saisir les nuances d’équité pour les combinaisons intersectionnelles au sein des catégories minoritaires – un problème qui est exacerbé par la complexité des modèles d’apprentissage automatique. Si vous êtes noir, une femme et enceinte, par exemple, votre probabilité d’obtenir un crédit peut être inférieure à la moyenne des résultats de chaque catégorie protégée globale.

Ces groupes sous-représentés peuvent ne jamais bénéficier d’un audit holistique du système sans une attention particulière portée à leur unicité, étant donné que la taille de l’échantillon des minorités est par définition un plus petit nombre dans l’ensemble. C’est pourquoi les auditeurs modernes préfèrent « l’équité par la sensibilisation » approches qui nous permettent de mesurer les résultats avec une connaissance explicite de la démographie des individus dans chaque groupe.

Mais il y a un Catch-22. Dans les services financiers et d’autres domaines hautement réglementés, les auditeurs ne peuvent souvent pas utiliser « l’équité par la sensibilisation », car ils peuvent être empêchés de collecter des informations sensibles dès le départ. Le but de cette contrainte légale était d’empêcher les prêteurs de faire de la discrimination. Dans un cruel coup du sort, ce couvre à la discrimination algorithmique, nous donnant notre troisième exemple d’insuffisance juridique.

Le fait que nous ne puissions pas collecter ces informations entrave notre capacité à découvrir comment les modèles traitent les groupes mal desservis. Sans cela, nous pourrions ne jamais prouver ce que nous savons être vrai dans la pratique – les mères à temps plein, par exemple, auront de manière fiable des dossiers de crédit plus minces, car elles n’exécutent pas tous les achats à crédit sous les deux noms de conjoint. Les groupes minoritaires peuvent être beaucoup plus susceptibles d’être des travailleurs temporaires, des employés à pourboires ou de participer à des industries basées sur l’argent, ce qui entraîne des points communs entre leurs profils de revenus qui s’avèrent moins courants pour la majorité.

Il est important de noter que ces différences dans les dossiers de crédit des candidats ne se traduisent pas nécessairement par une véritable responsabilité financière ou une véritable solvabilité. Si votre objectif est de prédire la solvabilité avec précision, vous voudriez savoir où la méthode (par exemple, un pointage de crédit) se décompose.

Ce que cela signifie pour les entreprises utilisant l’IA

Dans l’exemple d’Apple, il convient de mentionner un épilogue plein d’espoir à l’histoire où Apple a fait un mise à jour conséquente à leur politique de crédit pour lutter contre les discriminations protégées par nos lois archaïques. Dans l’annonce du PDG d’Apple, Tim Cook, il n’a pas tardé à souligner un « manque d’équité dans la façon dont l’industrie [calculates] cotes de crédit.

Leur nouvelle politique permet aux conjoints ou aux parents de combiner des dossiers de crédit de sorte que le dossier de crédit le plus faible puisse bénéficier du dossier de crédit le plus solide. C’est un excellent exemple d’une entreprise prévoyant des mesures susceptibles de réduire la discrimination qui existe structurellement dans notre monde. En mettant à jour ses politiques, Apple a devancé la réglementation qui pourrait résulter de cette enquête.

Il s’agit d’un avantage stratégique pour Apple, car NY DFS a mention exhaustive de l’insuffisance des lois actuelles régissant cet espace, ce qui signifie que les mises à jour de la réglementation peuvent être plus proches que beaucoup ne le pensent. Pour citer la surintendante des services financiers Linda A. Lacewell : « L’utilisation de la notation de crédit sous sa forme actuelle et les lois et réglementations interdisant la discrimination dans les prêts ont besoin d’être renforcées et modernisées. D’après ma propre expérience de travail avec les régulateurs, c’est quelque chose que les autorités d’aujourd’hui sont très vif explorer.

Je n’ai aucun doute que les régulateurs américains s’efforcent d’améliorer les lois qui régissent l’IA, en profitant de ce vocabulaire robuste pour l’égalité dans l’automatisation et les mathématiques. Le Réserve fédérale, OCC, CFPB, FTC et Congrès sont tous désireux d’aborder la discrimination algorithmique, même si leur rythme est lent.

En attendant, nous avons toutes les raisons de croire que l’algorithmique la discrimination est endémique, en grande partie parce que l’industrie a également mis du temps à adopter le langage académique que les dernières années ont amené. Il reste peu d’excuses pour que les entreprises ne profitent pas de ce nouveau champ d’équité, et pour éradiquer la discrimination prédictive qui est en quelque sorte garantie. Et l’UE est d’accord, avec des projets de loi qui s’appliquent spécifiquement à l’IA et qui devraient être adoptés au cours des deux prochaines années.

Le domaine de l’équité en matière d’apprentissage automatique a mûri rapidement, avec de nouvelles techniques découvertes chaque année et une myriade outils aider. Le domaine atteint seulement maintenant un point où cela peut être prescrit avec un certain degré de automatisation. Organismes de normalisation sont intervenus pour fournir des conseils afin de réduire la fréquence et la gravité de ces problèmes, même si la loi américaine tarde à adopter.

Car si la discrimination par algorithme est intentionnelle, elle est illégale. Ainsi, toute personne utilisant des analyses avancées pour des applications liées aux soins de santé, au logement, à l’embauche, aux services financiers, à l’éducation ou au gouvernement enfreint probablement ces lois sans le savoir.

Jusqu’à ce que des directives réglementaires plus claires soient disponibles pour la myriade d’applications de l’IA dans des situations sensibles, l’industrie est seule à déterminer quelles définitions de l’équité sont les meilleures.





Source link