La sociedad quiere que te sientas avergonzado de ti mismo
La experta en algoritmos Cathy O'Neil ha escrito un nuevo libro que muestra cómo el mundo tecnológico y la sociedad generalmente se alimentan de la idea de la vergüenza.
Trabajando en finanzas al comienzo de la crisis financiera de 2008, Cathy O'Neil pudo ver de primera mano cuánto confiaba la gente en los algoritmos y cuánta destrucción estaban causando. Desanimada, saltó a la tecnología, donde encontró la misma fe ciega en todo, desde la publicidad dirigida hasta los modelos de evaluación de riesgos para valores respaldados por hipotecas. Entonces ella se fue. “No pensé que lo que estábamos haciendo fuera digno de confianza”, dice ella.
El sentimiento de ser “una co-conspiradora, una herramienta involuntaria en la industria” encendió el fuego debajo de ella para escribir Armas de destrucción matemática: cómo los datos masivos aumentan la desigualdad y amenazan la democracia. Publicado en 2016, el libro desmanteló la idea de que los algoritmos son objetivos y, en cambio, reveló, ejemplo tras ejemplo, cómo pueden perpetuar la desigualdad y lo hacen.
Antes de que saliera su libro, dice O'Neil, “la gente realmente no entendía que los algoritmos no estaban prediciendo sino clasificando... y que esto no era un problema matemático sino un problema político. Un problema de confianza”.
O'Neil mostró cómo cada algoritmo está optimizado para una noción particular de éxito y está entrenado en datos históricos para reconocer patrones: por ejemplo, “Gente como usted tuvo éxito en el pasado, por lo que es justo suponer que tendrá éxito en el futuro. ” O “La gente como tú fue un fracaso en el pasado, así que es justo suponer que serás un fracaso en el futuro . ”
Gradualmente, O'Neil llegó a reconocer otro factor que reforzaba estas desigualdades: la vergüenza. “¿Estamos avergonzando a alguien por un comportamiento que en realidad puede elegir no hacer? En realidad, no puede elegir no estar gordo, aunque todas las compañías de dietas afirmarán lo contrario. ¿Puedes elegir no ser un adicto? Mucho más difícil de lo que piensas. ¿Se le ha dado la oportunidad de explicarse? Hemos estado avergonzando a la gente por cosas en las que no tienen opción ni voz”.
La trayectoria de los algoritmos a la vergüenza no es evidente de inmediato. ¿Cómo conectaste estos dos hilos?
Investigué el poder detrás de los algoritmos armados. A menudo, se basa en la idea de que no eres lo suficientemente experto como para cuestionar esta fórmula científica y matemática, que es una forma de vergüenza. Y fue aún más obvio para mí, creo, porque como titular de un doctorado en matemáticas, no funcionó en mí en absoluto y, de hecho, me desconcertó.
El poder de los malos algoritmos es una violación de la confianza, pero también es una vergüenza. No sabes lo suficiente como para hacer preguntas. Por ejemplo, cuando entrevisté a una amiga mía, que es directora cuyos maestros estaban siendo evaluados por el Modelo de valor agregado para maestros en la ciudad de Nueva York, le pedí que pusiera sus manos en la fórmula por la que estaban enfocados sus maestros. Le tomó muchas capas de solicitudes, y cada vez que preguntaba, le decían: "Son matemáticas, no las entenderás".
En The Shame Machine , argumentas que la vergüenza es un problema estructural masivo en la sociedad. ¿Se puede ampliar al respecto?
La vergüenza es un mecanismo potente para volver una injusticia sistémica contra los objetivos de la injusticia. Alguien podría decir: "Esto es culpa tuya" (para las personas pobres o con adicciones), o "Esto está más allá de ti" (para los algoritmos), y esa etiqueta de indignidad a menudo es suficiente para que las personas a las que se dirige esa vergüenza dejen de hacerlo. haciendo preguntas. Solo como un ejemplo, hablé con Duane Townes, quien fue incluido en un programa de reingreso desde la prisión que era esencialmente un trabajo manual sin fin, por debajo del nivel de pobreza, realizado bajo la supervisión de hombres armados que llamarían a su oficial de libertad condicional. si se quejaba o tomaba un descanso para ir al baño por más de cinco minutos. Fue humillante y sintió que lo trataban como menos que un hombre. Sin embargo, esto fue por el diseño intencional del programa y estaba destinado a capacitar a las personas para que fueran "buenos trabajadores".
Es equivalente a un taser para el sentido de uno mismo. Provoca impotencia momentánea e incapacidad para defender los propios derechos.
¿Covid-19 exacerbó los problemas que destaca en su nuevo libro?
Bueno, introdujo normas que cambiaban más rápidamente, en torno al enmascaramiento, el distanciamiento y las vacunas, por lo que, en ese sentido, la vergüenza se generalizó. También fue obvio que las tribus que se manifestaron en las redes sociales y dentro de la política asumieron estas normas de manera muy diferente, lo que provocó enormes guerras de vergüenza en línea y en persona. La forma en que funciona la vergüenza es alejar a las personas que están algo en desacuerdo unas de otras. En otras palabras, la vergüenza fracasa cuando no hay confianza en la comunidad. Cuanto más cada lado lanzaba indignación y vergüenza al otro, más se distanciaba la gente.
En 2021, California se convirtió en el primer estado en ofrecer almuerzo gratis a todos los estudiantes, no solo a los económicamente desfavorecidos, lo que realmente ha ayudado a eliminar un estigma de larga data. ¿Cuáles son algunas otras formas en que diseñamos sistemas para que tengan menos vergüenza? ¿Hay formas de aprovechar la vergüenza para la reforma social?
¡Ese es un gran ejemplo! Otro que sugiero es hacer que sea mucho más fácil calificar para la asistencia social [o] tener un ingreso básico universal, y aliviar la carga de la deuda de los estudiantes. La vergüenza sistemática de la gente pobre en este país ha significado que haya poca solidaridad entre la gente pobre. Eso se debe casi en su totalidad a las exitosas campañas de vergüenza. Los pobres abogarían por el alivio de la deuda y la UBI ellos mismos si no tuviéramos una máquina de vergüenza tan exitosa en el trabajo.
El capítulo sobre “vergüenza en red” explora cómo los algoritmos de Facebook, Google y otros se optimizan continuamente para generar conflictos entre nosotros. ¿Cómo les beneficia esto? ¿Qué se puede hacer para contrarrestarlo?
¡Es su pan y mantequilla! Si no nos indignáramos y nos dedicáramos a defender nuestro sentido de valía y obtener los "me gusta" y los retuits basados en vergüenza performativa y, a menudo, destructiva, ganarían mucho menos dinero. Quiero que empecemos a ver la manipulación de las grandes empresas tecnológicas como una oferta para que trabajemos gratis para ellas. No deberíamos hacerlo. Deberíamos apuntar más alto, y eso significa apuntar a ellos.
A nivel individual, eso significa que nos negamos a golpear en las redes sociales si es posible, o incluso a boicotear las plataformas que fomentan eso. A nivel sistemático, insistimos en que los diseños de las plataformas, incluidos los algoritmos, sean auditados y monitoreados por toxicidad. Esa no es una sugerencia sencilla, pero sabemos que, por ejemplo, Facebook intentó hacer esto [en 2018] y descubrió que era posible pero menos rentable, por lo que lo rechazaron.
Después de que se publicó Armas , usted fundó ORCA, una empresa de auditoría algorítmica. ¿En qué consiste el trabajo de la empresa?
La auditoría algorítmica, al menos en mi empresa, es donde hacemos la pregunta "¿Para quién falla este sistema algorítmico?" Podrían ser solicitantes mayores en el contexto de un algoritmo de contratación, o personas obesas cuando se trata de pólizas de seguro de vida, o prestatarios negros en el contexto de préstamos estudiantiles. Tenemos que definir los resultados que nos preocupan, las partes interesadas que podrían verse perjudicadas y la noción de lo que significa ser justo. [También necesitamos definir] los umbrales que determinan cuándo un algoritmo ha cruzado la línea.
Entonces, ¿puede haber un algoritmo "bueno"?
Depende del contexto. Para la contratación, soy optimista, pero si no hacemos un buen trabajo definiendo los resultados de interés, las partes interesadas que podrían verse perjudicadas y, lo que es más importante, la noción de equidad y los umbrales, entonces podríamos terminar con reglas realmente sin sentido y jugables que producen sistemas de contratación algorítmica muy problemáticos. En el contexto de, digamos, el sistema de justicia, el desorden de los datos sobre delitos es un problema demasiado grande para superarlo, sin mencionar la total falta de acuerdo sobre lo que constituye una estadía en prisión “exitosa”.
Esta entrevista ha sido editada por su extensión y claridad
https://www.technologyreview.com/2022/06/29/1053985/society-shame-book-review/