Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1576

Incidentes Asociados

Incidente 1836 Reportes
Airbnb's Trustworthiness Algorithm Allegedly Banned Users without Explanation, and Discriminated against Sex Workers

Loading...
¿Airbnb está utilizando un algoritmo para prohibir a los usuarios la plataforma?
choice.com.au · 2022

Airbnb puede estar utilizando la toma de decisiones automatizada para dejar a algunos usuarios al margen.

Si alguna vez ha estado en el mercado de una propiedad de alquiler de vacaciones en los últimos años, es probable que haya estado en Airbnb.

La plataforma con sede en EE. UU. se ha convertido en un gigante mundial en el mercado de alquileres a corto plazo, con 5,6 millones de propiedades listadas en su sitio web en todo el mundo solo en 2021. Más de 800 millones de personas en todo el mundo se han alojado en una propiedad de Airbnb.

Pero aunque la compañía se ha convertido en sinónimo de vacaciones, algunos usuarios en Australia se encuentran bloqueados y vetados de la plataforma, y preguntan por qué.

Airbnb adquiere algoritmo de 'confiabilidad'

En 2017, Airbnb adquirió una startup tecnológica llamada Trooly que se especializaba en la verificación de antecedentes y había patentado anteriormente un algoritmo que recopilaba datos disponibles pública y privadamente sobre los usuarios para otorgarles una puntuación de "confiabilidad".

Kate Bower, defensora de los datos del consumidor en CHOICE, dice que los datos que usa el algoritmo para evaluar su "confiabilidad" incluyen cuentas de redes sociales de usted y sus amigos, lo que hace para ganarse la vida, su nivel de educación y cualquier otra información en línea que pueda encontrar.

Evaluación de los rasgos de personalidad.

Se afirma que el algoritmo patentado evalúa los rasgos de personalidad de las personas, como el narcisismo o la escrupulosidad, junto con los rasgos de comportamiento, como el uso de drogas o alcohol o la participación en litigios civiles y otros comportamientos, y los combina para crear una puntuación holística que juzga el comportamiento de una persona. integridad.

Airbnb ha actualizado la patente, de la que es propietario directo, varias veces desde 2017. Esto sugiere que está usando y desarrollando el algoritmo, no solo dejándolo languidecer en algún estante trasero.

La política de privacidad de Airbnb incluye una declaración amplia que indica que el algoritmo puede estar en uso en Australia. Establece que "podemos realizar perfiles... [y que] los procesos automatizados, que analizan su cuenta y sus actividades en la plataforma de Airbnb, así como la información relacionada con las actividades dentro y fuera de la plataforma de Airbnb que se pueden asociar con usted, podrían restringir o suspender el acceso a la Plataforma Airbnb".

¿Qué sabe Airbnb de ti?

La plataforma de alquiler a corto plazo Airbnb podría estar utilizando un algoritmo oculto para brindarle un puntaje de confiabilidad basado en su información en línea. Este puntaje podría usarse para excluirlo del servicio.

Comparación de información recopilada por hoteles y Airbnb:

Los hoteles ven y recopilan sus documentos de identificación, método de pago y detalles de contacto.

Airbnb ve y recopila sus documentos de identificación, método de pago, detalles de contacto, dirección IP, identificadores de dispositivos, datos de ubicación, además de posibles conexiones a redes sociales, historial laboral e historial educativo.

Los clientes informan que están bloqueados sin motivo

Renae Macheda se describe a sí misma y a su esposo como "gente limpia y aburrida". Trabaja en bienes raíces y se quedó desconcertada cuando intentó reservar alojamiento en Sídney en octubre, solo para descubrir que se le prohibió el acceso a Airbnb y su cuenta se cerró.

La compañía no le dio ninguna razón para la prohibición. Cuando cuestionó la decisión, recibió un breve correo electrónico que no fue más esclarecedor.

Decía: "Después de revisar toda la información disponible para nosotros, hemos determinado que su cuenta se eliminará de la plataforma de Airbnb. La eliminación significa que ya no se podrá acceder a su cuenta y no podrá crear otra". Queremos asegurarle que revisamos su caso a fondo antes de llegar a esta conclusión. Por lo tanto, no podremos ofrecerle apoyo adicional sobre este asunto en este momento".

'No es lo suficientemente bueno'

Renae le dice a CHOICE que nunca ha tenido una disputa con un anfitrión de Airbnb y solo ha recibido buenas críticas de sus muchas vacaciones. Ella dice que está "devastada" por la decisión y se siente defraudada por la empresa.

"Creo que deberían darte una explicación", dice ella. "No dar nada en absoluto ni opciones para tratar de remediar lo que sea, no es lo suficientemente bueno".

Los expertos en tecnología dicen: 'Sé más amigable para el consumidor'

Ellen Broad, de la Facultad de Ingeniería y Ciencias de la Computación de la Universidad Nacional de Australia (ANU), dice que las empresas como Airbnb, que operan de manera similar a los servicios públicos, deberían estar sujetas a un conjunto similar de responsabilidades.

"Tienen la responsabilidad de brindar a las personas vías significativas para comprender por qué se produce una prohibición y vías significativas para apelar en ese momento, pero no lo están haciendo", le dice a CHOICE.

Julian Thomas, de RMIT y director del ARC Center of Excellence for Automated Decision-Making and Society (ADM+S), también expresa su preocupación por el uso potencial del algoritmo en Australia.

“Necesitamos ver cómo podemos regular mejor estos sistemas para garantizar que sean mucho más amigables para el consumidor, que respeten los derechos de las personas, que sean más responsables”, dice.

Prohibidas las trabajadoras sexuales

Rick Andrews (no es su nombre real) es un masajista erótico con sede en Melbourne que se vio excluido de Airbnb el año pasado cuando intentó reservar unas vacaciones en Sydney.

Dice que solo recibió buenas críticas de las docenas de vacaciones locales e internacionales que reservó a través de la plataforma.

Airbnb le envió un correo electrónico diciendo que su cuenta había sido marcada durante una "revisión de seguridad estándar".

El correo electrónico decía: "Resultó que su cuenta estaba vinculada a una actividad que va en contra de nuestros Términos de servicio, específicamente, estaba vinculada a anuncios en línea de servicios para adultos, que pueden incluir actividades de acompañantes y pornografía comercial".

Rick dice: "Estaba indignado, esto es increíble, ¿qué he hecho? ¿Asesinado a alguien?"

Jane (no es su nombre real), una trabajadora sexual de Melbourne, dice que su cuenta fue bloqueada en 2018. Ella cree que se debió a que estaba vinculada a anuncios en línea para el trabajo sexual y dice que "no me dieron ninguna explicación en todos".

La prohibición podría ser discriminatoria

Matthew Roberts de Sex Work Law Reform Victoria dice que prohibir a alguien de una plataforma en función de su ocupación es discriminatorio y debe protegerse.

"Creo que todos deberíamos ser conscientes de lo que está haciendo Airbnb antes de registrarnos en Airbnb, eso no se divulga ni se hace transparente", le dice a CHOICE.

Gala Vanting de Scarlet Alliance, el organismo representativo nacional de las trabajadoras sexuales, dice que también han visto una gran cantidad de casos de trabajadoras sexuales que han sido expulsadas de Airbnb.

"Para muchas trabajadoras sexuales eliminadas de Airbnb, no hay ningún proceso, ninguna violación de sus términos, ninguna historia que explique su pérdida de acceso, y ningún proceso de apelación para obtener una explicación o reclamar una cuenta", dice Vanting. “El silencio de Airbnb en torno a estos casos es ensordecedor”.

Airbnb vago sobre el uso del algoritmo en Australia

Enviamos una lista de preguntas detalladas a Airbnb Australia, con la esperanza de obtener más información sobre la forma en que se utiliza su algoritmo en este país.

Pero la respuesta de la compañía fue extremadamente vaga. Decía: "La seguridad, la protección y la privacidad de nuestra comunidad es una de nuestras principales prioridades. Las medidas de seguridad y protección de nuestra plataforma están diseñadas para ayudar a garantizar que las estadías sean experiencias seguras y positivas para los Anfitriones, los huéspedes y la comunidad en general, al tiempo que protegen a los usuarios. ' información, incluida su información personal".

'Falta de transparencia'

Bower dice que esta respuesta no es lo suficientemente buena y que Airbnb tiene el deber de informar a los clientes australianos cómo recopila y utiliza sus datos.

"Hay una preocupante falta de transparencia de las prácticas potencialmente dañinas e invasivas", dice. "Airbnb afirma que ofrece a los usuarios la oportunidad de revisar decisiones automatizadas, pero en realidad las personas no saben por qué han sido eliminadas de la plataforma".

El uso de algoritmos en aumento

Kimberlee Weatherall es profesora de derecho en la Universidad de Sydney e investigadora principal del Centro de Excelencia ARC para ADM+S. Ella dice que hay varias cosas preocupantes sobre el algoritmo de Airbnb y su uso de datos no relacionados con el historial de alquiler de Airbnb de las personas para juzgar cómo se comportarán en una propiedad.

"Usar lo que hicieron en la universidad hace dos años para decidir si obtienen alojamiento de vacaciones mañana, ese cruce de contextos, creo que es un problema real", le dice a CHOICE. "Estos algoritmos castigan a las personas por el comportamiento de los demás o castigan a las personas por su comportamiento pasado".

Ella compara este "cruce de contextos" en el uso de datos con el controvertido sistema de puntuación de crédito social de China, y dice que deberíamos preocuparnos.

"Esta idea de que te vigilan en diferentes tipos de contextos y el mal comportamiento en una métrica puede conducir a un castigo es preocupante", dice.

"En el ejemplo de China, no pagaste tus multas, por lo que no puedes subirte a un tren. Si nos movemos a un mundo en el que decimos que está bien que Airbnb te vigile en múltiples contextos, entonces la gente lo hará". tienen que empezar a censurarse a sí mismos en línea y lo que publican".

Peligros de la 'puntuación social'

Bower está de acuerdo con Weatherall y dice que el "algoritmo equivale a una forma de puntuación social que recuerda a un episodio de Black Mirror" (Black Mirror es una serie de ciencia ficción de la televisión británica que se centra en el uso distópico de la tecnología, a menudo en un futuro próximo). La puntuación social, a veces llamada "crédito social", es cuando un sistema automatizado evalúa la confiabilidad de una persona o su posible comportamiento futuro.

Así como los informes crediticios tienen como objetivo juzgar la capacidad de una persona para pagar una deuda a partir de su comportamiento financiero anterior, los algoritmos de calificación social intentan predecir la probabilidad de que una persona se comporte de cierta manera en función de su comportamiento anterior, según lo obtenido de sus datos personales. .

La puntuación social puede reproducir sesgos sociales y conducir a la discriminación en la vida real. "La mayoría de los australianos se sorprenderían de que las empresas con fines de lucro como Airbnb se hayan designado a sí mismas como árbitros morales de su comportamiento", dice Bower.

Regulación necesaria

La toma de decisiones automatizada es un proceso computarizado que puede reemplazar o ayudar a la toma de decisiones humana, a menudo utilizando análisis de datos avanzados y aprendizaje automático.

Su uso está creciendo en todo el mundo, incluso en Australia. Bower dice: "Ya se usa ampliamente en informes crediticios, seguros y servicios financieros, y es probable que veamos un aumento en otros sectores, como vivienda, atención médica, comercio minorista y muchos otros. Tiene un gran potencial para mejorar los servicios para los consumidores, pero es también potencialmente dañina".

El modelo de la UE

Thomas, del Centro de Excelencia ARC para ADM+S, dice que Australia debe considerar la regulación de la forma en que las empresas usan datos contextuales cruzados para la toma de decisiones automatizada. Él dice que Australia podría seguir la línea de la Unión Europea (UE), que actualmente está abordando las preocupaciones sobre la toma de decisiones automatizada y la puntuación social.

"Nosotros [Australia] somos un mercado pequeño, por lo que tiene sentido para nosotros seguir el ejemplo de la UE en esto", dice. "Todas las empresas globales tendrán que interactuar con el mercado europeo de alguna manera y sus políticas a menudo son globales. Si creemos que el marco de la UE proporciona fuertes garantías para el consumidor, creo que deberíamos trabajar con eso".

CHOICE impulsando mejores protecciones

Nuestra presentación a la revisión de la Ley de privacidad respalda la adopción del marco de la UE, que propone una prohibición total de los algoritmos de calificación social, junto con la regulación de otros usos de la toma de decisiones automatizada y la inteligencia artificial que representan un alto riesgo para los consumidores.

Según Bower, el uso potencial de su algoritmo por parte de Airbnb en un espacio no regulado es muy preocupante.

"A CHOICE le preocupa que las empresas estén implementando ampliamente la toma de decisiones automatizada sin informar a los consumidores sobre los riesgos, ofreciendo vías para optar por no participar o la oportunidad de revisar las decisiones", dice.

"La toma de decisiones automatizada tiene el potencial de tomar decisiones inexactas o sesgadas y dar lugar a discriminación y prácticas desleales".

¿Crees que es injusto que Airbnb pueda usar tus datos personales en la toma de decisiones automatizada para restringir tu acceso a la plataforma? Contesta nuestra encuesta.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd