El siglo XXI se presenta como una etapa marcada por el auge de la inteligencia artificial (IA) y el aprendizaje automático. Estas tecnologías, cada vez más complejas, prometen transformar la toma de decisiones, personalizar nuestras experiencias y abordar problemas de gran escala. Sin embargo, detrás de esta promesa de innovación se esconde una alerta que no podemos ignorar. Lejos de ser imparciales, muchos de estos sistemas reproducen y profundizan las desigualdades existentes, ya que se entrenan con datos que reflejan, casi de manera directa, las asimetrías del mundo en el que fueron generados.
Una de las fuentes más significativas de esta vulnerabilidad en los datos es la persistente y profunda brecha digital. A lo largo y ancho del globo, miles de millones de personas carecen de acceso equitativo a la tecnología y a la alfabetización digital. En términos de conectividad, se estima que alrededor de 2.700 millones de personas permanecen en los márgenes de la red (UTI, 2024). Esta exclusión significa que las experiencias, necesidades y realidades de vastos segmentos de la población mundial simplemente no están representadas, o lo están de forma distorsionada, en los conjuntos de datos que dan vida a las IAs y otras tecnologías predictivas y generativas.
De esta forma, se genera un círculo vicioso en el que sociedades marcadas por la brecha digital se vuelven fuentes de datos sesgados que, de forma consciente o inconsciente, se manejan por equipos de profesionales sin los controles normativos y éticos necesarios para evitar los sesgos. Esos algoritmos mal alimentados dan lugar a tecnologías defectuosas que se utilizan transversalmente en la toma de decisiones públicas y privadas; afectan desde el acceso al empleo y al crédito, hasta la calidad de los servicios públicos y la participación democrática.
El presente artículo de opinión recorre algunas de las profundas y preocupantes consecuencias globales de este fenómeno, y sostiene que enfrentar el sesgo algorítmico requiere, necesariamente, reducir la brecha digital. El futuro de una sociedad más justa y equitativa depende de que hoy se puedan afrontar ambos desafíos con decisión y simultaneidad.
En primer lugar, se debe tener en cuenta que la mayoría de los modelos de aprendizaje automático se construyen a partir de los datos disponibles, no de los datos posibles. Esto implica que los algoritmos aprenden del mundo tal como es, no como debería ser. Cuando los datos provienen de contextos altamente dispares, como ocurre en buena parte de las periferias globales, los modelos resultantes terminan reproduciendo esas desigualdades. Como muestra, Virginia Eubanks (2018) en su estudio sobre sistemas automatizados en Estados Unidos, los algoritmos aplicados en políticas sociales tienden a sancionar y excluir aún más a las poblaciones ya vulnerables, en lugar de asistirlas. Lo mismo puede observarse en experiencias locales, como el caso del sistema de inteligencia artificial del Ministerio de Seguridad de la Ciudad de Buenos Aires, que fue suspendido judicialmente en 2022 tras detectarse que la lista de personas “sospechosas” estaba plagada de errores, con sesgos raciales y de clase.
Esto demuestra que los sistemas de inteligencia artificial y aprendizaje automático no solo replican, sino que, según sean aplicados, participan activamente en la estructuración de los fenómenos sociales, y generan impactos profundos en la cultura, la política y la economía.
En este sentido, si no se instruye a los algoritmos para producir información de manera equitativa, no lo harán por sí solos, ya que no son entidades pensantes, sino meros sistemas estadísticos. Alcanzar esa equidad no se logra con la corrección de sesgos entrenados, sino con la incorporación de principios de justicia participativa en todas las fases del ciclo de vida del sistema, es decir, propiciando la pluralidad de voces y promoviendo una representación inclusiva desde la propia concepción del diseño tecnológico. Esto implica involucrar activamente a grupos históricamente excluidos en los procesos de desarrollo, facilitando su incidencia en la definición de objetivos, la selección de datos y la evaluación continua del impacto social de las herramientas digitales creadas. Sin embargo, esto resulta especialmente complejo si se considera cómo están conformados los equipos de ingenieros, académicos y programadores encargados de su diseño e implementación. En este sentido, cabe preguntarse ¿qué efectos puede tener el desarrollo de tecnologías destinadas a toda la humanidad cuando quienes toman decisiones clave no representan una verdadera diversidad de subjetividades?
Por ejemplo, a nivel global, las mujeres ocupan apenas el 32 % de los puestos ejecutivos en el sector de la tecnología de la información, lo que podría perpetuar visiones parciales y limitar seriamente la incorporación de una perspectiva de género en el desarrollo tecnológico (Grant Thornton, 2024). Las consecuencias de esta desigualdad pueden observarse con claridad en el estudio de Smith y Rustagi (2021), quienes analizaron el caso de los sistemas de puntuación utilizados para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito. En su investigación, documentaron cómo, ante una pareja con ingresos, gastos y deudas similares, la empresa emisora asignó a la mujer un límite de crédito casi un 50% menor que al hombre. Esta diferencia no fue arbitraria ya que probablemente el modelo fue entrenado con datos que reproducen la brecha salarial existente entre hombres y mujeres, por lo que recomendaba asignar un mayor límite de gasto al varón.
Del mismo modo, la transparencia algorítmica y la explicabilidad resultan imprescindibles, ya que las decisiones automatizadas deberían ser comprensibles y estar sujetas al escrutinio público. Sin embargo, en la actualidad el acceso efectivo a estos espacios es extremadamente limitado debido al predominio que ejercen las empresas privadas sobre el diseño, gestión y control de las tecnologías. Esto genera un problema de gobernanza democrática, ya que decisiones que afectan significativamente la vida social se toman de manera opaca y centralizada, priorizando frecuentemente intereses comerciales sobre los derechos colectivos. Aun así, se observan esfuerzos iniciales hacia la regulación pública: en 2024, la Unión Europea conformó una comisión específica con ese propósito. Probablemente no será la única, considerando los enormes desafíos implicados. En todo caso, será fundamental observar cómo estas iniciativas regulatorias impactan el poder y las prácticas empresariales del desarrollo algorítmico, así como las expectativas sociales generadas en torno a una mayor transparencia y accesibilidad democrática.
Al respecto, Shoshana Zuboff (2019) señala que la economía digital funciona bajo un paradigma de “instrumentarismo” según el cual los comportamientos humanos se convierten en insumos para generar valor mientras los individuos pierden el control de sus datos. Como todo lo tangible, nuestros datos personales se han convertido en recursos susceptibles de ser extraídos y explotados. Representan una nueva forma de plusvalía codificada que no se produce exclusivamente en el ámbito laboral, sino también durante el ocio, los trámites cotidianos o los estudios médicos. En este contexto, los algoritmos dejan de ser meras herramientas técnicas para convertirse en poderosos dispositivos que inciden en la gestión territorial, la distribución de recursos y la definición de prioridades públicas.
En tercer lugar, vale la pena cuestionar qué ocurre con quienes quedan fuera del radar digital. Estas personas no solo resultan invisibles para los sistemas automatizados de toma de decisiones, sino que corren el riesgo de ser tachadas como irrelevantes. Recientemente, el equipo de Fundar (Ortiz de Zárate et al., 2024) analizó la IA generativa de la empresa OpenAI, “ChatGPT”, y advirtió que el modelo tiende a privilegiar las voces de hombres adultos con alto nivel educativo e interés político, mientras relega o invisibiliza a mujeres, jóvenes, y quienes cuentan con un menor capital cultural, profundizando así las brechas de representación en el entorno digital. Por tanto, es imprescindible reflexionar críticamente sobre quiénes acceden habitualmente a estas tecnologías y porqué son las subjetividades más sobrerrepresentadas.
Esta exclusión trasciende lo meramente técnico y adquiere un carácter profundamente político. Según datos de la CEPAL (2024), en América Latina el 74,3% de las personas del quintil más pobre en zonas rurales carece de acceso a Internet en el hogar, mientras que incluso en áreas urbanas, el 38,1% del mismo quintil sigue desconectado. Esta brecha no solo limita el acceso a derechos básicos y servicios esenciales, sino que restringe la capacidad de agencia en un mundo donde la conectividad define la visibilidad, la participación y la ciudadanía efectiva.
Por poner un ejemplo cotidiano: en muchos municipios, la inscripción a turnos de salud pública o la gestión de subsidios solo se realiza a través de plataformas digitales, obligando a personas con baja alfabetización tecnológica o sin dispositivos adecuados a depender de intermediarios y, en muchos casos, a renunciar a sus derechos. En lugar de cerrar brechas, la expansión de los modelos algorítmicos puede intensificarlas, trazando nuevas fronteras entre los datos visibles y las vidas desconectadas.
Entonces, ¿qué ciudadanías digitales se están construyendo? En la actualidad, ya vivimos en sociedades profundamente desiguales; no permitamos que esas asimetrías se extiendan hacia nuevas esferas de la sociabilidad. Como proclama el Manifiesto Descolonial de la IA (2021): “Al insistir en una IA descolonial, defendemos el derecho de las comunidades históricamente marginalizadas a modelar la realidad en sus propios términos” (Krishnan et. al., 2021).
Los algoritmos no son neutrales, nos captan, nos reproducen y pueden institucionalizar formas de exclusión silenciosa. Desde la vigilancia selectiva y la denegación de servicios, hasta la invisibilización de quienes carecen de conexión; los peligros de una algoritmicidad mal diseñada son reales y urgentes. Así, la respuesta a la pregunta depende de nuestras decisiones colectivas. No se trata de rechazar la tecnología, sino de disputarla: democratizar el acceso a la conectividad, fortalecer la soberanía de los datos, exigir transparencia en los sistemas algorítmicos y construir marcos regulatorios desde las periferias son pasos indispensables para evitar que la inteligencia artificial sea simplemente una nueva forma de colonialismo digital. Si el futuro será algorítmico, entonces debemos garantizar que también sea inclusivo, ético y verdaderamente justo.
