Pero lo más sorprendente de dicha investigación fue que entre dichos factores se encontraban algunos como la edad, el género o la condición de fumador que los propios médicos no creían que fueran detectables a través de esa clase de imágenes.

Eric Topol, un famoso investigador médico estadounidense (que además ha escrito varios libros sobre la influencia de la revolución tecnológica en la atención sanitaria) llamaba hace unos días la atención en Twitter sobre el detalle más sorprendente de esta investigación:
    "Si un oculista echara un vistazo a la foto de una retina, la probabilidad de que vaticinara correctamente el género sería del 50%, pero el uso del "deep learning" tuvo un éxito del 97%. Y no tenemos ni idea de qué características están "viendo" las máquinas para que esto sea posible".
Esta chocante afirmación generó un interesantísimo debate en Twitter acerca de las posibilidades, límites y misterios de la Inteligencia artificial.
Algunos, escépticos, negaban las conclusiones del estudio o ponían en duda su metodología, pero Topol recordaba que el experimento había sido replicado, y que el algoritmo había sido puesto a prueba con otro conjunto de datos durante el proceso de revisión, con idéntica proporción de éxito.

"Una vez que una red neuronal ha aprendido una habilidad de este tipo, ¿es posible para un humano resolver exactamente cómo lo hizo? ¿O es demasiado complejo [para nosotros]?", pregunta un usuario. Otro se plantea si no sería "importante que enseñemos a los sistemas de deep learning a "mostrar su funcionamiento" para que la metodología pueda entenderse mejor".
Topol responde a eso que "deconstruir las "cajas negras" de los algoritmos" es una tarea pendiente en la que se han cosechado algunos éxitos, pero que éste no es uno de ellos ("todavía").
La teoría de la caja negra se resume en la sospecha de que, a medida que los algoritmos de machine learning se hacen más y más sofisticados, las probabilidades de que un humano (incluso aquellos que los han programado) pueda llegar a entender sus decisiones se hace más y más remota.
Así, se plantea que llegaríamos a un punto en que sólo podemos valorar los resultados por su calidad, sin saber cómo se ha llegado a ellos.
Ciertamente, el aprendizaje profundo recibe a menudo críticas por ser poco transparente, una cualidad que ha obstaculizado la adopción de esta tecnología en ámbitos como el legal y el médico, pues nos enfrentaríamos a una preocupante dilución de la responsabilidad en campos que son, literalmente, "de vida o muerte".
Recordemos que, recientemente, O"Reilly propuso un conjunto de cuatro reglas para lograr saber si podíamos o no fiarnos de un algoritmo.
La IA no sabía que era imposible, ¡así que lo hizo!
Pero no todo el debate se limitó a intentar comprender cómo la IA había llegado a esa conclusión, sino que suscitó también especulaciones sobre por qué los seres humanos no habían llegado a plantearse que la retina pudiera estar "sexualizada".
    "Esto es bastante sorprendente: ¡existe una estructura subyacente que los humanos no ven". "Quizá nos ciegan tanto los sesgos derivados de nuestra evolución que sencillamente somos incapaces de escudriñar la verdad tan eficientemente como estos sistemas [de IA]. "Para ser justos, nunca hemos pensado en buscar diferencias de género en las retinas [...] pero de todos modos me fascina que esto sea posible".
Atul Butte, emprendedor y director del Instituto de Ciencias Computacionales de la Salud de la Universidad de California resume así la cuestión: "Probablemente, varios errores humanos se basan en nuestra errónea creencia de que "no deberían existir diferencias en eso", pero la inteligencia artificial no parte de una idea preconcebida que le impida intentarlo".