Transcripción

00:13  Cristina Gil-Casares. Letrada del Consejo de Estado. Muy buenas tardes a todos. Bienvenidos a este segundo ‘Encuentros en el Consejo de Estado’, que esta tarde estará en la Inteligencia Artificial (IA). Soy Cristina Gil-Casares y junto a mi compañero, Jesús Avezuela, los acompañaremos esta tarde en la moderación del debate en el que abordaremos las principales oportunidades que brinda la IA, pero también los principales retos éticos y jurídicos que su uso plantea.

Para ello, tenemos el gran honor y la suerte de contar con un panel de lujo.

En primer lugar, Nuria Oliver, es Chief Data Scientist en Data-Pop Alliance, cofundadora y vicepresidenta de ELLIS (Laboratorio Europeo para Aprendizaje y Sistemas Inteligentes). Nuria es ingeniera de Telecomunicaciones por la Universidad Politécnica de Madrid y doctora en Inteligencia Artificial por el prestigioso MIT, el Instituto Tecnológico de Massachusetts. En sus más de 25 años de experiencia en investigación ha sido, entre otras muchas cosas, investigadora en Microsoft Research, la primera mujer directora científica en Telefónica I+D y la primera directora de investigación en Data Science en Vodafone a nivel global. Su trabajo en modelos computacionales de comportamiento humano, Inteligencia Artificial, ​interacción persona-máquina, informática móvil​ y big data para el bien social, es de sobra conocido. Nuria tiene más de 160 publicaciones, con decenas de nominaciones y premios. Es además coinventora de 40 patentes registradas y ponente habitual en conferencias internacionales. Actualmente, es Comisionada de la Presidencia de la Generalitat Valenciana en Inteligencia Artificial y Ciencias de Datos en la lucha contra la COVID-19. Bienvenida Nuria.

Antonio Bahamonde es doctor en Matemáticas por la Universidad de Santiago de Compostela, es catedrático del área de Ciencias de la Computación e Inteligencia Artificial y además director del Centro IA en la Universidad de Oviedo. Desde hace más de dos décadas se ha dedicado a investigar en el campo del aprendizaje automático y ha desarrollado modelos que ya se aplican en la ganadería, en el sector sanitario o en la alimentación, entre otros. Ha sido presidente de la Asociación Española para la Inteligencia Artificial (AEPIA) y también de la Sociedad Científica Española de Informática (SCIE) y ha recibido múltiples reconocimientos a su trabajo, entre los que destaca el Premio Nacional de Informática de este año 2021. Bienvenido Antonio.

Mario Hernández es doctor en Derecho por la Universidad de Salamanca y profesor de Derecho constitucional de la Universidad Complutense de Madrid. Sus trabajos de investigación se han centrado en la protección de los Derechos Fundamentales en el entorno del Big Data. Actualmente encabeza la delegación española ante el Comité Ad Hoc de Inteligencia Artificial (CAHAI) del Consejo de Europa. Mario, bienvenido.

Francisco Herrera, es doctor en matemáticas por la Universidad de Granada y catedrático en Ciencias de la Computación e Inteligencia Artificial en esa misma universidad. Dirige el Instituto Interuniversitario Andaluz en Data Science and Computational Intelligence (DaSCI) y desde 2020 es miembro del Consejo Asesor de Inteligencia Artificial del Gobierno de España. Sus trabajos de investigación en el ámbito de las técnicas de Soft Computing, en especial algoritmos genéticos y lógica difusa, le han valido numerosos reconocimientos, entre los que destaca el Premio Nacional de Informática 2010. Bienvenido profesor.

Por último, Jesús Avezuela. Es Letrado del Consejo de Estado, licenciado en Derecho por la Universidad de Valencia y Doctor en Derecho por la Universidad Rey Juan Carlos (en colaboración con la Universidad Georgetown). En los últimos años viene trabajando en la Fundación Pablo VI en diversos temas formativos y de investigación sobre Inteligencia Artificial y ha coordinado el seminario internacional Huella Digital ¿Servidumbre o servicio? Es también secretario de la Asociación OdiseIA, sobre ética en el uso de la IA, donde coincide con una de nuestras invitadas, con Nuria Oliver. Buenas tardes, Jesús.

A continuación, antes de comenzar el debate, la presidenta del Consejo de Estado, doña María Teresa Fernández de la Vega, dirigirá unas palabras de bienvenida para inaugurar este segundo Encuentro en el Consejo de Estado.

Presidenta, cuando quieras.

05:36 María Teresa Fernández de la Vega. Presidenta del Consejo de Estado. Buenas tardes. Muchas gracias, Cristina, buenas tardes a todos. Es un verdadero placer para mí abrir este segundo encuentro en el Consejo de Estado sobre un tema apasionante, la Inteligencia Artificial. Con estos encuentros queremos acoger en el Consejo de Estado conversaciones importantes sobre cuestiones que suscitan el interés general y que no están exentas de interés jurídico. Creemos que es importante propiciar intercambio de ideas sobre asuntos diversos, pero cuidadosamente escogidos y lo es sin duda el tema sobre el que hablaremos hoy.

Quiero en primer lugar expresar mi agradecimiento a los cuatro invitados de lujo que nos acompañan: Antonio Bahamonde, a Mario Hernández, a Francisco Herrera y a Nuria Oliver. Todos tienen una trayectoria no brillante, súper brillante, y han analizado las oportunidades y los desafíos que plantea la inteligencia artificial desde distintas perspectivas.

La verdad es que será imposible abordar en esta hora y media que tenemos por delante todas las cuestiones que se plantean en relación con la inteligencia artificial, aunque el rico perfil de los invitados nos va a permitir abordar sin duda alguna muchas de ellas.

La inteligencia artificial tiene implicaciones jurídicas y un impacto en el Estado de Derecho. Pero, lo cual es muy importante, pero las reflexiones en torno a este tema, cuyo desarrollo constituye, a mi juicio, una de las grandes revoluciones del siglo XXI, van mucho más allá y se adentra sin duda alguna en la propia definición de ser humano a medida que se va desarrollando la conexión hombre máquina.

Es evidente que hay que regular los usos de la tecnología para conjurar los riesgos. Pero hemos querido también dejar claro que queremos abordar este tema con una actitud positiva, abierta a la reflexión y al debate y curiosa. Y por eso hemos resaltado que, junto a los riesgos, existen sobre todo oportunidades.

Yo creo que la entenderemos que la inteligencia artificial es una herramienta poderosísima y debemos garantizar que se utiliza además para mejorar nuestras vidas y crear un futuro donde quepamos todas y todos.

No quiero, ya hechas estas consideraciones generales, robar ni un segundo más a una conversación que estoy segura va a ser apasionante y que nos dejará con ganas de más. Cedo en este momento el testigo a nuestro letrado para que conduzca la primera parte de este encuentro. Adelante Cristina.

08:27 Cristina Gil-Casares. Muchísimas gracias presidenta. Comenzamos ahora el debate de la mano de Jesús a Venezuela y de todos nuestros ponentes. Yo le cedo ahora la palabra a Jesús, pero quería animar a todos los asistentes a que utilicen la herramienta del chat para formular cualquier pregunta o comentario que tengan para el coloquio que se celebrará al final del acto. Sin más, te doy la palabra Jesús, para que comience el debate.

08:53 Jesús Avezuela. Letrada del consejo de Estado. Muchísimas gracias, Cristina, y muchas gracias, presidenta.

En efecto, como ha señalado mi compañera Cristina Gil-Casares, hoy abordamos aquí en el Consejo de Estado la cuestión de la inteligencia artificial. Es para muchos, uno de los retos éticos y jurídicos más apasionantes y a la vez quizás de los más complejos a los que se enfrenta el ser humano en la actualidad. Y ello porque la inteligencia artificial, aunque abre un mundo de oportunidades, también es una manifestación de enormes e inquietantes riesgos.

Decía el norteamericano, sociólogo entre otras muchas cosas, Jeremy Rifkin, a finales de los ’90, que la revolución tecnológica influye en todos los ámbitos de nuestros vidas: qué comemos; con quién salimos y nos acabamos casando, algoritmos nos terminan uniendo; cómo criamos y educamos a nuestros hijos; qué compramos y en qué trabajamos; cómo participamos políticamente; qué modelos económicos queremos para nuestras sociedades; cómo nos expresamos; cómo percibimos el mundo que nos rodea y el lugar que ocupamos en él.

Y con todo esto, seguro que los invitados deben preguntarse por qué el Consejo de Estado quiere abordar esta cuestión. Pues quiere hacerlo porque la inteligencia artificial, en cuanto diseño y desarrollo de tecnologías capaces de emular la inteligencia natural, la inteligencia humana, y sus múltiples aplicaciones en el campo de la empresa y el consumo, de la sanidad, de los de la seguridad, de la movilidad humana, entre otros muchos que, cómo no, regula el Derecho, abre la puerta a numerosos desafíos, a numerosas inquietudes de carácter ético, social y cultural. Y cómo no, y por ello estamos abordando el tema en el Consejo Estado, porque también nos presenta enormes desafíos, dudas, e inquietudes de orden regulatorio.

Por eso esta tarde tenemos el placer de contar con los mejores invitados posibles para aprender un poco más de todo esto y de nuevo, ya lo ha hecho Cristina y también la presidenta, yo también quisiera daros las gracias, Nuria Oliver, Francisco Herrera, Mario Hernández, Antonio Bahamonde.

Me gustaría comenzar con una primera ronda en la que podamos contextualizar y entender algo más qué es la inteligencia artificial. Si me lo permitís, os voy a tutear para hacer el diálogo más dinámico y, sobre todo, un poco más cercano, aunque la cercanía sea sólo en términos digitales. Nos gustaría estar mucho más cerca, en un escenario físico, pero, de momento, esto no es posible.

Empezamos, como os decía, por contextualizar un poco la inteligencia artificial. El origen de la cibernética surge ya a principios del siglo XX. La inteligencia artificial comunidad científica se dice, vosotros sabéis de esto mucho más, que tiene aproximadamente 60 años. Parece que es algo que no es nuevo, pero, empezando por ti Nuria, ¿por qué ahora se habla más que nunca de la inteligencia artificial? ¿Qué es en verdad la inteligencia artificial? ¿Cómo la podemos definir?

12:15 Nuria Oliver. Gracias, gracias por la pregunta y, sobre todo, gracias por esta la invitación a participar en esta sesión y por la propia organización de la sesión, que creo que es tan importante como quizás urgente, ¿no? el hablar de estos temas en el contexto del contexto jurídico o legal.

La inteligencia artificial como muy bien dices es una disciplina dentro de la informática o de la ingeniería, formalmente existe desde los años ‘50, y cuyo objetivo es el desarrollo de sistemas computacionales, sistemas no biológicos, que sean inteligentes, tomando como referencia la inteligencia humana. De manera que la primera observación es la siguiente: dado que las referencias a inteligencia humana para poder crear inteligencia artificial en principio, según esta definición tendríamos que entender y caracterizar la inteligencia humana. Lo cual en sí mismo es muy difícil y realmente no somos capaces de hacerlo en su totalidad.

Sabemos que los seres humanos tenemos muchas habilidades: podemos percibir nuestro entorno, reconocer lo que estamos percibiendo y reaccionar en consecuencia. Podemos resolver problemas, planificar, aprendemos constantemente, nos adaptamos, si no nos adaptamos podemos extinguirnos como especie, tenemos múltiples inteligencias, inteligencia emocional, pensamiento crítico, creatividad musical, etc.

Y de la misma manera, hay muchas ramas de conocimiento dentro de la inteligencia artificial que intentan replicar algunas de estas habilidades humanas. Por ejemplo, la disciplina que intenta replicar la capacidad que tenemos para ver y reconocer lo que estamos viendo, sería la visión por ordenador, donde entra pues todo el procesamiento de imágenes y todo el procesamiento de videos. La rama dentro de la inteligencia artificial que intenta replicar la capacidad que tenemos los humanos para hablar y comunicarnos, pues sería el reconocimiento del habla, el procesamiento del lenguaje natural y ahora también la traducción simultánea, que permite incluso comunicarse en lenguajes distintos, etc., etc.

Desde el punto de vista histórico, ha habido dos grandes escuelas o filosofías para conseguir inteligencia artificial. Es importante entenderlo para poder explicar por qué ahora, si la disciplina existe desde los años 50, por qué ahora está en el corazón de la cuarta revolución industrial. La primera escuela, es la escuela que se conoce como simbólico-lógica o escuela top down y es una escuela que parte de la siguiente observación: los seres humanos tenemos mucho conocimiento. Si queremos conseguir tener sistemas artificiales inteligentes, podríamos programar todo ese conocimiento que tenemos utilizando símbolos y luego derivar conocimiento nuevo, a partir de ese conocimiento base utilizando reglas de lógica y otro tipo de reglas para conseguir inteligencia artificial. El ejemplo canónico de este acercamiento serían los sistemas expertos de los que seguramente habéis oído hablar, que fueron de hecho la primera comercialización exitosa de la inteligencia artificial desde mediados de los 70 hasta los 90.

La segunda escuela que es la escuela conexionista parte de una observación distinta. Si miramos los seres biológicos inteligentes vemos que aprenden a partir de la experiencia, aprenden a partir de sus interacciones con el entorno en el que se encuentra, aprenden a partir de datos. De manera que si queremos conseguir construir sistemas inteligentes computacionales tenemos que inventar algoritmos que aprenden a partir de datos, de manera similar a como hacen los seres biológicos. El ejemplo canónico de esta escuela serían las redes neuronales que existen desde los años ‘40 y que ahora están en el corazón de la mayoría de los sistemas de inteligencia artificial.

Aunque históricamente estas dos escuelas han tenido un cierto enfrentamiento por la divergencia sus acercamientos, en realidad los sistemas comerciales de hoy en día, cualquier sistema práctico de inteligencia artificial, debe combinar tanto el componente de aprendizaje a partir de datos como un componente top down simbólico-lógico de conocimiento de las características específicas del contexto y del problema que se intenta abordar.

¿Qué ha sucedido en los últimos 15 años? Pues que se ha producido la confluencia de tres factores que han impulsado un crecimiento exponencial en las técnicas de aprendizaje automático, en las técnicas de inteligencia artificial basadas en el aprendizaje a partir de datos. ¿Y cuáles son estos tres factores?

Pues, en primer lugar, la disponibilidad de grandes cantidades de datos, lo que se conoce como big data. Datos que son el resultado, primero, de la ubicuidad de la tecnología no y de lo que se conoce como la huella digital, nueva generación de grandes cantidades de datos digitales como fruto de todas nuestras interacciones en el mundo digital, pero también fruto de la digitalización que se está produciendo en el mundo físico donde, utilizando todo tipo de sensores, incluyendo nuestros móviles, con la localización y otro tipo de sensores, pues estamos constantemente captando datos también del mundo físico. Estos datos se llaman datos no estructurados porque son textos de imágenes, videos, fotos, datos de sensores, datos que solamente por su volumen, pero también por sus características, por su variedad, por la velocidad con la que son generados, sólo podemos interpretar y entender aplicando estas técnicas de aprendizaje a partir de datos. Entonces tenemos grandes cantidades de datos.

El segundo factor es la disponibilidad de grandes capacidades de computación a bajo coste y el tercer factor es el desarrollo de modelos de aprendizaje muy sofisticados y muy complejos inspirados en las redes neuronales de los años 40 y 50, pero muchísimo más complejos, que se conocen como modelos de aprendizaje profundo o redes neuronales profundas.

18:16 Jesús Avezuela. Luego seguimos, perdona que te haya interrumpido Nuria.

Para seguir con la contextualización, Francisco, desde tu perspectiva, ¿a qué llamamos exactamente inteligencia artificial? ¿Es la robótica, el aprendizaje de las máquinas, el machine learning, los algoritmos, Internet, ¿ciber economía? ¿Cuáles son las tecnologías disruptivas de la inteligencia dentro de este encuadre que nos ha hecho Nuria? ¿Cuál es el verdadero alcance de la Inteligencia Artificial?

18:43 Francisco Herrera. Buenas tardes, me sumo al agradecimiento de Nuria por la jornada. De este encuadre que ha hecho Nuria, todo sistema de software, artefacto físico que realiza actuaciones que podemos etiquetar como comportamiento inteligente si las realiza un humano, estaríamos dentro de la inteligencia artificial. Es, por tanto, muy amplio. Hablamos de un soporte físico, la robótica actual, mucha de ella está asociada a la inteligencia artificial, con algoritmos inteligentes para el comportamiento. Igualmente, todo aquel software que realiza actuaciones que etiquetamos como inteligentes.

Actualmente, la mayoría de los modelos son modelos que parten de los datos, como ha comentado Nuria. Estamos en la era del big data, grandes volúmenes de datos, modelos que, a partir, de los datos, aprenden en comportamiento y toman actuaciones. Todas aquellas herramientas que permiten extraer conocimiento oculto en los datos para tomar decisiones están en el ámbito de la inteligencia artificial. La predicción actualmente que se hace es que los chavales que van a entrar al colegio ahora mismo, entre el 50% y el 65% de ellos van a trabajar en profesiones actualmente inexistentes consecuencia de que se va a automatizar gran parte de las tareas de los trabajos actuales.

Estudios recientes, citados por ejemplo en el Foro Económico Mundial de Davos, consideran que, entre cinco y diez años, el 50% de las tareas actuales pueden ser automatizada, porque tenemos esta grande nube de datos y somo capaces de aprender y tener máquinas para tratar este conjunto de datos. Así que la inteligencia artificial es todo el conjunto de sistemas que pueden registrar tareas que hacemos los humanos y que, actualmente, en un corto periodo de tiempo, podemos estar hablando de un conjunto muy amplio de actuaciones que puede llegar hasta la mitad de actuaciones.

Tenemos los coches sin conductor; en el ámbito de los juegos tenemos gran paradigma del ajedrez o todos los juegos bipersonales donde la máquina ya compite con el ser humano, y en el día a día, muchas tareas ya están automatizadas. Si pensamos en la agricultura, hay sistemas inteligentes que aprenden a analizar el estado hídrico de la planta; un sistema con un banco analiza los datos de un usuario cuando va a pedir un crédito y le da automáticamente una ratio de crédito para poder decidir si le da el crédito, etc.

Actualmente, podemos ver en un coche pues desde el limpiar el parabrisas de forma automática activándose cuando está lloviendo, hasta un sistema que nos analiza la vista y está comprobando si estamos parpadeando de forma anómala y necesitamos dormir.

Actualmente hay un montón de artefactos de sistema inteligente que nos están acompañando en el día a día en el ámbito médico: herramientas de análisis de cualquier imagen médica, análisis, electrocardiograma, etc. Sí, vivimos rodeados de sistemas inteligentes, aunque a veces no somos conscientes de esta vida paralela que tenemos de sistemas inteligentes.

22:25 Jesús Avezuela. Y, Antonio, relacionado con Francisco, y también Nuria ha hecho referencia al tema de las réplicas, ¿podemos hablar verdaderamente posible de una réplica de capacidades cognitivas humanas por las máquinas? Parece demostrado que podemos replicar capacidades matemáticas, como con la calculadora, pero ¿podemos hacerlo con otras capacidades como por ejemplo replicar emociones como la empatía, la creatividad?

22:57 Antonio Bahamonde Sí, muchas gracias por la invitación, para mí es un honor estar aquí. A ver, cuando se habla de inteligencia artificial se habla precisamente de intentar replicar aspectos que en las personas consideramos inteligentes. Todos los aspectos de la inteligencia, la inteligencia emocional también es una forma de inteligencia, están tratando de ser replicados. Lo que sucede es que, en este momento, seguramente, se puede hablar de inteligencias específicas y no de inteligencias generales. Hay sistemas que son capaces de suplantar a personas en determinadas actitudes inteligentes, pero no en otras. Por ejemplo, lo que decía Paco sobre el ajedrez. Existe un sistema que sea capaz de jugar muy bien al ajedrez, mejor que yo sin duda, pero que no es capaz de traducir. Tenemos que usar otro programa que es capaz de traducir del español al chino mandarín. Existen inteligencias específicas, pero no inteligencias generales. No hay algo que pueda suplantar al ser humano en todos los aspectos.

Se suele mencionar el tema de la creatividad. Yo en clase, les suelo decir a mis alumnos que es cierto que los ordenadores tienen muchas dificultades para crear, para emular, por ejemplo, recreaciones de Shakespeare o de Mozart. Lo que sucede es que el género humano también tiene muchas dificultades para hacer eso.

El primer programa que se puede llamar como tal, programa informático, o uno de los primeros, fue de Allan Turing, cuando estaba intentando desentrañar los entresijos de la máquina alemana ‘Enigma’, usó un ordenador muy primario que tenía para simular un programa capaz de escribir cartas de amor. ¿Cómo lo hacía? Pues era capaz de generar una lista de números aleatorios, a cada número aleatorio darle una lista de frases. A partir de ello, componía un texto que simulaba una carta de amor. No voy a entrar en si el amor es aleatorio o no. Pero sí que vale la pena reflexionar sobre que la creatividad y la aleatoriedad están íntimamente relacionadas. Tenemos una creatividad que no es exclusivamente aleatoria, sino que va dirigida hacia unos objetivos y que las máquinas son capaces de hacer eso, no funcionan de forma autónoma sin más. Entonces, sí son capaces los sistemas informáticos de reproducir determinadas actitudes inteligentes y de servirnos de prótesis inteligentes para alguna de estas actividades, incluyendo la empatía.

22:59 Jesús Avezuela Muchas gracias. Mario, escuchando a tus compañeros de panel, lo que podemos concluir es que la inteligencia está revolucionando nuestras conductas y comportamientos. El reconocimiento de caras, el sistema de traducción automática…Estamos muy cerca de ir todos con un pinganillo y de entender y ser entendidos en cualquier idioma. La geolocalización, los recomendadores, los buscadores, los sistemas diagnósticos, también los sistemas de medición preventiva, en los empleos. Yo te preguntaría entonces, ¿estamos sobrevalorando la inteligencia artificial o cierta sobre expectación o por el contrario no somos conscientes todavía siquiera de la enorme potencialidad y de lo que nos va a cambiar al ser humano?

27:02 Mario Hernández. Bueno, muchas gracias primero por la invitación. Yo la verdad es que creo sinceramente que para contestar esta pregunta debemos distinguir entre los dos tipos de inteligencia artificial que dijo Antonio, entre una inteligencia general y otros programas que sean más específicos. Todo el mundo tiene pensado, cuando hablamos de inteligencia artificial, en esos sistemas que son como Terminator: un asistente que puede replicar todas capacidades humanas. Y ahí sí que hay una sobre expectación, por supuesto.

Los expertos me podrán contradecir o no, pero estamos muy lejos de conseguir eso. Pero, ahí sí que hay sobre expectación. Pero en cuanto a sistemas de aplicación concreta, creo que incluso hay desconocimiento de lo muchísimo que se está aplicando actualmente. Por ejemplo, en transacciones comerciales, en la Bolsa, en los sistemas financieros… Gran parte de las de las transferencias financieras y operaciones bursátiles se hacen ya por algoritmos. Por tanto, yo creo que sí que hay una expectación injustificada pero no hemos empezado a ver el potencial que tiene esta tecnología y sus aplicaciones.

Tampoco creo que estemos muy al tanto de las consecuencias que va a tener ni siquiera la aplicación incipiente que pueden tener estas tecnologías, nos sólo ya las se están conociendo. Por ejemplo, el otro día vi en las noticias que nadie quiere ser camionero. Es una actividad muy dura, muy sacrificada, de estar lejos de casa. Pero ya existen software de conducción autónoma, aunque es complicado ponerlos en marcha por las implicaciones legales, pero pueden transformar todo el sistema logístico mundial, por carreteras, ferroviario e incluso el aéreo. Esto va a implicar un terremoto laboral. Por supuesto, todas las personas que se queden en el paro necesitarán seguros sociales, coberturas distintas. Por supuesto, los currículums educativos, para que sean currículos trasversales, para que permitan reciclarse y poder readaptar su formación a algún empleo, como decía Paco, que todavía no existe… Entonces, de lo que creo que todavía no somos verdaderamente conscientes es del cambio de paradigma que va a suponer a todos los niveles esta tecnología.

29:35 Jesús Avezuela. Muchas gracias, Mario. Sobre si la IA es cosa solo de tecnólogos o de científicos y de nadie más nos lo hemos preguntado preparando este webinar. Nuria, directamente, qué opinión tienes al respecto: ¿quién debe regular la inteligencia artificial?

29:56 Nuria Oliver. Bueno, llevo toda la vida trabajando en equipos multidisciplinares y creo que es absolutamente necesario que haya esa multidisciplinariedad en la inteligencia artificial porque es una disciplina transversal. Como hemos estado hablando durante toda esta sesión, tiene implicaciones directas en todos los ámbitos prácticamente de la sociedad y por ello es necesario que estén involucradas personas de perfiles diversos, de todos los ámbitos. Por lo cual creo que es fundamental que exista una colaboración estrecha entre ingenieros, científicos, programadores, expertos en ética, expertos juristas, expertos en aspectos legales, antropólogos, psicólogos… Dependiendo del área de aplicación, eso es fundamental, es absolutamente necesario.

Y con respecto a la regulación, pues igualmente, la regulación tiene que ser una regulación inteligente, tiene que ser una regulación que demuestre un gran un conocimiento profundo de lo que estamos hablando y creo que ello conlleva evidentemente la implicación expertos y expertas multidisciplinares en todos los ámbitos a los que afecte esta regulación.

31:21 Jesús Avezuela. Gracias Nuria. Y desde el punto de vista regulatorio, decías que también es importante que la regulación sea inteligente. Mario, tú que tienes esa percepción más jurídica, ¿cómo podemos contribuir desde el derecho configurar una buena regulación de la inteligencia artificial? A pesar de no ser tecnólogos. ¿Es necesario un mayor entendimiento como dice Nuria? ¿Deberíamos promocionar un espacio de encuentro entre ambas figuras, el tecnólogo y el regulador? ¿O quizás ya los hay?

32:00 Mario Hernández. Más que necesario, es que creo que es imprescindible. Son las dos caras de la misma moneda: no se puede escribir un algoritmo para tomar una decisión, imagínate sobre conducción autónoma, sin tener en cuenta las implicaciones éticas que puede tener a la hora de si atropello a una persona o atropello a otra o me salgo un carril y puedo ocasionar daños. Es algo absolutamente imprescindible. Eso ahora da lugar a que carreras que estaban un poco desahuciadas hasta el momento, como son Filosofía y Letras, Humanidades… se empiecen a demandar mucho. Porque son conocimientos que son muy difíciles de replicar y que son necesarios incorporar todos los códigos éticos, todas esas cuestiones filosóficas al redactar los algoritmos.

¿Hay espacios de entendimiento? Por supuesto, sí que hay espacio entendimiento, aunque creo que todavía es muy necesario fomentar esta esta necesidad. Nosotros, la delegación que fuimos al CAHAI, el Comité Ad Hoc Consejo de Europa, fuimos Miguel Camacho, que es un matemático y yo, pues él era la parte técnica y yo la parte jurídica y creo que ahí hicimos un buen tándem porque entendíamos que el uno sin el otro, una disciplina, no íbamos a ningún sitio. Creo que en los encuentros internacionales regulatorios faltan muchos técnicos y lo que hace falta es encontrar un lenguaje común porque a veces podemos estar en la misma sala en entender no son disciplinas tan diferentes que a veces no nos entendemos. A veces a mí me puede hablar Nuria muchas veces de ciertas cuestiones algorítmicos y quedarme a cuadros y lo mismo me ha pasado a mí con algunos ingenieros cuando intento explicarles la legitimidad democrática de ciertas decisiones o porque tiene que haber límites a ciertas decisiones, me tachan de retrógrado o de que lo que quiero es poner límites a la innovación tecnológica. Creo que falta un poquito de madurez.

34:15 Jesús Avezuela. Francisco, teniendo cuenta que la inteligencia artificial, como habéis dicho antes, se basa en la potencialidad de los datos, ¿no os parece que hay un enorme campo en el uso de la inteligencia artificial para el diseño de políticas en la gestión – por parte de la administración- de servicios públicos, en educación, en sanidad, en cultura, en transporte, en obras públicas, en contrataciones administrativas, donde quizás la inteligencia artificial tenga un uso enorme. ¿Qué opinión tienes sobre ese diseño de políticas?

35:10 Francisco Herrera. Sí, yo creo que la administración pública es un campo por crecer. Sí tenemos algunos sectores donde el uso de la inteligencia artificial ha sido tradicional, como el ámbito médico. Es el área en la que más se han desarrollado los sistemas inteligentes: imágenes para detectar muchas de las enfermedades actuales. La capacidad que tiene el algoritmo para detectar según qué pasa por encima de la capacidad humana. Hay ámbitos como la educación, donde igualmente está avanzada en cuestiones como la toma de decisiones o la educación personalizada.

Hay otro ámbito de la administración pública que realmente está por desarrollar, el ámbito de la Justicia y particularmente, el ámbito de la administración local. Yo, actualmente, soy concejal en el gobierno de Ayuntamiento de Granada, que compaginó con mi tarea académica, y entre otras áreas, en la mía, Innovación y Ciudad Inteligente, que está asociada al conjunto de servicios que podemos prestar desde un Ayuntamiento hacia la ciudadanía. El concepto de ciudad inteligente está hablando de ese uso de la inteligencia artificial, que a partir de los datos que la Administración puede ir acumulando y disponiendo, y permita crear herramientas para el servicio a los ciudadanos y también la toma de decisiones. Se habla mucho de ciudad inteligente, pero yo creo que todavía estamos en los albores.

Todos los ayuntamientos estamos tratando de disponer de una plataforma de datos, estamos trabajando en el almacenamiento de datos, en el ámbito de medio ambiente, en energía, tenemos un plan de energía de emisiones 0 para el 2050, en movilidad…; todos estamos trabajando en tener una gran plataforma de datos, almacenar datos, como paso previo, para llegar a utilizar la inteligencia artificial y sistemas inteligentes que nos permitan optimizar el uso real y diseñar modelos y optimizar el uso de la Administración pública.

Creo que es el gran reto que tenemos actualmente, justamente, introducir la inteligencia artificial que lloran Administración local, pero obviamente también, local, autonómica o nacional. En todos los ámbitos es un gran reto, ¿dónde está ahora mismo el cuello de botella? En los datos, disponer de datos, almacenar datos, datos que no tenga sesgos y datos que nos permitan crear modelos, para ofrecer mayores y mejores servicios a los ciudadanos.

37:42 Nuria Oliver. Si me permites, por compartir un ejemplo, porque es justamente de esta temática. Es el ejemplo de la comunidad valenciana, donde desde marzo del 2020, un equipo multidisciplinar, de más de 25 investigadores e investigadoras del sistema Valenciano investigador, hemos estado trabajando, mano a mano, con Presidencia de la Generalitat, en el uso de los datos y la inteligencia artificial para el apoyo a la toma de decisiones públicas en el contexto de la pandemia. Y es un esfuerzo que ha recibido muchísima visibilidad internacional, incluyendo un artículo muy largo en Wyer, hemos sido los ganadores mundiales de un reto de Exprays para predecir la pandemia en todo el planeta, en fin, hemos tenido un gran impacto mundial y es algo que hemos hecho desde aquí, y es un ejemplo del uso de la inteligencia artificial para el apoyo de las políticas públicas.

Y para completar lo que ha comentado Paco, en lo que estoy de acuerdo en todo, es que creo que uno de los retos más grandes de las Administraciones públicas, más allá de los datos, es el cambio cultural y el perfil humano. No existe el título de científico o científica de datos en la Administración pública, no hay oposiciones para eso. Se necesita un cambio profundo, ambicioso, y -yo diría que- urgente, en la cultura de las Administraciones públicas y en los perfiles de las personas que trabajan, para realmente conseguir que estos proyectos -que muchas de ellos son pilotos- se operacionalicen y formen parte del día a día. Yo creo, que ese es uno de los retos más grandes, porque requiere una inversión muy ambiciosa y – quizás también- requiere – y vosotros sois los expertos- cambios en la legislación. para que sea posible crear este tipo de perfiles en el contexto de las Administraciones.

39:55 Francisco Herrera. Si me permites, ahondando en lo que dice Nuria, que es cierto. Yo, lo que me he encontrado actualmente, y hablo del ejemplo de la ciudad de Granada, pero cualquier otra ciudad es igual, es que hay equipos de informática muy profesionales en los ámbitos que podemos etiquetar de informática clásica, en el centro de almacenamiento de datos; pero es verdad, que yo estoy intentando reformar un equipo en el ámbito de la ciudad inteligente, y tendré que formar al personal, pero no existe esa figura en la Administración pública, en ninguno de los ámbitos de la Administración pública (local, regional y nacional), y necesitaremos, que a la mayor brevedad, haya plazas, tanto de responsables de datos y de científicos de inteligencia artificial, que, junto con los expertos, , puedan unos – plantear el objetivo en el área- , y otros, -diseñar la estrategia y los modelos-, para abordar con éxito los problemas que se planteen.

40:52  Jesús Avezuela. Gracias Paco, nos interesa bastante como Administración Pública, esta cuestión de los equipos, que tanto Nuria como como tú estabais comentando.

En España, Antonio, tenemos una Secretaría de Estado de digitalización e inteligencia oficial, que ha presentado la Agenda 2030, tenemos una estrategia nacional de inteligencia artificial, hay una carta de derechos digitales, pero quizás esto que estoy diciendo, ¿Está la Administración pública carente de perfiles tecnológicos, o, perfiles más multidisciplinares? ¿Consideras, Antonio, oportuno la creación, eso que se denominan en los países anglosajones, de pasarelas, un tránsito más ágil entre el sector privado y el público, con el fin de integrar perfiles tecnológicos encargados, aunque fuera temporalmente, para el diseño de este tipo de políticas públicas a las que hacía Paco referencia? ¿Es adecuada la formación? ¿Cómo ves todos los equipos dentro de la administración?

42:10 Antonio Bahamonde. Yo tengo un punto de vista, quizás, muy diferente. Yo creo que existe, que es un problema técnico, pero existen en la sociedad española otros problemas de esta índole, la cirugía Cardiovascular es un problema realmente complejo, y que a todos nos importa; la física nuclear también; pero eso no significa que necesariamente tenga que haber en plantilla de los funcionarios un Cuerpo dedicado a ese tipo de cosas, aunque es verdad que las Universidades y en el Consejo existen técnicos o científicos de estas materias. Yo no lo sé, realmente. Lo que sí creo, es que debe haber una penetración transversal de la informática en general, no sólo de la inteligencia artificial. Yo creo que es urgente que haya una alfabetización digital para toda la población, porque la informática está inundando todo nuestro mundo. Y eso necesita que haya una penetración desde los primeros pasos, que a todos nos parezca natural tratar con la informática. Esto sería importante, porque nos prepararía para tener unas herramientas para optar a puestos de trabajo, que en estos momentos existen o no existen, pero van a existir, y sin duda, van a tener una componente importante.

Otra cualidad importante es, que, por ejemplo, sería interesante tener ese tipo de formación transversal desde el principio de la educación, porque eso fomentaría una igualdad de género, y realmente es muy preocupante, yo creo, que, en las escuelas de informática, en las universidades, menos del 15% de nuestros estudiantes, sean mujeres. Ahora estamos teniendo algunos más, en cuando hablamos de titulaciones como Ciencia e Ingeniería de datos, acabamos de inaugurar una en la Universidad de Oviedo y roza el 40%, pero la informática tradicional, ingeniería informática, ronda el 15%. Quizás si todo los ciudadanos y ciudadanas conociesen desde el principio, estuviesen familiarizados con la informática, encontraríamos que no es algo ajeno, a las mujeres ni a los hombres, a los que realmente están, y todos debemos participar de ello.

Y otra cuestión importante, es que habría que incluir algunos contenidos de códigos deontológicos, igual que se hace en medicina, o en derecho; para que los profesionales de la ingeniería informática tengan algún tipo de formación en Derecho, que les haga estar expuestos a que existen leyes, leyes que tratan sobre estos temas, y es importante que sepan leer leyes. Que sepan leerlas. Existen en este momento leyes aunque quizás mañana sean distintas, pero que estén sometidos a la influencia de que existen estas cosas, que sean conscientes de ello, y sean capaces de leerlas, y si no, de pedir ayuda.

45:35 Jesús Avezuela. Por terminar un poco esta parte más regulatoria de la que estamos hablando, sí que me gustaría hacer una pregunta a Mario, sobre todo en el ámbito de la Unión Europea. Se ha hecho un esfuerzo regulatorio sin duda, y esperemos que los fondos New Generation den también importantes impulsos a un esfuerzo que se ha traducido principalmente en una regulación para la privacidad de las personas, que ha tenido su reflejo en la regulación de los equipos. También en algunas propuestas acerca de precauciones que hemos de tener sobre sistemas automáticos de discusión. Pero Mario, ¿crees que todo esto es suficiente? ¿Es suficiente esta regulación que tenemos ahora mismo? Y si no lo es, ¿de dónde tiene que venir el impulso? ¿Tiene que venir más del ámbito europeo? ¿Debe ser más global, como algunos dicen, o, por el contrario, debe ser más local?

46:30 Mario Hernández. Muy buena pregunta. Yo creo que ahí está una de las grandes cuestiones en problemas de regulación tecnológica que hay que tener en cuenta. Yo apuntaría dos cuestiones.

La primera, a la hora de abordar la tecnología como un fenómeno transnacional, la legislación debe ser transnacional, eso está claro. Cualquier intento nacional va a ser absolutamente ineficaz, inoperante. Eso lo vemos muy claro, por ejemplo, con el reglamento general de protección de datos de EEUU. se enfrentó. Por tanto, que se resolvió la demanda sobre Google contra la agencia española de Protección de datos y teniendo las armas de 28 estados, ahora 27, de 28 estados nacionales de europea es un mercado muy potente con la calidad datos importantísima interesa la Google, fueron capaces de ponerle freno a una una forma de hacer y la forma entender la privacidad y la y el tratamiento de datos. Eso es un punto, de dónde tiene que venir el esfuerzo de Olympus tiene que venir de distinciones internacionales. La Unión Europea con el proyecto de reglamento de inteligencia pericial que ha planteado, es bastante interesante lo que eran europeas un ámbito regional, y además de un ámbito bastante no voy a decir que pequeño, porque desde la entrada en vigor de La carta fundamental se ha ampliado bastante, pero bueno, pero sobre todo se han centrado cuatro tener el ámbito de su competencia en el que tiene presupuesto muchísimas implicaciones en derechos fundamentales y en estado de derecho.

En el Consejo de Europa, que es un poquito más amplio, incluye a países muy diferentes de los 27, como por ejemplo Rusia, que es un elemento a tener muy en cuenta, pues esta esta iniciativa del Comité ad hoc en inteligencia artificial y que lo que intenta es, se está estudiando ver si consigue elaborar un tratado internacional, concretamente, para reducir el riesgo, limitar el riesgo en tres horas tres materias en las que las que es competente el Consejo de Europa, los derecho fundamentales, el Estado de derecho y la democracia que no es poca cosa.

Pero hay otros fenómenos también internacionales, la Unesco, la OCDE hay muchos organismos internacionales que están intentando trabajar en este sentido, y creo que tiene que por ahí. 
Es muy difícil que todas estas instituciones acaben por ponerse de acuerdo porque muchas veces en Naciones Unidas, en el seno del Consejo Europa, vemos la discusión que tenemos absolutamente interminable entre países más occidentales y miramos a Rusia, el país que que no le interesa regular este tipo de cuestiones.

La segunda cuestión es que códigos éticos hay muchísimos, regulaciones hay cientos. Cada día hay un código ético, una nueva autorregulación. Lo que hay que hacer es dar un paso e ir a una legislación dura, a un hard law. Es decir, una legislación que sea absolutamente obligatoria. Y esto por dos motivos. El primero, por seguridad jurídica. A las mismas empresas les interesa, y lo están demandando, tener de una vez un marco regulatorio seguro, no un código ético, no una orientación…No. Es decir: hasta dónde puedo investigar yo, hasta donde voy a poder aplicar sin tener ningún tipo de problema legal mis tecnologías que estoy desarrollando. Esto no existe todavía. Por tanto, el primero que acabe con un tratado internacional, por ejemplo, la Unión Europea con el reglamento, que aún tardará tiempo, o el Consejo Europa con ese tratado, pues tendrá un servicio importante no solo a las empresas si no también a los ciudadanos.

Y lo segundo, es que realmente tienen que ser yeyes o tratados internacionales porque la tecnología de la inteligencia artificial afecta a aspectos muy concretos relacionados con la soberanía de los estados. Afecta a derechos fundamentales, afecta porque desde las de Estado derecho y sobre todo cuestiones de procesos democráticos. Como afecta a ese tipo de cuestiones, es necesario tener la legislación que emane de los órganos legítimamente democráticos, elegidos por los parlamentos. Eso es un asunto esencial. Por ahí se está intentando ir en estos encuentros internacionales y por eso digo que tiene que ser una legislación transnacional, por mucho que Estados Unidos quiera, o China, o Rusia desea tienen que ser organizaciones internacionales que impliquen a una gran cantidad de personas de un mercado grande en la generación de datos sobre una voluntad política.

51:06 Jesús Avezuela. Como es un tema oceánico, lo habéis dicho al principio, es un tema que afecta a muchas cuestiones, entrando en aspectos que podríamos denominar como más jurídico políticos o éticos de la inteligencia artificial, Antonio, te pregunto: la inteligencia artificial puede resolver problemas tecnológicos, pero no sé si también los éticos y jurídicos. El famoso ejemplo con el vehículo autónomo. En el campo del derecho, habitualmente los americanos usan la aplicación de la inteligencia artificial a la cuestión de la política penitenciaria.

¿Podemos utilizar la inteligencia artificial para juzgar determinados casos? La cuestión de la discriminación de los sesgos de las bases de datos está basada en datos pretéritos. ¿cómo podemos evitar estos peligros? Al final, determinadas personas, por su perfil, por el barrio donde han vivido, por la raza… pueden verse menos beneficiadas por el algoritmo que otras, con lo cual, vuelvo a preguntar: ¿puede juzgar la inteligencia artificial determinados delitos?

52:26 Antonio Bahamonde. A la inteligencia artificial no se le puede pedir más cosas que a, por ejemplo, la medicina. Pondré un ejemplo más cotidiano. Cuando vamos al médico, éste usa distintos aparatos y a todos nos parece bien: que nos haga un tac, que nos haga una radiografía, ecografía, etc. La cuestión es si los sistemas que están en la IA si pueden juzgar distintas situaciones. Si lo hacemos desde los términos del pasado, que se hicieron con términos del pasado, tenemos un desequilibrio en los datos: tenemos muchos datos de una determinada clase y muy pocos de otra.

Eso puede conducirnos a que, si lo generalizamos sin más, podamos incurrir en errores de sesgo. Hay muchos ejemplos que todos conocemos. Desde el punto de vista académico, hay que decir que el tratar clasificaciones con datos desequilibrados es un problema de investigación tradicional que ya lleva muchos años y que un académico afronta continuamente. Situaciones en las que hay un desequilibrio de los datos. Es un problema que desde el mundo académico está en vías de solución desde hace mucho tiempo.

Desde el punto de vista práctico, ¿cómo creo yo que podríamos solucionarlo? Se puede realizar un tratamiento de vista político o social razonable. Yo creo que podemos acudir a un ejemplo: cuando nos dan un coche, sufre una especie de prueba, la ITV, para saber si se cumplen los estándares que debe tener para ser seguro. Creo que sería deseable que los sistemas de clasificación automática fueran sometidos a un testeo y ver si realmente está cometiendo un error de sesgo o no lo está cometiendo. Tendría que haber algún organismo capaz de hacer este testeo y decir si este programa es apto o no. El testeo es importante, por parte de una entidad independiente capaz de ponerse en lugar de la sociedad. Esto técnicamente, está resuelto.

55:42 Jesús Avezuela. Francisco, desde tu punto de vista matemático, nos preocupan especialmente aquellas normas que se implementa a través de inteligencia artificial, de esa inteligencia artificial basada, como tantas veces, en algoritmos y códigos fuente que no se publica. Hay muchos ejemplos. El caso de aplicaciones informáticas en materia fiscal o a la hora de valorar asuntos que dan lugar a sentencias del Contencioso Administrativo, como el del bono social. Hay una norma que regula el bono social, pero la concesión o no de ese bono que la gente solicita, está en función de algoritmos que no se sabe exactamente si respetan a la norma porque, entre otras cosas, esos códigos fuente son secretos. ¿Nos genera eso una inseguridad jurídica tremenda?

56:50 Francisco Herrera. Bueno, yo creo que tenemos que distinguir entre el código asociado al algoritmo, el diseño del algoritmo, y la aplicabilidad de cómo funciona el algoritmo, lo que se denomina transparencia, trazabilidad, un conjunto de conceptos bajo los que ha sido diseñado aquel algoritmo y que pueden explicar porque toma qué decisiones. Entonces, nosotros podemos tener la salvaguarda de la propiedad intelectual del desarrollo del algoritmo, de todo el código, de las bases de datos, etc. Pero, es importante, y ya lo recoge la Convención Europea, que, en entornos de alto riesgo para personas y en otros entornos, los algoritmos tengan esa capacidad de transparencia, que podamos saber por qué toman las decisiones y podamos interpretar el modelo. Desde ese momento podrá analizar si hay un sesgo, si hay un error de discriminación hacia una persona, si a nosotros los algoritmos nos explican el por qué toman esas decisiones, podremos analizar sus comportamientos potenciales.

Hay que distinguir esto: que nosotros podamos en todo momento que el algoritmo tenga la capacidad de explicar por qué toma las decisiones. Existen múltiples líneas de investigación actuales, de hecho, es el ámbito más hot topic, que buscan introducir herramientas que ayuden a la transparencia para que el algoritmo explique la toma decisiones.

E igual que sitúas al médico. El médico tiene toda una toma de decisiones a través de un razonamiento, pero él te puede explicar el por qué te da un determinado diagnóstico. Si tuviéramos algoritmos en el ámbito de la medicina, un ámbito determinado de alto riesgo, lo lógico es que, además de que el algoritmo te diga determine un tipo enfermedad, puede explicarte cómo ha llegado a la conclusión que te da y te explique cómo. Salvaguardando siempre la propiedad intelectual de quien ha desarrollado el algoritmo. Pero si un médico tuviera que tomar una decisión ayudado por un algoritmo inteligente, tendría que conocer cuáles son las razones que le ayuden a creer en el algoritmo al sugerir una enfermedad o un diagnóstico.

Si conseguimos esa transparencia en los modelos tendremos abordado en los problemas actuales que podemos tener de sesgo, que también está asociado a los datos por supuesto, y la discriminación que puede tener contra minorías, grupos, etc.

59:30 Jesús Avezuela. Gracias Francisco. Todos habéis puesto de relieve, todos habéis puesto el foco en el tema de los datos. Nuria, en la medida en que las grandes corporaciones digitales son capaces de manejar los grandes datos de los ciudadanos, las preferencias, los gustos de los ciudadanos, el famoso ‘me gusta’, los grupos, los sesgos…¿lo son también para ejercer una influencia política y social masiva? Dicho de otro modo: ¿estamos ante un peligro para nuestros sistemas democráticos, todo ese control de los datos por las grandes corporaciones digitales?

1:00:16 Nuria Oliver. Bueno, sí yo pienso que sí. Creo que hay diferentes dimensiones en el contexto de los datos. De hecho, he sido miembro de un grupo de alto nivel de la Comisión Europea y precisamente el trabajo que hicimos en ese grupo fue un trabajo de estructuración, entendimiento, de recomendaciones de cómo datos privados, datos que está siendo custodiados por empresas privadas, pues podrían ser aprovechados por el sector público para el bien social. Porque no podemos olvidarnos que muchos de estos datos tienen un gran valor en el contexto del bien social, en el contexto de las visitas objetivos de desarrollo sostenible. Sin embargo, son datos privados de los que potencialmente la sociedad no se puede beneficiar. Por tanto, esa es una dimensión: cómo aprovechar y cómo sacar valor de datos custodiados privadamente para poder tener un impacto social positivo.

Luego está el otro aspecto que tú comentas que es qué impacto social, mayoritariamente negativo, tiene en hecho de que casi el único o principal modelo de negocio y de monetización de los datos de las grandes plataformas digitales es a través de la publicidad personalizada y de la del modelado, de la hiper personalización, del modelado en las personas divididas individualmente para monetizar básicamente nuestra atención, porque al final, como dice el dicho «si el producto es gratis, es que el productor eres tú».

Entonces, lo que tenemos que entender es que las plataformas digitales que utilizamos gratuitamente, en las que dedicamos de horas en nuestra vida, incluyendo niños y adolescentes, evidentemente no son ONGs, de algo tiene que vivir y viven de la monetización de nuestro tiempo, de nuestra atención, de nuestros datos. Y el objetivo de algoritmos muy sofisticados de inteligencia artificial que se encuentran en el corazón de todas estas plataformas y servicios digitales, el objetivo es lo que llaman el engagement, maximizar la cantidad de tiempo que pasas utilizando estas plataformas.

Estos algoritmos, dado que lo que intentan es maximizar cuánto tiempo pasas usándolos, pues lo que tiende a suceder, y acaba de haber un artículo reciente sobre Twitter y este fenómeno, lo que tiende a suceder es que el contenido que es sensacionalista, el contenido que es extremista, el contenido que nos produce un shock es el contenido que produce más engagement. De manera que estos propios algoritmos, como ellos no saben, que intentan es maximizar la cantidad de tiempo que la gente pasa usando la plataforma y ven que todos abrimos de más enlaces cuanto más chocantes son y así, más likes tienen, más clikcs tienen, más la gente lo comparte, y entonces lo que hace el algoritmo es buscar más contenidos de este tipo. Así que lo que nos encontramos, efectivamente, esas situaciones en las que el contenido que es promocionado es un contenido que probablemente no tiene un impacto positivo socialmente, ni tampoco tiene un impacto positivo individualmente en cada uno de nosotros, porque tiene un impacto negativo en nuestra salud mental. Esto es algo que ahora está siendo finalmente (la punta del iceberg con estos papeles de Facebook que ha sido desvelado) pero que se sabía. Lo que pasa es que había una gran escasez de datos porque, como has comentado también, muchos estos datos privados son custodiados con gran recelo por estas grandes empresas tecnológicas para que, entre otras cosas, no se pueda hacer una investigación sobre el propio impacto que tienen.

Pero no cabe la menor duda de que efectivamente tienen un impacto, efectivamente promociona ciertos contenidos que suele ser de naturaleza más extrema y efectivamente están contribuyendo también a diseminar la desinformación, incluyendo teorías conspiratorias de todo tipo, desde las vacunas, que la Tierra es plana, que nunca fuimos a la Luna… en fin, todo tipo de teorías anticientíficas.

1:05:03 Jesús Avezuela. Y Mario, estos mismos impactos que también ha definido Núria desde un punto de vista social y mercantil, si los trasladamos al ámbito de nuestra sociedad democrática, ¿qué riesgos y oportunidades tiene todo esto para las sociedades democráticas, a este tipo de tecnología? ¿Nos podemos encontrar ante un verdadero retroceso en el Estado de Derecho, de la misma manera como bien dice Nuria con la pata social y económica, también en la política? ¿Podríamos hablar, como ya algunos títulos apocalípticos hablan, de la sustitución de la política por la tecnología?

1:05:40 Mario Hernández. Muy buena pregunta también. Recuerdo hace unas semanas leer una encuesta que decía que la mayoría de la gente encuestada prefería que las decisiones políticas las tomaran algoritmos más que los políticos profesionales. Gente joven, sobre todo. A lo mejor no es tanto poner el punto de vista en la tecnología como en la política actual, pero bueno, eso es otra cuestión. Creo que la inteligencia artificial tiene unas oportunidades muy grandes para mejorar la calidad democrática, y por supuesto y también la calidad del Estado de Derecho a través las Administraciones Públicas. Creo que es una herramienta que puede mejorar muchísimo la lucha contra la corrupción, también la eficiencia de los recursos públicos. Eso yo creo son cuestiones que están poco debatidas y que se están utilizando.

Desde el punto de vista constitucional, que es a lo que me dedico yo y a la limitación de los efectos perjudiciales, en materia democrática yo creo que hay un riesgo bastante evidente, que hemos discutido mucho, que es cómo puede afectar el uso de estas tecnologías en la libre conformación de la opinión pública que es la base de toda democracia. Hay estudios que dicen que la utilización de deep fake no se ha utilizado nunca para procesos democráticos, pero eso no quiere decir que no se vaya a utilizar y la potencialidad de la manipulación de ciertos videos o de deep fake el día antes o durante el día de votación puede tener un efecto absolutamente demoledor.

La cuestión aquí, como dice Nuria, es que una cosa es que pueda afectar y otra cosa que pueda influir. Yo creo que esta tecnología tiene cierta responsabilidad que hay que regular, aunque no se quiera utilizar para afectar procesos democráticos, puede influir en los procesos democráticos.

Hay dos casos en tribunales internacionales que apuntan sobre esto. El primero ya lo hablé, salvando las distancias: el TJUE, Google contra la Agencia Española para la Protección de Datos sobre el derecho al olvido. Pero sobre el papel que tienen los buscadores. El papel que tienen los buscadores no es inocuo. Aunque usted no lo quiera, su mera existencia sí que pueden influir y sí que es una herramienta absolutamente potentísima para conocer los datos y la privacidad.

Y la segunda es otra sentencia del Tribunal Europeo de Derechos Humanos contra Estonia que también habla de la responsabilidad de los medios de comunicación que implica, por ejemplo, ciertas tecnologías como por ejemplo abrir un chat cuando publicas una noticia. Los medios de comunicación, cuando se sabe que una noticia va a generar problemas y se va a insultar, por ejemplo, a políticos o a otras personas porque de eso trata la noticia, se exige cierta responsabilidad al medio de comunicación para tener que limitar este tipo de cuestiones. Entonces sí que puede generar problemas en la democracia.

Sobre el Estado de Derecho sí que soy un poquito más optimista, porque está muchísimo más desarrollado. El problema con la democracia es que cualquier intento de regular cualquier cosa que toque la democracia, por querer regular la democracia se puede limitar mucho el ejercicio democrático de los derechos. Este es uno de los grandes problemas que tenemos en el CAHAI. En el Estado de Derecho es más fácil, porque tiene principios que son mucho más protectores como la seguridad jurídica, el principio de legalidad y que obviamente no vamos a permitir que un algoritmo tome decisiones en materia de derecho penal porque afecta tanto a los derechos de un ciudadano que debe hacerlo un humano. En esto, por lo menos, hay bastante consenso.

1:09:28 Jesús Avezuela. Gracias Mario. Antes de lanzar mi última pregunta a los cuatro, Antonio ha levantado la mano.

1:09:35 Antonio Bahamonde. Quería comentar sobre el de la responsabilidad de los contenidos escabrosos, llamativos, que estoy de acuerdo. Desde el punto de vista sociológico, yo quiero llamar la atención que este fenómeno también se produce con la televisión, se llama la televisión basura. No es responsabilidad de la inteligencia artificial, es un problema social. Estamos en un mundo en el que los contenidos de este estilo llaman la atención. Y eso no es por la inteligencia artificial, es porque somo así.

Otra cuestión, sobre los datos que se usan para campañas electorales. Hace tiempo salió un artículo sobre los datos que había usado Facebook para la campaña electoral de Trump. En ese momento, escribí un sobre este tema en el que se justificaba que con los datos que había obtenido de Facebook era muy difícil predecir si era una votante del partido Republicano o del partido Demócrata. Es decir, que había una hinchazón de las posibilidades, con afán recaudatorio, a favor de la propia analítica. Esto, en estos momentos, creo que no se sostiene porque de hecho no se está haciendo. En las últimas campañas no se ha usado. Se hacen llamamientos masivos a fake news, pero nada más.

1:11:28 Jesús Avezuela. Gracias Antonio. Nos quedan pocos minutos. Os doy las gracias a todos vosotros por vuestras interesantísimas palabras y no quiero perder ni un minuto más para devolverle la palabra a mi compañera Cristina Gil-Casares para que dé paso al turno de preguntas e intervenciones que seguro que los hay y también muy interesantes. Cristina, cuando quieras, gracias.

1:11:58 Cristina Gil-Casares. Gracias Jesús y muchísimas gracias a los ponentes porque ha sido un coloquio muy interesante, en el que han quedado muchos temas en el aire que, sin duda, van a enriquecer ahora el debate. Ahora, en primer lugar, cedo la palabra a los consejeros que quieran preguntar. Creo que ha pedido la palabra la consejera permanente Adela Asua.

1:12:26 Adela Asua. Muchas gracias, es un placer estar aquí con todos vosotros, aprendiendo muchísimo, estamos aquí también como ciudadanos y es un privilegio. Yo quería subrayar y preguntarle lo siguiente: efectivamente estamos ya en este mar de la inteligencia artificial, pero me ha interesado mucho por la adopción por el tema relacionado con la adopción de decisiones en general, decisiones que afectan a personas concretas o a grupos y en concreto decisiones en el ámbito penal penitenciario.

Pero el tema, efectivamente conectado con decisiones, es el del sistema de reconocimiento de los sesgos acumulados en los últimos tiempos y hay mucha más investigación, no ya artificial sino investigación en el ámbito jurídico de la ciencia del comportamiento y de la psicología, que ponen sobre la mesa la multitud de sesgos, y hasta ahora ignorados, por los que funcionamos los humanos a la hora de tomar decisiones. El reconocimiento de estos sesgos es progresivo en función del punto de vista que se adopte, del horizonte en el que estamos, de las preferencias, unos valores u otros. Pero estamos en un momento en que esto ya es reconocido, y todavía queda mucho camino para recorrer, para que esto tenga una proyección en la adopción decisiones por parte de técnicos, magistrados, etc. a la hora de tomar decisiones.

Mi pregunta es: la inteligencia artificial desarrolla las técnicas para mover todos los imputs de esta multiplicidad de factores, para poder luego favorecer la toma decisiones. Pero la investigación sobre la existencia de estos sesgos requiere del conocimiento humano, de la investigación humana, no artificial, aunque se pueda ayudar de estadísticas. Quiere decir que, previa a la invasión de la inteligencia artificial para tomar decisiones que afectan a los humanos, se requiere previamente o de forma paralela de forma muy intensa, el conocimiento de dónde están los prejuicios. Y esto requiere también una clarificación sobre qué valores estamos poniendo en primer lugar y cuáles son los objetivos a los que deben servir esas decisiones, que son el Estado de Derecho y la igualdad.

Y otro punto, muy brevemente. La inteligencia artificial está siendo utilizada para un desarrollo, para liberar trabajos de los humanos para facilitar otras actividades. Pero, sobre todo, ya estamos en ello, la realidad de que sea absorbida por los intereses de mayor lucro económico. Es decir, el problema es si la economía y su pulsión nos va a llevar al desarrollo de una sociedad mucho más sólo para algunos. Si la utilidad es lo que mueve el desarrollo de la inteligencia artificial, ¿dónde quedan aquellos valores que no son estrictamente de utilidad, como el bienestar, la distribución, etc?

1:15:48 Nuria Oliver. Son muy buenas preguntas. Quisiera responderlas porque para hacerlos es por lo que precisamente he creado en Alicante la unidad ELLIS, The European Laboratory for Learning and Intellignet Systems. Y el sobrenombre de la unidad es el Instituto de Inteligencia Artificial centrado en la Humanidad. Es probablemente la única fundación que hay dedicada a la investigación, no solo en España, sino una de las pocas en Europa, cuyo objetivo es exclusivamente el desarrollo de inteligencia artificial centrado en las personas. Y eso qué quiere decir: es precisamente un contrapeso a lo que a lo que sabiamente has puntualizado a los intereses que mueven el desarrollo de la inteligencia artificial y más ampliamente el desarrollo tecnológico. Es una de las áreas de mayor preocupación en Europa porque la dominación en inteligencia artificial en el mundo está ahora mismo en manos de un oligopolio de empresas tecnológicas norteamericanas y asiáticas, esa es la realidad.

Europa está en una posición de debilidad geográfica, pero también institucionalmente. La investigación, no ya la innovación o el despliegue, sino la investigación en inteligencia artificial ahora mismo está siendo liderada por un oligopolio de empresas tecnológicas norteamericanas y asiáticas. Si miramos cuál es la institución que tiene más publicaciones en Neurits, que es uno de los mejores congresos del mundo en estas técnicas de inteligencia artificial basadas en la predicción a partir de datos, la institución número uno es Google. No es ni siquiera una gran universidad americana, como podríamos anticipar. Y esto no es positivo para la sociedad. Yo siempre digo, no todo desarrollo tecnológico es progreso, en la que deberíamos invertir es en el progreso. Y eso es lo que lo que precisamente ha motivado la creación de esta fundación, cuyo objetivo es invertir en investigación en inteligencia artificial que realmente represente un progreso, que realmente vaya a tener un impacto positivo para la sociedad. Porque no está en absoluto garantizado que eso vaya a suceder si no hacemos nada para que eso suceda.

Y con respecto a la primera observación, efectivamente, las decisiones humanas están sesgadas, efectivamente los humanos no somos perfectos en nuestra toma de decisiones, yo creo que eso lo leemos cada día en los periódicos, y efectivamente esa es la motivación por la que podríamos pensar: «bueno, si los algoritmos no tienen hambre, si los algoritmos no son susceptibles a la corrupción, si los algoritmos no tienen amigos ni enemigos, si los algoritmos no han tenido una mala noche, si los algoritmos no tienen preferencias de ningún tipo, en teoría, idealmente, si los algoritmos aprenden a partir de la evidencia y de los datos y si son una representación digital de esa evidencia, entonces podrían, en teoría, ayudarnos a superar muchas de las limitaciones humanas en la toma de decisiones. Esa es la aspiración teórica. La aspiración teórica es conseguir que usando algoritmos que en teoría son neutros podamos no caer en muchas de las limitaciones que sabemos que tenemos los humanos cuando tomamos decisiones. Y es una aspiración yo creo que es algo factible, que en teoría podría ser posible.

Lo que estamos encontrando es que en la práctica, los algoritmos entrenados con datos que no son una representación ni completa, ni no sesgada de la realidad, algoritmos que pueden han sido desarrollados por personas que no son totalmente expertas o por grupos que no son realmente multidisciplinares y que no tiene una comprensión total del problema, pues resulta que no son tan buenos como los pensábamos y que muchas veces no sólo replican sino incluso pueden amplificar patrones subyacentes de discriminación.

Pero esto no quiere decir que no podamos hacerlo mejor. Sólo quiere decir que lo que hemos hecho hasta ahora tiene margen de mejora. Pero la aspiración es el poder complementar a las decisiones humanas para abordar las limitaciones que tenemos los humanos en nuestra toma de decisiones. Porque no podemos olvidarnos que nosotros tampoco somos perfectos y esta es la aspiración.

1:20:08 Cristina Gil-Casares. Muchísimas gracias, Nuria. Gracias consejera por haber planteado esta interesante pregunta que además enlaza con una cuestión que yo creo que preocupa a la audiencia, que es la dimensión social de la inteligencia artificial. Nos han preguntado si la sociedad está realmente preparada para todo esto, si estamos tan lejos de la inteligencia artificial general y sobre todo, que me parece interesante, si hay un riesgo de exclusión social en la implantación de la inteligencia artificial. Qué medidas debemos tomar. Se ha hablado aquí de la alfabetización digital, de la brecha digital, para capacitar a las personas.

Os voy a pedir brevedad a los panelistas, simplemente porque hay muchas palabras pedidas y, bueno, para poder escuchar a todo el mundo. Muchísimas gracias.

1:20:55 Antonio Bahamonde. Sí, bueno, desde mi punto de vista, la respuesta es sí a prácticamente todas las preguntas. Es decir, estamos lejos de la inteligencia artificial general. Estamos en riesgo de generar exclusión social. De hecho, muchos puestos de trabajo, en España y en el mundo en general, son susceptibles de ser automatizados. Hay estudios que hablan de cuatro o cinco millones de puestos de trabajo que pueden desaparecer en los próximos años. Entonces, sí que sucede todo esto. Y esto es un problema ético, un problema político fundamental. Debemos tener previsiones para abordar esto. Que esto se está produciendo ya, poco a poco. Y al final, nos daremos cuenta de que estamos dejándonos por el camino a muchas personas. Personas que estaban ocupando puestos de trabajo que no van a poder ser reconvertidos en ingenieros de datos. Debemos buscar una respuesta política, una respuesta social que incluya la alfabetización, que eso funciona a medio plazo, y funciona la disposición de medidas capaces de generar negocio en este país, para que podamos tener un superávit económico que nos permita hacer esas reformas sociales que se necesitan.

1:22:24 Cristina Gil-Casares. Muchísimas gracias por esta visión constructiva y optimista. Le voy a dar ahora la palabra a la consejera Amelia Valcárcel que tenías la mano levantada, consejera cuando quiera.

1:22:36 Amelia Valcárcel. Consejera Electiva. Muchas gracias. Muy buenas tardes. Yo tengo una consulta que quiero presentaros, por lo que después intentaré compartir pantalla con mis escasas habilidades. El problema de fondo que yo veo es el siguiente: obviamente, todas las redes han creado nuevos espacios, virtual, pero es un espacio, igual que la radio creo un espacio que antes no existía. No lo tenemos mucho en la cabeza, pero el espacio que creó la radio coincidió con la irrupción de los fascismos. Los fascismos serían inimaginables, como populismos que son, antes de la entrada de los nuevos medios de comunicación en los años 20 en la liza. Un nuevo espacio, además de crear nuevas oportunidades, crea nuevos riesgos. Y este riesgo fue muy claro en los años 30. E imaginar lo que tuvo que suceder después. Entonces, la televisión creo otro espacio diferente. Y las redes han creado un espacio totalmente diferente.

El otro día en el Pleno, se lo comentaba a la presidenta, algún consejero me pareció que llego a expresar que, después de todo, no había que preocuparse tanto por las redes, porque pudiera ser su éxito un fenómeno pasajero. No es ningún fenómeno pasajero. Han venido, se van a quedar y van a existir.

¿Cuál es el problema? El problema es que no tienen regulación alguna. Y realmente no están comprometidas con los derechos básicos de nadie. Tú lo que haces es un contrato comercial o casi donde, como bien ha dicho Nuria, si es gratis te estás vendiendo tú. Y yo quiero, pues simplemente expresar una cosa: no hay manera de seguir conviviendo con unas redes sociales que no tienen código.

Y recuerdo lo que escribió Álex Grijelmo en El País, que tuvo mucha gracia, y que decía «imaginad que tuviéramos automóviles y no tuviéramos código de circulación. Y cada cual se tirará a las calles a hacer lo que le viniera en gana». Es insostenible. El problema es quién codifica un país, una región como Europa. ¿O hay que tener una codificación más amplia?

No funcionan igual todas las redes. Y en una segunda parte de mi comentario-pregunta voy a meter una cuestión muy concreta que me ocurrió a mí para que me aconsejéis.

El asunto es que no todas las redes sociales son iguales. Twitter es mucho más escandalosa que Facebook, e Instagram solo interesa de una cierta edad hacia abajo. Yo decidí estar en Facebook porque me pareció un lugar relativamente tranquilo, donde ciertas cosas se pueden hablar. Y el día 17 de agosto en Facebook, en vista de que recuerdan se había producido la caída de Kabul y había todo tipo ya de especulaciones sobre lo que podía pasar en Afganistán. Leí un comentario donde se decía que en Afganistán iban a correr gravísimo peligro las mujeres y los homosexuales. En vista de lo cual, simplemente en dos líneas dije que, en una sociedad de encierro como la afgana y como era la griega clásica, la homosexualidad está relativamente admitida, siempre que sólo se ejerza con adolescentes o niños. En ese momento, más de 1.200 insultos, a cuál más fuerte, se presentaron allí. Como me parecieron muchos, decidí marchar a dar un paseo y ya volvería yo y vería exactamente cuál era el tsunami que se estaba produciendo. Y cuando volví, mi comentario en absoluto ofensivo, había sido retirado por Facebook diciendo que incumplía sus normas.

Los que incumplían sus normas eran los que estaban respondiendo, no un comentario que simplemente es científico: eso pasa o no pasa. Problema que planteo: ¿cómo os enfrentaríais, a no poder actuar en derecho, porque una red social ha decidido retirar un comentario, por tanto, también las 1.200 injurias que se han hecho, y de las cuales no puedo defenderme porque no están aparentemente ya en ninguna parte? ¿Qué hago? ¿Qué puedo hacer?

Si le pregunto a la red me dirá que por qué no pleiteo en California. Pero ese no es el caso. Y esa decisión no la ha tomado un algoritmo, el algoritmo ha avisado de que hay una cantidad inusual de comentarios a un post, pero alguien ha tomado esa decisión, por lo demás injusta, que ya no me importa. Lo que es injusto es dejar sin defensa a alguien.

1:28:40 Nuria Oliver. A ver, se puede contactar en este caso con Facebook. Esto pasa con cierta regularidad, la eliminación de contenido porque consideran que es perjudicial y se puede contactar con Facebook pidiendo o que lo vuelvan a poner. No ha desaparecido, no lo han borrado, lo han quitado y lo pueden volver a poner. A mí me ha pasado algo similar, en Twitter, pero ni siquiera era por poner nada, sino por una cuenta institucional que no sé por qué, erróneamente, la clasificaron como que era spam cuando era una cuenta normal y corriente. Se puede contactar y pedir que lo investiguen y que lo vuelvan a reinstaurar, entendiendo que evidentemente ellos son los dueños de la plataforma y tienen el poder de decidir qué es lo que hacen con su plataforma.

Es decir, igualmente, está este caso que podía ser un falso positivo, en este sentido ellos han tomado la decisión editorial de eliminar algo que probablemente no debería haber eliminado, hay muchos falsos negativos. Hay un estudio reciente de Facebook donde no sé si solamente identifican un 2% del contenido que deberían en teoría eliminar según su propia política de contenido que no es admisible en su propia red y el 98% no lo eliminan.

Pero en este caso concreto yo, si tienes interés en que vuelvan a poner el comentario y el post, se puede contactar y en teoría contestan. Se puede contactar con Facebook y decir «yo puse este post y ha sido erróneamente borrado. Por favor solicito que lo vuelvan a poner». Y al menos contestar deberían contestar.

1:30:35 Cristina Gil-Casares. Muchísimas gracias, Nuria, muchas gracias consejera por este caso práctico que realmente nos puede pasar a todos.

Una última pregunta que viene de la audiencia y que tiene que ver con la suplantación de identidad, el llamado deepfake. Nos movemos en un mundo de identificación virtual de las personas en muchísimos ámbitos, desde el ámbito financiero hasta nuestras relaciones con la administración pública. ¿Es esto de verdad un problema?

1:31:14 Mario Hernández. Muy brevemente. Una de las cuestiones sobre el deepfake es que, lo que hemos dicho, hay muy poca regulación sobre las redes sociales y sobre el uso de la tecnología. Entonces, una de las cuestiones que se discuten es si necesitamos nuevas herramientas jurídicas, nuevas categorías, nuevos derechos, o si con las que tenemos son suficientes.

Según los datos, bueno, los datos no estaban preparados para esa categoría, para el mundo de la intimidad, y ahora se está desvirtuando, se está estirando como un chicle y entonces la protección de datos llega hasta donde llega. Yo creo que hay un cambio de paradigmas que nos va a forzar a los a los juristas a ser un poquito creativos en el sentido de adaptarnos a una nueva realidad, porque el derecho, o el Derecho Público en concreto, tiene una capacidad adaptativa y expansiva limitada. El problema entonces es crear nuevas categorías a una realidad que es nueva. Y los juristas para eso somos un poco… como venimos del mundo jurídico, que es eminentemente conservador por el principio de seguridad jurídica, nos cuesta.

Aunque es verdad que la magistrada Asua ha dado con sus votos particulares muchas veces un impulso a poder, bueno, a interpretar las cosas de una manera más social, pero es verdad que el Derecho da lo que da y la seguridad jurídica es una cuestión que, combinada con el principio de legalidad, hay que tenerla en cuenta. Es difícil abordar esto. Bueno, es uno de los grandes debates que tenemos: nueva regulación jurídica o no.

1:32:55 Cristina Gil-Casares. Muchas gracias, Mario, y muchas gracias también por ese guante que nos lanzas y que recogemos con mucho gusto aquí, en el Consejo de Estado.

Nos da muchísima pena no poder seguir con este debate, que ha sido verdaderamente fascinante. Que deja muchísimos temas sobre la mesa. Ha sido un verdadero lujo contar con ponentes tan cualificados y tan capaces en este ámbito.

Voy a ceder en último lugar la palabra a la presidenta para que dé por finalizado este acto, pero no sin antes recordarles a todos ustedes que este acto va a quedar grabado, va a quedar a disposición en la página web del Consejo de Estado. Muchísimas gracias por el debate, por este coloquio tan fascinante y sin más, cedo la palabra a la presidenta. Presidenta, cuando quieras.

1:34:15 María Teresa Fernández de la Vega. Gracias a todos los participantes, pero, de manera particular, a nuestros cuatro ponentes, Antonio Bahamonde, Mario Hernández, Francisco Herrera y a Nuria Oliver, por sus fantásticas intervenciones que nos han abierto nuevos caminos y nos han creado nuevas inquietudes, aparte de solucionarnos algunas de las dudas que todos tenemos planteadas.

Al inicio de este debate, no sé quién ha planteado por qué el Consejo de Estado quería abordar este tema. Bueno, después del debate que hemos tenido, creo que queda bien claro porqué el Consejo de Estado ha planteado este tema: todas las cuestiones que surgen de este tema nos atañen, nos atañen a todos, pero, de manera particular a una institución que tiene como norma, como regla, el Derecho y el análisis y la profundización del Derecho para aplicarlo a todas las cuestiones y los problemas que se plantean en el ámbito del espacio público sobre todo.

Y, por tanto, desde esta perspectiva, creo que vamos a tener que fichar a estos cuatro panelistas para que vengan a darnos ya no una charla sino un cursillo completo porque yo creo que a todos se nos han quedado encima de la mesa multitud de cuestiones que ahora vamos a intentar solventar vía ir a buscar información, pero que ellos, estoy segura, nos hubieran aclarado de forma brillante e inmediata como han hecho a lo largo de este tiempo que hemos tenido.

Así que, nada, volveremos a convocarles, seguramente, ténganlo en cuenta las gracias. Muchísimas gracias a todos por su participación y enhorabuena por, además, la capacidad que tienen para saber transmitir en temas muy complejos, soluciones y respuestas que abren nuevas vías de manera bastante convincente y sobre todo que no se han orientado por dónde debemos ir para seguir aprendiendo a resolver los problemas que la realidad diaria ya nos plantea.

Porque en el Consejo de Estado ya hay muchas semanas en las que, sin saberlo, estamos resolviendo muchas cuestiones que aquí hoy se han puesto encima de la mesa.

Así que muchas gracias y felicidades por esa capacidad extraordinaria, por esa inteligencia más allá de lo sobrenatural. Para mí, desde luego. Y, bueno, muchísimas gracias a todas y a todos, de verdad. Y a todos los consejeros y consejeras que también han participado. Gracias.

Fin de transcripción