sábado, 25 de agosto de 2012

Un céntimo por tus pensamientos

El otro día leí una noticia que me llamó la atención: una técnica para ver lo que una persona está viendo reconstruyéndolo a partir de una resonancia magnética del cerebro. Concretamente el precórtex visual. En el siguiente vídeo lo explican:



Para los que no pilléis bien el inglés hablado, podéis saltar a 1:47, donde se muestran las imagenes. A la izquierda está el vídeo que el sujeto está viendo y a la derecha la reconstrucción.

La técnica usada parece sorprendentemente simple: muestran vídeos al sujeto durante unas horas mientras graban la actividad en el precórtex visual. Después realizan un análisis de correlación entre ambos. Finalmente muestran al sujeto otro vídeo (supuestamente diferente a los usados para obtener la correlación) y son capaces de reconstruir imágenes similares a las que el sujeto está viendo. El investigador explica en el vídeo que el sistema funciona mejor cuando lo que el sujeto está viendo son cosas simples, como caras y objetos fijos.

Esta investigación ha sido publicada en Nature, con lo cual no es probable que se trate de un hoax. Sin embargo, cuando uno se pone a mirar las reconstrucciones, asaltan las dudas.

La primera curiosidad es que aparecen textos en las imágenes:



Supongo que esto es debido a que los vídeos iniciales que se le mostraron durante el proceso de entrenamiento del sistema incluían texto; pero me da la impresión de que hay demasiadas. No sé que relevancia tiene esto, pero me llama la atención.

La segunda cosa que me llama la atención es que muchas imágenes parecen estar compuestas por las superposición de unas pocas imágenes:



No sé vosotros, pero yo ahí veo un plato en un lavavajillas, superpuesto a un par de imágenes más. Imagino que parte de lo que hacen es buscar las imágenes del proceso de entrenamiento que mejor correlacionan con las medidas obtenidas en la resonancia y combinarlas entre sí, quizás con un peso dado por lo bien que se correlacionan. No está mal, pero posiblemente esto haga que los resultados parezcan más espectaculares de lo que son. El caso anterior se beneficia de que es más común encuadrar objetos centrados en la imagen. Pero éste no es el caso más claro, los hay peores:


En este caso, está claro que la reconstrucción está basada en un 83% (siempre uso 83% cuando me invento porcentajes, lo cual ocurre menos de un 83% de las veces) en imágenes de un tío con camiseta negra. El hecho de que esté borroso es debido a que es la suma de varias imágenes en diferentes posiciones, y no a que la reconstrucción es imperfecta (bueno, aunque también puede verse así).

Es decir, las imágenes son tan buenas porque para la reconstrucción usan imágenes previas que ya tienen gran parte de los detalles necesarios.

En resumen, el sistema es interesante; pero probablemente es por el momento menos espectacular de lo que puede parecer por el vídeo. De todas formas, démosle unos años para mejorar, supongamos que podemos construir escáneres de resonancia magnética portátiles y se me ocurren un par de aplicaciones interesantes para este sistema (de las cuales sólo dos están relacionadas con el porno).

Para los que tengáis tiempo y ganas, podéis intentar experimentar con ello. Dicen que sólo dan los datos a los que investigan en neurociencia, pero desde una universidad casi seguro que es posible obtener los datos.

2 comentarios:

  1. Pensé que ya había comentado esta entrada, pero parece ser que el genio de la infromática me la ha jugado.
    Todo esto me resulta de lo más extraño: ¿no tendría más sentido empezar por recomponer imágenes estáticas? ¿O es que eso ya está superado? Si este es el caso, entonces no hay mucho más que hablar, pues entiendo que a grosso modo se trata del mismo problema pero necesitando más potencia de cálculo.
    Una de las cosas que me llama la atención del vídeo es el detalle que se tiene de la zona a estudiar. La idea que tengo de las técnicas de visualización de actividad cerebra es que son bastante más difusas.
    Lo que más dudas me da es que se pueda sacar una correlación entre la zona del cerebro que se encarga de la visión y de las imágenes vistas en sí. No creo que sea tan evidente que esa correlación tenga que darse. Exagerando bastante, y para que se entienda lo que quiero decir, ¿se puede deducir lo que está mostrando el monitor de un ordenador por la actividad de los circuitos de la cpu?

    ResponderEliminar
  2. Es posible que la razón para empezar con vídeos sea práctica. Como es necesario poner muchas imágenes para el proceso de entrenamiento, las imágenes fijas podrían acabar resultando aburridas y el sujeto perder el interés. Al poner imágenes en movimiento es posible poner películas que sean interesantes de por sí, de modo que se pueda estar mirando la pantalla durante largo rato sin cansarse.

    Otro motivo es que, quizás, sea posible realizar algún tipo de correlación en el tiempo, ya que es probable que entre diferentes imágenes haya similitudes.

    De todas formas, creo que el vídeo habla de medidas cada 10 s, así que, en cierto modo son imágenes sueltas. De hecho, si te fijas en la reconstrucción, ciertas imágenes parecen tener "inercia" y sólo cada cierto tiempo se actualiza el número de imágenes que forma parte de la superposición.

    Respecto a la última parte, yo también pensé lo mismo; pero luego me convencí de que es posible con lo siguiente:

    Imagina que tenemos acceso a la memoria de un ordenador. Sabemos que está procesando imágenes, así que podemos suponer que las partes en las que hay más cambios están relacionadas con las imágenes. Empezamos a buscar correlaciones, y encontramos que de las partes que cambian, sólo algunas están correlacionadas estadísticamente con las imágenes, esas serán las que investiguemos.

    Una dificultad es que es posible que las imágenes estén comprimidas de alguna forma; pero incluso así, es posible que el método funcione. Por ejemplo, si las imágenes se guardan en memoria como su transformada de Fourier en lugar de directamente, creo que el sistema de las correlaciones funcionaría igualmente.

    Comprendo que lo que tu dices es distinto, que no tenemos acceso a la memoria, sino a la *actividad de los circuitos*. A eso te respondo que dependiendo de qué parte de la actividad de los circuitos tengas, es posible que una cosa implique la otra.

    Desconozco si es posible hacer un MRI de un ordenador y si eso nos daría algún tipo de información útil. ¿Alguien lo sabe?

    ResponderEliminar