Yo tambien escribo

El comentario de Luis sobre la necesidad o no de aplicaciones de IA en el Grid nos pareció tan bueno que decidimos responder al reto con un post completo, listando 10 aplicaciones de IA en el Grid, que no serían lo mismo sin ella. Los colocamos en el orden descendente de prioridad. Entendemos aquí prioridad como la necesidad práctica de la solución que se propone para el escenario Grid actual o de futuro próximo, por contraposición a aplicaciones más potentes en un futuro, pero también más inciertas o especulativas. Invitamos a los lectores a discutir sobre la necesidad o no de las aplicaciones propuestas, y eventualmente a variar el orden de las prioridades. Aquí van:

1. “Scheduling” de tareas en el Grid:
Si se quiere que escale a entornos heterogéneos y dinámicos, es preciso dotar a los componentes de control de habilidades de adaptación a los cambios en el sistema.
Cuando la escala del sistema es grande ( >> 1000 nodos) o muy grande ( >> 10000 nodos) esa adaptación debe de ser automática (no supervisada por administradores, o sólo supervisada para cuestiones cruciales) si se quiere mantener el sistema con garantías. Los agentes de software proporcionan numerosas técnicas para esto, manteniendo la autonomía de cada entidad del Grid, algo seguramente muy importante para los administradores de cada organización que participen en un mismo Grid: mantener el control de sus recursos.
Nosotros estamos desarrollando con buenos resultados de momento agentes basados en Reinforcement Learning para scheduling automático en el Grid. Sistemas reales de e-science en el Grid como Pegasus en Chicago ya se han apuntado en algunos trabajo académicos como potenciales beneficiarios de estas técnicas en sus Grids de gran escala.

2. QoS en el Grid:
Grid vs P2P. La diferencia la marca la calidad de servicio para escenarios generales e interoperables, objetivo principal de la tecnología Grid y responsable de buena parte de sus complejidades. Para gestionar la calidad de servicios entre multiples servicios, se necesitan como mínimo capacidades de negociación automática.

3. Gestión de SLAs:
Los SLAs estandarizan los contratos de provisión de recursos en el Grid, y es un tópico de gran interés en la industria Grid ahora mismo. De nuevo la gestión de SLAs entre servicios de manera automática requiere de coordinación y negociación, ambos escenarios muy desarrollados en la tecnología de sistemas multiagente.

4. Mercados Grid:
Si lo que tenemos es un mercado de recursos en un escenario virtual, porqué no organizarlo como un mercado usando los modelos económicos disponibles? Implementar esto es, de hecho, implemenar un sistema multiagente.

5. Mobile/pervasive/ubiquitous Grid Computing:
Este escenario es favorito de TiG. Avances técnicos importantes en el campo de virtualización son pre-condición para disponer de todos esos dispositivos en un Grid. Pero cuando todo esté listo…. ese escenario es si cabe más dinámico e impredecible que cualquier otro. Capacidad de adaptación será un requisito importante, y cada dispositivo será por supuesto autónomo. Agentes … sí.

6. Organizaciones virtuales en el Grid:
Antes o después esto será una realidad en el mundo globalizado poblado por compañías ávidas de asociarse para obtener ventajas competitivas. Garantizar un mínimo de órden requerirá bastante automatización y capacidad de adaptación por parte de las herramientas de coordinación de políticas en las VOs.

7. Social Network Grid Computing:
Cuando una red social está compuesta no solo personas sino también de máquinas, aplicaciones, sensores… esperamos que interaccionen con nosotros de una manera mínimamente “personalizada”. Sin una inteligencecia artificial mínima ese “nivel de satisfacción” para los usuarios del redes sociales en un Grid nunca se podrá alcanzar.

8. Grid y Web 2.0 :
Hype o no, es muy relevante la cantidad de mashups de los que uno ya dispone para facilitarle la vida en la red. Y si un día los mashups los construyen los propios servicios Grid según lo vayan necesiatando? Ciencia ficción, o no, Grid 2.0. Lo colocamos de 8, por eso eh
9. Grid 3.0, semantic Grid:
Semantic Web (Web 3.0 como dicen algunos ahora) convergiendo con el Grid. Hay mucha gente que dice que ese es el escenario definitivo… veremos. Lo que está claro es que hará falta mucha, mucha IA para convertir esto en realidad.

10. Pues aquí ya nos hemos cansado/quedado sin aplicaciones Sin embargo aprovechamos para filosofar y condensar los 9 puntos anteriores: Si en algó está de acuerdo la comunidad Grid, es que es importante ofrecer servicios interoperables. Si tenemos servicios interoperables, significa que pueden interoperar. Si mi google reader se lee solo los feeds sin que yo me preocupe de qué está pasando gracias a que hay un estandar RSS, por qué se tendría que terminar ahí la diversión? Si los recursos en Grids de gran escala estuvieran estandarizados, lo lógico sería aprovechar para automatizar muchas cosas. Entonces los futuros servicios Grid, para aprovechar todo ese potencial, deberán ser activos, aprender de las respuestas de los usuarios y de otros servicios, de los cambios en su entorno… deberá tener IA.

En resumen, cuando se requiere coordinación o toma de decisiones automatizada en sistemas de gran escala, dinámicos y heterogéneos (como pasa ya en algunos escenarios Grid, y pasará cada vez más), la IA resulta muy útil. Ahí quedan las 10 aplicaciones, se abre la veda de las discusiones

En la próxima F1, Alonso ganará las carreras para McLaren, pero muchas más carreras serán corridas antes para posibilitar que su infraestructura, su coche, llegue a las óptimas condiciones que posibilitan al fenómeno asturiano hacer efectivo su potencial. Muchas más incluso de las que correrá el excelente probador del equipo, Pedro de la Rosa. La mayor parte, sin duda, se correrá en los simuladores del equipo Mclaren. Correr una prueba real en la F1 real es caro y limitado por el tiempo disponible; un buen puñado de opciones han de ser pre-seleccionadas para que los probadores determinen la óptima. Estos simuladores son usados en el desarrollo de todos los componentes del monoplaza, así como las pruebas sobre diferentes estrategias.

Con el Grid pasa exactamente lo mismo. Desplegar el middleware de Grid en la infraestructura real es caro en recursos y en tiempo. Realizar mediciones es complicado y muchas veces poco fiable. Las pruebas de prototipo deben de minimizarse, como mucho a un pequeño conjunto de candidatas pre-seleccionadas. La investigación especulativa es prácticamente inabordable a nivel de prototipo. Pero las buenas ideas nacen de buenas especulaciones. Para poder validarlas con un mínimo de fiabilidad, en Thinkingrid hemos completado un nuevo hito: el desarrollo de nuestro simulador de Grid. Incorpora el estado del arte de modelos de alto nivel del Grid, principalmente extraído de las publicaciones deSimGrid. La novedad más importante que aporta nuestro simulador es que está desarrollado sobre Repast, una plataforma de simulación especialmente diseñada para la investigación en sistemas multiagente. Damos las gracias a ambos proyectos por proporcionarnos herramientas tan útiles. Y la pregunta clave, ¿para qué vamos a usar este simulador?

Tenemos dos objetivos principales:

1) Testear y validar estrategias inteligentes de gestión de recursos y meta-scheduling en el Grid.

En el Grid tradicional, Grid-enabled HPC (High Performance Computing), las tareas son distribuidas mediante colas en los recursos y ejecutadas según disponibilidad. Si una tarea tiene problemas, se cancela y se vuelve a lanzar en el mismo u otro nodo. El tipo de aplicaciones que corren en HPC Grid Computing son de “machacar” gran numero de datos, del tipo Biotecnología. Física o análisis financiero. Las tareas son independientes y el costo de hacer un re-scheduling es despreciable comparado con el tamaño global de la tarea.

El middleware y Framework de Thinkingrid permiten extender el Grid a todo tipo de dispositivos. Esto abre el abanico de aplicaciones al Grid transaccional, donde las tareas no son independientes y no es válida la cancelación y el re-scheduling sin más, dado que puede afectar a otras tareas. Es preciso manejar con precisión y flexibilidad el scheduling y balanceo de las diferentes tareas en el Grid.

Los componentes del framework permiten controlar dónde, cuándo y cómo se van a ejecutar las tareas en el Grid, así como la reacción ante eventuales complicaciones. La respuesta automática y escalable (en dimensiones tanto físicas como organizacionales) vendrá dado por el uso de técnicas de IA en el Grid. Para evaluar y optimizar las diferentes técnicas, el simulador es la pieza clave.

2) Grid a la carta

Un escenario bastante común para una empresa que desee mover su infraestructura de IT al Grid es la preocupación de saber de antemano cual será el efecto de esta re-organización. ¿Qué aumento de rendimiento voy a conseguir? ¿Cómo se va a hacer? ¿Cuánto tiempo va a tardar? Si se tuviera que hacer todas las pruebas a nivel del prototipo en la infraestructura de la empresa, la respuesta sería: “no lo sabemos seguro, solo podemos estimarlo… vamos a probar” para todas las cuestiones. Con un simulador validado la situación cambia: “Dime que infraestructura tienes ahora y  te diré que puedes conseguir y como lo puedes conseguir”. El grueso de las pruebas se llevan a cabo en el simulador, cambios y evoluciones se llevan al cabo en el simulador. El costo para la actual infraestructura de la empresa es 0, nada se interrumpe. Cuando se tiene claro lo que se quiere y cómo se quiere, simplemente se despliega la solución optimizada.

Resumiendo, tenemos una nueva herramienta que permitirá que tanto Sergio como yo mismo, que actualmente perseguimos nuestro doctorado en el área de de IA aplicada al Grid, incorporemos en el framework de ThinkinGrid el estado del arte (y mas allá!) de esta materia. Vamos a por la pole

Para quien tenga curiosidad en éste área y en el simulador en sí, mantendremos una sección detallada al respecto en la inminente web corporativa de Thinkingrid… stay tuned.