En noviembre de 2017, AWS cambió la forma en que cobraba por un servicio. El cambio, hecho de repente y con poca fanfarria, fue promocionado como una pequeña mejora, pero aumentó los precios y obstaculizó accidentalmente un proyecto de nube gubernamental.

AWS EC2 Spot Instances, lanzado en 2011, ha sido desde siempre una especie de apuesta. Disponible a un precio significativamente más bajo que las instancias EC2 estándar, el mercado Spot permite a los usuarios ofertar por la capacidad restante en un centro de datos de AWS. Cuantas más ofertas, mayor será el precio, o al menos ese es el reclamo.

Si bien las instancias al contado son más baratas, los usuarios corren el riesgo de que se termine el trabajo si el precio al contado excede el precio máximo ofertado por el usuario, o si la capacidad ya no está disponible.

Ian Massingham, director de tecnología de desarrollo y evangelismo de AWS , le dijo a DCD el año pasado que "Lo que está viendo allí es nuestro intento de recuperar el costo marginal de esa capacidad aún no utilizada, capacidad que aún no se ha vendido para uso de demanda o para casos de reserva".

“Eso es esencialmente el mercado Spot; AWS está recuperando el costo marginal de tener grandes cantidades de capacidad desplegadas y no utilizadas por los clientes de todo el mundo”. Sin embargo, en ese momento, AWS ya había cambiado su algoritmo, y desde entonces Amazon ha rechazado numerosas solicitudes de comentarios de DCD.

Un cambio puntual

En los primeros años, el ahorro potencial de costos de los precios Spot resultó atractivo para muchos, incluida la Fundación Nacional de Ciencias de EE.UU. Rich Wolski, profesor de Ciencias de la Computación en la Universidad de California, Santa Bárbara, formó parte de un equipo que construyó una nube federada para varias universidades de EE.UU con el respaldo de la NSF.

El objetivo de Aristotle Cloud Federation era que las instituciones compartieran recursos informáticos en sus centros de datos.

El grupo decidió utilizar el mercado Spot para maximizar el ahorro de costos. Jamie Kinney, gerente sénior de informática científica de AWS, dijo en un comunicado de prensa en ese momento: "Estamos entusiasmados de trabajar con el equipo de Aristóteles para proporcionar una infraestructura rentable y escalable que ayude a acelerar el tiempo para la ciencia".

Entonces, Wolski y su equipo desarrollaron un algoritmo para predecir los cambios en el precio al contado, y la probabilidad de que una carga de trabajo se terminara antes de tiempo.

Luego, a fines de 2017, sucedió algo. “Vimos en la prensa que Amazon había cambiado el precio. Al principio, estábamos muy contento: pensamos, wow, esto es genial. Si suaviza las cosas, la técnica que hemos desarrollado debería ser mucho más precisa.

“Y comenzamos a mirarlo, y no se veía bien. Desde una perspectiva matemática, desde una perspectiva de análisis de datos, simplemente no se parecía a lo que la prensa decía que estaba sucediendo.

El equipo de Wolski se apresuró a resolver lo que había sucedido. “Comenzamos a investigarlo, leímos todo lo que podíamos leer, y comenzamos a ver informes de la prensa popular sobre compañías que tenían su propio algoritmo interno para optimizar su uso del mercado Spot. Y esos algoritmos se estaban rompiendo.

"Regresamos y acabamos de hacer un análisis muy cuidadoso", dijo Wolski. Los resultados, publicados en el documento de investigación Analyzing AWS Spot Instance Pricing (agosto de 2019), encontraron que los precios eran más altos en un promedio de entre 37 y 61 por ciento.

Pero el aumento de los precios no fue verdadero problema para el equipo de Wolski. El problema era que era mucho más difícil predecir qué cargas de trabajo se terminarían, ya que el sistema dependía menos de las fuerzas del mercado similares a las subastas.

Adquisición puntual

Pero si bien el cambio de 2017 fue el último clavo en el ataúd para el sistema de mercado, las instancias puntuales siempre se han basado en algoritmos ocultos y en una mano invisible para controlar los precios, dijo a DCD Orna Agmon Ben-Yehuda. Su equipo en el Instituto de Tecnología de Israel estudió instancias puntuales cuando se lanzaron en 2011 hasta 2013.

“En 2011, demostramos por primera vez que durante los primeros dos años de operación de las instancias spot de AWS, el 98 por ciento de las trazas de precios fueron consistentes con el resultado de un algoritmo artificial. Este algoritmo calculó un precio de reserva: un precio por el cual AWS no estaba dispuesto a alquilar la instancia”.

Su trabajo descubrió "la existencia de varias características artificiales y antinaturales que no tenían justificación económica".

Agregó: “Me gustaría enfatizar que el problema nunca fue que AWS tuviera un precio de reserva, ni siquiera que lo cambiaran. El problema era que declararon que sus precios se basaban en la oferta y la demanda ... y la gente lo creía, y en eso basaban su trabajo académico y sus planes económicos ".

Hay razones legítimas para cierto control del mercado, dijo Steve Fox, CEO del revendedor de AWS AutoScalr. Los usuarios comenzaron a darse cuenta de que si ofertan precios ridículamente altos que obligan a otros a usar el servicio estándar On Demand, eso eliminaría el mercado.

Fox le dijo a DCD: "Entonces se convirtió en un juego donde la gente comenzó a ofertar cada vez más alto, solo tratando de evitar ser interrumpido. Y se puso tan mal, donde los precios subían extraordinariamente altos. Entonces Amazon puso un límite para decir que los precios nunca podrían superar 10 veces el precio a pedido”.

Para AutoScalr y sus clientes, el cambio de 2017 provocó la estabilización de los precios, pero dejó a la compañía en la oscuridad en cuanto a cuándo terminarían las cargas de trabajo. "Así que ahora tenía un precio muy predecible que no cambiaba muy rápido, pero nunca sabía cuándo iba a desaparecer", dijo Fox.

Anteriormente, los precios aumentarían rápidamente cuando más usuarios solicitaran Instancias puntuales, y era obvio que la posibilidad de ser rescindido aumentaría con ello. "Y teníamos algoritmos que se diversificarían lejos del riesgo e irían a mercados spot más estables, lo que significaba que nuestra tasa general de interrupción era menor", dijo Fox.

Ahora el cambio de precio es mucho más lento: "parece que está en el orden de días o semanas, mientras que antes eran minutos.

“Entonces, el desafío es que cuando mucha gente entra y comienza a usar una instancia, eventualmente se agotan y el precio no cambia."

Fox, cuya empresa es un socio certificado de AWS, deseaba señalar que, a pesar del cambio, las instancias puntuales de AWS siguen siendo baratas, y agregó que Amazon regularmente hace recortes de precios en todos sus servicios.

Los clientes de AutoScalr, dijo, continúan utilizando el mercado Spot. "Solo hay que apoyarse más en la diversificación, en lugar de la predicción".

Pero para el método de "explosión" de Wolski para la Nube Federada de Aristóteles, el cambio resultó fatal.

La tragedia de Aristóteles

Wolski cree que su técnica, que estaba disponible públicamente, agregaba valor al Mercado Spot, haciéndolo mejor para otros usuarios.

"La comunidad científica está haciendo algo que podría hacer que otras personas usen Amazon de una manera más eficiente, y no estamos cobrando por ello", dijo Wolski. "Siento que si la gente de Amazon hubiera pensado en eso, tal vez hubieran anunciado esto de manera diferente, o nos hubieran contactado".

Su equipo está trabajando actualmente en una herramienta de reemplazo que espera clasificar las instancias de varias empresas en la nube y compararlas con la capacidad interna para una carga de trabajo determinada.

Mientras está trabajando en una solución, toda la experiencia le ha dado tiempo a Wolski. “Fue una lección importante para la comunidad científica. Normalmente compramos máquinas. Y cuando compras una máquina, es esa máquina hasta que la tiras.

“No se transforma en otra cosa a la mitad de su vida útil. Si un martes es una caja x86, será una caja x86 un miércoles. Pero cuando compras un servicio, esto puede suceder. Todavía se llamaba Spot Instances, todavía tenía la API. Es solo que, un día se comportó de manera completamente diferente".