Casos de uso y beneficios del cómputo de alto rendimiento en los negocios

Casos de uso de HPC: Conocimientos de aprendizaje profundo de la exploración de petróleo y gas

El sector de la energía ha sido, durante mucho tiempo, un usuario de las computadoras más poderosas para el análisis sísmico en su búsqueda de depósitos de petróleo y gas accesibles. Pero las innovaciones tecnológicas están haciendo posibles nuevas iniciativas de exploración ambiciosas.

Las cantidades masivas de datos requeridas para obtener una comprensión de las formaciones geológicas muy por debajo de la superficie de la tierra llevaron a Devon Energy Corp. a mover una aplicación de HPC sísmica a la nube para obtener resultados más rápidos a un costo razonable. Al mismo tiempo, Devon está implementando el aprendizaje profundo para obtener tanto mayor velocidad como mayor precisión.

«Las aplicaciones se están reescribiendo y replanteando en un cambio hacia el análisis estadístico de aprendizaje profundo», dijo Stephen Taylor, un consultor independiente en la industria del gas y el petróleo y ex jefe de análisis global en Devon.

Stephen Taylor

El gran tamaño de los nuevos datos sísmicos, de 10 TB a 15 TB en un solo archivo, hace que la ejecución de una aplicación en una sola máquina sea difícil, si no imposible, dijo. Anteriormente, Devon usaba aplicaciones de Windows en servidores de multiprocesamiento simétrico HPE Superdome basados ​​en Intel, según Taylor.

Para superar estas limitaciones, Taylor desarrolló un nuevo enfoque en Devon que distribuye el trabajo para que se pueda realizar simultáneamente en muchos servidores de la nube de Azure de Microsoft. «Nuestro nuevo enfoque ahorra tiempo y dinero. En lugar de procesar todos los datos un trabajo a la vez en secuencia, ahora tenemos miles de trabajos diferentes trabajando en los datos al mismo tiempo. Además, solo pagamos por los recursos que usamos y no tenemos que pagar por infraestructura inactiva», dijo Taylor.

La implementación de aprendizaje profundo de Devon utiliza métodos avanzados de análisis estadístico para generar resultados más rápidos y precisos que las aplicaciones anteriores que utilizaron el llamado análisis científico, según Taylor.

La nueva aplicación utiliza la plataforma de análisis de datos unificados de Databricks y Apache Spark, un motor de análisis de datos en tiempo real diseñado para trabajar con la aceleración de GPU basada en Nvidia y CUDA, un conjunto de bibliotecas aceleradas de GPU. La aplicación también utiliza el servicio de almacenamiento de datos basado en la nube Snowflake Computing en Azure.

Para otros que se embarcan en un camino similar, encontrar el talento para estos proyectos podría ser el mayor obstáculo. «No espere encontrar a un individuo que pueda hacer este trabajo. Están en gran demanda y son muy difíciles de encontrar», advirtió Taylor. En lugar de buscar un solo experto, un «unicornio», dijo que un mejor enfoque es reunir un equipo de personas con conocimientos científicos y técnicos complementarios.

Además, cuando se trata de computación de alto rendimiento, no espere ver los resultados de la noche a la mañana. «Se necesita paciencia», dijo Taylor, mencionando un tema expresado por muchos de los primeros adoptantes. «Tienen que dar a la gente la libertad de hacer el trabajo y la investigación antes de lanzar un caso de producción».

Nuevo en la nube: Aprendizaje profundo como servicio

El rol de la nube en la transformación de los usos de la computación de alto rendimiento en la empresa no puede ser exagerado. Para Ziff Inc., la nube ha demostrado ser el catalizador en la creación de una categoría empresarial completamente nueva: el aprendizaje profundo como servicio. Con un centro de datos que ejecuta servidores Dell EMC PowerEdge C4140 aumentado por las GPU de Nvidia, Ziff atiende a organizaciones que buscan conocimientos de aprendizaje profundo, pero que prefieren no contratar a un científico de datos o construir su propia infraestructura HPC.

Varios clientes de Ziff están utilizando el servicio para procesar imágenes y correlacionarlas con datos relacionados.

«Los académicos pueden sentirse cómodos con 10.000 imágenes, pero las empresas pueden tener millones o incluso miles de millones de imágenes», dijo Ben Taylor, director de IA y cofundador de Ziff.

Ben Taylor

Un cliente de Ziff está ejecutando una aplicación de predicción del precio de la vivienda que utiliza el poder de procesamiento de Ziff para examinar imágenes de propiedades, relacionando esas imágenes con otros datos relevantes para generar precios de mercado sugeridos. «Nuestra plataforma puede consumir [las imágenes y los datos] y construir modelos competitivos. No necesita un científico de datos, solo un ingeniero», dijo Taylor.

Otro cliente de Ziff, Chatbooks, una compañía de creación de álbumes de recortes en línea, utiliza las capacidades de inteligencia artificial de la plataforma Ziff para automatizar la deduplicación de fotos y la identificación de fotos de alta calidad, lo que ahorra tiempo a los usuarios en la creación de sus álbumes de recortes. Otro cliente, HireVue, está desarrollando aplicaciones de recursos humanos basadas en inteligencia artificial que evalúan a los candidatos para el trabajo a través de entrevistas en video en línea.

Los casos de uso de HPC para investigación médica se centran en imágenes avanzadas

Para el NYU Langone Medical Center en Nueva York, los poderosos coprocesadores de GPU proporcionaron la base sobre la cual la institución construyó una aplicación innovadora de investigación médica. NYU Langone se embarcó en una criomicroscopía de electrones de transmisión (comúnmente conocida como crio-EM), en la cual las moléculas se estudian a temperaturas extremadamente frías (menos 200 grados Celsius). El propósito es crear imágenes detalladas de biomoléculas individuales para comprender su función en el cuerpo.

«Queremos entender cómo se mueven las proteínas a través del cuerpo», dijo John Speakman, director de investigación de TI en NYU Langone. Los vástagos Cryo-EM permiten a los investigadores observar las moléculas en su configuración nativa. «Es una técnica joven».

La aplicación de código abierto Relion se ejecuta en un clúster de GPU acelerado Cray CS-Storm con nodos de supercomputadora de clúster CS500 y almacenamiento. Además de cryo-EM, la implementación incluye inteligencia artificial, modelado y genómica. «Es una solución de navaja suiza desarrollada por un grupo diverso de investigadores», dijo Speakman.

Las GPU eran necesarias para la IA, las CPU para el modelado de flujos de trabajo y los nodos de alta memoria para manejar los grandes volúmenes de datos. Esas grandes cantidades de datos demostraron ser un desafío, ya que requieren un mayor rendimiento de la red para pasar de un centro de datos a otro sin una latencia indebida. Todos los días, la institución traslada 1 TB de datos desde Manhattan a un centro de datos en Nueva Jersey, según Philip Karp, vicepresidente de arquitectura e infraestructura de TI en NYU Langone. Para fines de recuperación de desastres, los datos se replican en la costa oeste.

La organización también enfrentó desafíos en el frente del personal, otro tema recurrente entre la generación actual de adoptantes de HPC. Necesitaba expertos en ciencia de datos que también estuvieran familiarizados con la biología y la genómica, una tarea nada fácil en un mercado laboral caliente como la ciudad de Nueva York.

Poner HPC a trabajar para evaluar riesgos financieros

Una importante empresa de servicios financieros con sede en Nueva York, que solicitó el anonimato, está utilizando HPC para aumentar la precisión de su análisis de riesgos y reemplazar las tareas manuales con capacidades de IA. La búsqueda de personas con la combinación correcta de habilidades resultó ser un desafío, ya que la institución descubrió que la implementación exitosa de HPC depende tanto de la visión de los negocios como de la tecnología poderosa.

Los bancos están obligados por ley a conservar el capital frente a las pérdidas potenciales de los incidentes de riesgo operacional, pero el capital que no se invierte no genera ganancias. Una comprensión muy exacta de los factores de riesgo puede permitirle a un banco reservar solo el monto requerido, liberando el capital restante para fines de inversión. La firma de Nueva York está desarrollando su implementación de HPC de análisis de riesgo en el servidor IBM Power9 y el coprocesador de GPU.

«Todo está en las instalaciones. La nube es un poco tabú porque los datos son confidenciales y no pueden salir de las instalaciones», dijo el director ejecutivo a cargo del proyecto en el banco, que también solicitó el anonimato. El banco ha contratado a un científico de datos y está utilizando TensorFlow, una biblioteca de aprendizaje de código abierto desarrollada por Google.

La aplicación lee texto en lenguaje natural para identificar incidentes de riesgo operacional. Era un nuevo territorio para el banco y requería nuevas habilidades. «Se necesita tener personas inteligentes que puedan ser ingeniosas. El conjunto de habilidades no solo es el tipo nerd, el hacker; es más que eso. Son las personas que pueden resolver problemas y ser ingeniosos», dijo el director ejecutivo.

En el campo de los servicios financieros, el uso de modelos de IA tiene que pasar por un proceso de revisión regulatoria. El nivel de precisión para identificar incidentes de riesgo operacional es algo que los reguladores deben conocer y comprender. Como resultado, los reguladores se familiarizarán con el uso de la inteligencia artificial por parte de los bancos. «Los estándares abiertos para la IA van a ser muy importantes», dijo el director ejecutivo.

También se requiere paciencia mientras se espera el ROI. Para la institución financiera, el uso de la IA para reemplazar las tareas manuales en el análisis de riesgos eventualmente dará sus frutos, según el director ejecutivo. «En este momento, es difícil decirlo. Se demostrará con el tiempo, no solo un año».

El tiempo es esencial: La representación fotorrealista en 3D en la nube

En la búsqueda de satisfacer las demandas de los clientes en un mundo experto en tecnología, un poco de imaginación puede ser útil, ya que las empresas combinan aplicaciones, herramientas y servicios de diferentes proveedores. Y a medida que se implementan estas nuevas aplicaciones, es posible que algunas compañías utilicen HPC sin saberlo. Un caso de uso de la computación de alto rendimiento que involucra a Timex Group es un buen ejemplo. La compañía creó una aplicación para permitir a sus diseñadores de relojes y socios comerciales visualizar nuevos diseños de relojes rápidamente.

«Buscábamos una herramienta para mezclar y combinar varios componentes, como el dial y los accesorios, un configurador. No había ningún sistema que permitiera la combinación y el emparejamiento para crear un nuevo estilo», dijo Krishna Mohan, director de servicios de cadena de suministro para Timex.

Para encontrar respuestas, la compañía seleccionó a través de unos 15 proveedores en una búsqueda global, encontrando finalmente la compañía sueca Tacton Systems, que tiene un software que permite la combinación de componentes, y una compañía australiana, Migenius, que fabrica el software de renderizado fotorrealista 3D llamado RealityServer. Los dos juntos proporcionan el sistema de personalización del reloj.

El rendimiento rápido es esencial para la aplicación de combinación y combinación Timex porque la latencia en la presentación de nuevos diseños erosionaría rápidamente la productividad de los diseñadores y desalentaría a los socios comerciales. El software de renderizado Migenius se ejecuta en los servicios en la nube de Nimbix, que albergan servidores Lenovo equipados con GPU Nvidia. La plataforma Nimbix no está virtualizada, pero emplea contenedores para cargas de trabajo en metal desnudo.

«Los clientes buscan minutos, incluso segundos. No podemos hablar de esperar cinco minutos para activar las aplicaciones interactivas. Eso no es lo suficientemente bueno», dijo Paul Arden, CEO de Migenius, quien examinó una serie de servicios en la nube antes de seleccionar Nimbix por razones de rendimiento.

Bajo estrés: La ingeniería estructural se enfoca en modelos generados por HPC

Las empresas de ingeniería no son ajenas al uso de computadoras potentes para crear y validar diseños estructurales. Al igual que con las empresas en otras industrias, las implementaciones de HPC no virtualizadas y basadas en la nube que utilizan contenedores están abriendo nuevos horizontes. Arup, una empresa de ingeniería internacional, está utilizando Penguin Computing On Demand (POD), un servicio HPC basado en la nube, para ejecutar LS-DYNA, una aplicación para ingeniería sísmica y evaluación de estructuras de edificios desarrollada por Livermore Software Technology Corp.

La capacidad de resistir los eventos de estrés extremo, como la causa de los terremotos, es particularmente necesaria para instalaciones públicas críticas como aeropuertos y hospitales. Dichos edificios a menudo incorporan medidas de protección sísmica, como aislamiento de la base y tirantes para resistir el pandeo. LS-DYNA ejecutándose en un clúster HPC verifica la capacidad de estas estructuras para soportar fuerzas inusualmente fuertes.

Kermin Chok

«Penguin proporciona un entorno no virtualizado», escribió Kermin Chok, ingeniero físico de Arup, en un intercambio de correo electrónico. Eso es importante porque la virtualización generalmente crea algo de latencia debido a la capa de software de la máquina virtual en la que se ejecutan las aplicaciones. En su lugar, el servicio POD proporciona lo que Penguin denomina un clúster bare metal de computación HPC bajo demanda InfiniBand para aplicaciones en contenedores, un enfoque que está diseñado para brindar un rendimiento superior. La implementación permite a los ingenieros de Arup ejecutar múltiples proyectos de diseño complejo a gran escala simultáneamente y reducir el tiempo empleado en cada análisis LS-DYNA.

La implementación de Arup también incluye almacenamiento de alta velocidad gracias a Lustre, un sistema de archivos distribuidos en paralelo para entornos Linux. El resultado, según Chok, es el tipo de rendimiento necesario para los cálculos estructurales altamente complejos. «Esto nos proporciona un entorno de cómputo y almacenamiento altamente elástico servido por nodos de cómputo de alto recuento de núcleos», explicó.

Como un servicio basado en la nube, POD tardó un poco en acostumbrarse. «Los ingenieros tuvieron que sentirse cómodos al ejecutar modelos e interrogar los resultados de forma remota. Esto es un cambio desde tener acceso a datos locales», dijo Chok. Otros que avanzan por una ruta similar deben ser muy conscientes del tamaño total de los conjuntos de datos que se utilizarán, aconsejó Chok. Esto es importante con respecto a la planificación del almacenamiento, señaló, además de proporcionar suficiente ancho de banda para mover grandes cantidades de datos hacia y desde la nube.

Los casos de uso de HPC ilustran desafíos y oportunidades

Brian Hopkins

Los casos de uso de computación de alto rendimiento muestran claramente que, a medida que las organizaciones exploran nuevos territorios con aplicaciones innovadoras impulsadas por HPC, los primeros usuarios y analistas se enfrentan a varios desafíos emergentes. Uno de estos desafíos se llama overfit, o la incapacidad de un sistema de aprendizaje profundo, una vez entrenado, para aplicar lo que ha aprendido a nuevos datos. Tal sistema puede «descubrir» patrones que en realidad no existen, según Brian Hopkins, vicepresidente y analista principal de Forrester Research. «Los científicos de datos han tratado de desarrollar modelos que no predigan en exceso», dijo Hopkins.

Otro obstáculo para las empresas presentado por los casos de uso de computación de alto rendimiento es más práctico: problemas de personas. «La brecha de habilidades es probablemente el factor más importante en el mercado», dijo Addison Snell, CEO de Intersect360 Research. El desafío es encontrar a ese científico de datos especial con conocimiento de una industria específica así como también de inteligencia artificial, aprendizaje automático y aprendizaje profundo. Es una combinación indispensable cuando se trata de formular preguntas e interpretar resultados. «Tienes que saber la pregunta que quieres responder», dijo Snell.

Addison Snell

Esos especialistas podrían ser demasiado raros para que algunas empresas los encuentren. En esos casos, un servicio basado en la nube, como lo que ofrece Ziff, podría ser la respuesta. De hecho, Taylor de Ziff confía poco en los científicos de datos. «Los científicos de datos son cuellos de botella. No tienen una visión para los negocios. Perseguirán un problema complejo durante meses».

Ya sea en la nube o en las instalaciones, los sistemas de computación de alto rendimiento y las tecnologías de inteligencia artificial irán de la mano por un tiempo, concuerda la mayoría.

«Los mercados comerciales han sido el gran motor de crecimiento para HPC en los últimos cinco años y lo serán durante los próximos cinco», dijo Snell, y agregó: «Es un mercado estable a largo plazo. Después de todo, no es probable que lleguemos al fin de la ciencia después de los próximos cinco años».