Getty Images/iStockphoto

Reportaje

Cómo la gestión automatizada de metadatos mejora la información empresarial

La automatización de la gestión de metadatos puede reducir el tiempo dedicado a tareas como el etiquetado y catalogación de datos. Explore cómo la gestión automatizada de metadatos está mejorando la calidad de los datos.

Mary K. Pratt
por
Publicado:24 jun 2021

Los estudios han demostrado constantemente que las organizaciones basadas en datos superan a sus contrapartes sin datos, con programas basados ​​en datos que mejoran todo, desde las relaciones con los clientes hasta las operaciones y la previsión.

Sin embargo, los líderes de muchas organizaciones todavía luchan por hacer que sus programas de datos sean eficientes y efectivos, y los ejecutivos están reportando mucho. La "Encuesta para ejecutivos de Big Data e IA de 2021" de NewVantage Partners encontró que el 99% de los ejecutivos de nivel C que respondieron están invirtiendo en iniciativas de datos, y el 96% dijo que ha tenido resultados comerciales medibles de esos programas de datos.

Pero según la encuesta de NewVantage Partners, solo el 24% dijo que había creado una organización basada en datos, otro 24,2% dijo que había forjado una cultura de datos y apenas el 39,3% dijo que estaba gestionando los datos como un activo empresarial.

Las razones de tales luchas son variadas.

Los problemas con la gobernanza de datos y, en particular, la gestión de metadatos, son ciertamente factores, según analistas, ejecutivos y asesores de gestión.

Considere las estadísticas de Gartner, la firma de asesoría e investigación tecnológica, la cual informó que sus clientes dedican el 90% o más de su tiempo a preparar datos para análisis avanzados, ciencia de datos e ingeniería de datos.

"Una gran parte de ese esfuerzo se dedica a abordar metadatos inadecuados (faltantes o erróneos) o inferir metadatos faltantes", según el informe de Gartner "El estado de la gestión de metadatos: las soluciones de gestión de datos deben convertirse en plataformas de metadatos aumentadas".

La gestión sólida de metadatos es esencial tanto para una buena gobernanza de datos como para un programa de datos eficaz, pero no es una tarea fácil. El volumen de trabajo involucrado con la gestión de metadatos requiere automatización y, en última instancia, inteligencia, para producir los mayores beneficios.

La gestión de metadatos aumentada y automatizada puede reducir el tiempo dedicado al etiquetado, catalogación y vinculación de datos; proporcionando inteligencia para ayudar a descubrir conocimientos y conexiones que serían difíciles de identificar de otra manera.

La automatización también ayuda a resolver problemas de escala que no eran un problema hace 10 o 20 años cuando la cantidad de fuentes de datos era mucho menor, dijo Max Martynov, director de tecnología de la firma de servicios de TI, Grid Dynamics.

"Ahora hay una gama más amplia de datos y más tipos de datos: transmisión, imágenes, videos, voz y texto, estructurados y no estructurados", dijo Martynov. "Hay más fuentes de datos, más datos, todo es más rápido, cambia más rápido. Se ha vuelto mucho más difícil administrar todo manualmente. Necesita algo de automatización".

¿Qué es la gestión de metadatos?

Los metadatos a menudo se describen como datos sobre datos. Si bien eso es cierto, la definición no es particularmente informativa.

Más específicamente, los metadatos son información que describe y da contexto a los datos para que los datos en sí puedan entenderse mejor. Es algo así como quién, qué, cuándo y dónde detrás de la recopilación de datos.

Los elementos típicos de metadatos incluyen título y descripción, etiquetas y categorías, quién los creó o modificó, cuándo fueron creados o modificados y quién puede acceder a ellos.

Los metadatos también se pueden clasificar en diferentes grupos, siendo administrativos, descriptivos y estructurales tres categorías comunes.

Los metadatos administrativos cubren quién es el propietario de los datos, cualquier restricción sobre los datos y cómo se pueden usar. Los metadatos descriptivos cubren detalles sobre quién creó los datos y qué contienen. "Estructural" se refiere a cómo está organizado el conjunto de datos.

Estos detalles sobre los datos empresariales son esenciales para comprender y confiar en los datos.

Los metadatos también garantizan que a los equipos de datos empresariales no les falten conjuntos de datos críticos para sus iniciativas de análisis. Los análisis a los que les faltan conjuntos de datos importantes suelen producir resultados incompletos o defectuosos.

Es esencial recordar esto para las muchas organizaciones que aún se encuentran en las primeras etapas de sus iniciativas de gestión de metadatos.

"Para la mayoría de las organizaciones, los metadatos tienden a ser una ocurrencia tardía o un feo hijastro. Incluso las empresas que se enfocan en los metadatos tienden a enfocarse solo en las definiciones o tal vez un poco en el linaje de los datos", dijo Doug Laney, miembro de innovación de la firma consultora West Monroe.

Laney dijo que un buen programa de administración de metadatos permite a los equipos de datos y tecnología encontrar y acceder de manera más eficiente y efectiva a todos los datos que necesitan para los análisis.

"Es fundamental comprender bien los datos y las relaciones dentro de los datos", dijo, y agregó que la falta de gestión de metadatos es "como tener una biblioteca sin un catálogo de tarjetas".

Sin embargo, ahí es donde se encuentran la mayoría de las organizaciones, ya que luchan por capturar datos por adelantado y comprender sus elementos básicos.

"No están rastreando o no profundizan en todos los elementos importantes que pueden recopilar", dijo el analista de Gartner, Alan Dayley, y señaló que, como resultado, muchos equipos de datos empresariales "se toman mucho tiempo para limpiar y preparar los datos porque les falta información sobre los metadatos y están haciendo inferencias".

Ventajas de la gestión automatizada de metadatos

Según los expertos, las organizaciones con sólidos programas de gestión de metadatos que incluyen la automatización, y aquellas que también han introducido algo de inteligencia, generalmente obtienen las siguientes ventajas y beneficios:

  • Una colección más completa de conjuntos de datos para análisis y consultas que luego producen resultados más detallados y precisos. "Cuantos más pones, mejores son los resultados", dijo Dayley.
  • Mayores niveles de eficiencia, ya que los equipos de datos pueden identificar, encontrar y acceder más rápidamente a los datos que necesitan.
  • Una mayor confianza en los datos que se utilizan para análisis, porque los equipos pueden rastrear fácilmente el linaje de los datos y citar cualquier otra información solicitada o requerida sobre los datos; en consecuencia, también hay más confianza en los resultados de los análisis.
  • Mejor cumplimiento de las regulaciones de seguridad y privacidad, ya que una empresa puede administrar automáticamente más instancias (si no todas) de datos protegidos y confidenciales, así como identificar rápidamente dónde existen datos específicos, como la información del cliente.
  • Inferencia: "Ahí es cuando comienza a proporcionar respuestas antes de tener las preguntas", dijo Dayley.

¿Qué es la gestión automatizada de metadatos?

La claridad de las categorías y elementos de metadatos puede ser engañosa, ya que el alcance de los metadatos es enorme.

"Cuando se habla de millones de elementos de datos, no hay forma de procesarlos manualmente; se necesita cierto nivel de automatización", dijo Dayley.

Gartner realiza un seguimiento de unos 60 proveedores que ofrecen tecnología de gestión de metadatos. Dayley señaló que algunos proveedores ofrecen productos independientes, mientras que otros tienen herramientas de gestión de metadatos integradas en conjuntos más grandes, como soluciones de ciencia de datos. Además, algunas soluciones de gestión de metadatos incluyen inteligencia, por lo que las herramientas no solo automatizan la gestión y el llenado de catálogos de datos, sino que también permiten a los equipos de datos utilizar la inteligencia para sacar a la luz nuevos conocimientos y correlaciones dentro de los conjuntos de datos.

"Ahí es donde entra en juego el aprendizaje automático, reconociendo elementos con fines analíticos o de datos operativos", dijo Dayley.

Sin embargo, la mayoría de las empresas están lejos de habilitar tales capacidades; Dayley estimó que solo del 5% al ​​20% de las organizaciones están automatizando la gestión de metadatos y menos del 5% están agregando inteligencia a esta función.

Investigue más sobre Almacenamiento flash y en drives