Qué es una arquitectura de referencia de datos y qué utilidad tiene


El enfoque holístico de la gestión de datos nunca había sido tan importante como hoy en día, en la época del Big Data, NoSQL, el aprendizaje automático y la informática en la nube. Sin embargo, la misma riqueza del ecosistema de tecnologías y productos que permite llevar a cabo los sofisticados proyectos de análisis de datos actuales hace que los desafíos a la hora de conseguir la cantidad adecuada de control y flexibilidad sean aún más abrumadores. Aquí es donde la arquitectura de referencia de datos de GFT puede ser de ayuda. Los responsables de datos y tecnología, así como los responsables de proyectos de datos pueden aportar orden y control a sus plataformas de datos asegurándose de que mantienen un nivel de flexibilidad y adaptabilidad suficiente para ajustarse a los cambios en los requisitos del negocio.

A continuación, se expone una definición formal de «arquitectura de referencia»: es una fuente de información fidedigna sobre un tema o misión específicos que guía y restringe la creación de instancias de múltiples arquitecturas y soluciones [1].

Pero ¿qué significa realmente para mi empresa? En pocas palabras, se puede decir que una arquitectura de referencia proporciona todo lo siguiente:

  • Una guía: porque guía y restringe la creación de instancias de arquitecturas, que se deben ajustar a los principios de la arquitectura de referencia.
  • Un lenguaje común: que permite a todas las partes implicadas comunicarse claramente y sin ambigüedades.
  • Uniformidad: porque proporciona una implementación homogénea de la tecnología en toda la empresa.
  • Estandarización: que motiva el cumplimiento de especificaciones y patrones comunes para abordar cualquier decisión técnica.

¿Por qué una arquitectura de referencia de GFT?

La arquitectura de referencia de GFT está creada a partir de la experiencia práctica de nuestros equipos globales de consultoría y arquitectura. Sintetiza más de 30 años de experiencia en arquitectura, diseño e implementación de plataformas de datos para líderes del sector de los servicios financieros, en todos los ámbitos de los mercados de capitales, la banca minorista y los seguros.

La arquitectura de referencia está diseñada para ser flexible en sus implementaciones específicas, de manera que nuestros consultores pueden mezclar componentes para proporcionar la solución que más se ajuste a tus necesidades. Esto significa que, aunque todos los componentes deben estar presentes, algunos podrían ser más importantes o completos que otros. También es importante tener en cuenta que no todos los componentes se tienen que crear desde cero. Lo habitual es que un entorno de TI ya contenga elementos que se pueden utilizar para implementar algunos componentes en la arquitectura.

Sea cual sea la mezcla de nuevos desarrollos frente a la evolución de los sistemas existentes, una vez implementada una arquitectura de referencia de GFT, esta será capaz de ofrecer:

  • Una plataforma de localización de datos (Data Discovery) para toda la empresa de escala completa, integral y distribuida.
  • Preparada para escalar a Big Data, cuando el volumen, la velocidad o la variedad de los datos lo requieran.
  • Una plataforma de datos ampliable y adaptable para nuevas líneas de negocio y formatos de datos.
  • Capacidades de Data Discovery en todas las aplicaciones y líneas de negocio basadas en el catálogo y registro de datos estándar.
  • Datos a petición mediante API de autoservicio y servicios que admiten semántica de búsqueda, recuperación, publicación y suscripción.
  • Uniformidad de los datos en diferentes líneas de negocio reconciliadas desde múltiples fuentes.
  • Una plataforma eficiente y sólida que emplea escalabilidad horizontal para la tolerancia a fallos, el rendimiento y la estabilidad de la plataforma.
  • Características de informes, análisis y modelización para el usuario con control de derechos y accesos.
  • Una plataforma de ciencia de datos unificada en la que los científicos de datos pueden aplicar el aprendizaje automático y otras técnicas de análisis avanzadas en un conjunto de datos bien elaborado y uniforme a nivel de toda la empresa.
  • Una ventanilla única para las necesidades de datos de la empresa que cubre todo el ciclo de vida de los datos, desde la generación y la incorporación de los datos hasta los análisis y los informes de los clientes.
  • Una función de gestión de datos sólida integrada en la arquitectura de la plataforma.

Además, la arquitectura de referencia de GFT viene con una serie de recomendaciones tecnológicas para cada uno de los componentes a forma de guía, basada en nuestra experiencia con proyectos reales. Esto ayuda enormemente en la fase de definición del stack tecnológico de la aplicación.

Los pilares de la arquitectura de referencia de datos de GFT

La arquitectura de referencia de datos de GFT está construida sobre seis pilares fundamentales, que se representan en este diagrama:

Componentes de la arquitectura de referencia de GFT

Cada uno de estos pilares o capas proporciona un grupo de servicios independiente, y estos se integran unos con otros para proporcionar todas las funciones de la plataforma. Estos pilares se pueden describir de la manera siguiente:

  • Capa de gobernanza: la implementación de esta capa almacena y mantiene la seguridad, la gobernanza de datos y las políticas del ciclo de vida de los datos que aplican los componentes de la capa de la plataforma. Incluye los procesos y políticas que permiten mantener el orden en la plataforma de datos y garantizar que los metadatos nos permitan implementar las prioridades del negocio.
  • Capa de infraestructura: servicios de uso y gestión de la plataforma necesarios para el funcionamiento continuo de la arquitectura. Esto incluye servicios de DevOps para permitir la gestión permanente de entregas, clústeres y recursos, así como el abastecimiento de la nube, entre otros.
  • Capa de la plataforma: una combinación de productos y componentes que proporciona los servicios básicos para el alojamiento y ejecución de aplicaciones, facilitando el trabajo en tareas como el acceso a datos, manipulación de los datos, ejecución de lógica de negocio, etc.
  • Capa de ingestión: cualquier conjunto de datos de clientes externos e internos relevante para los usuarios se puede cargar a la plataforma mediante la capa de ingestión, de una manera configurable y automatizada.
  • Capa de aplicaciones: ubicación para todas las actividades específicas de las aplicaciones de la empresa que admite la plataforma. Se espera que estas consten de procesamiento y cálculo de datos que precisen gran cantidad de recursos adecuados a las soluciones de la plataforma de datos de la empresa. Además de esto, también podría requerirse una sofisticada gestión, organización y orquestación de los recursos.
  • Capa de interacción con el cliente: proporciona funciones de interacción para el usuario, como análisis, búsquedas, minería de datos, informes estándar, etc.

¿Cómo se pone en marcha la arquitectura de referencia de datos de GFT?

Está claro que la adopción de una arquitectura de referencia de datos completa es una tarea compleja. Además, precisamente en aquellos entornos en los que su adopción sería más beneficiosa es donde el desafío puede parecer más abrumador.

Teniendo esto en mente, GFT ha diseñado una hoja de ruta detallada para adoptar la arquitectura de referencia de datos. Este proceso permite una transición gradual y ordenada de un ecosistema caracterizado por procesos de gestión de datos incorrectos o inexistentes, mala calidad y/o duplicación de datos, e incoherencias a un entorno controlado en el que se puede utilizar una visión de los datos coherente y unificada al nivel de toda la empresa para generar nuevas perspectivas que ofrezcan un valor de negocio real. A un nivel elevado, este proceso se puede dividir en las tres fases siguientes:

  • Datos 1.0 – Almacenamiento. El primer paso es entender el contexto y las capacidades del entorno actual. Proporcionar la infraestructura necesaria para soportar la función de almacenamiento de datos –ya sea de manera local, en la nube o en un modelo híbrido– es esencial para empezar construir los servicios. Esta fase también podría implicar la implementación de una infraestructura para una solución de almacenamiento de datos basada en Hadoop. Las funciones de gobernanza de datos se construyen desde los cimientos a medida que se crea la capacidad de almacenamiento.
  • Datos 2.0 – Gestión de datos. En esta fase se configuran las herramientas de gobernanza de datos, que incluyen un catálogo de datos y metadatos, una funcionalidad de trazabilidad de datos, frameworks de calidad de datos, etc. Después se puede empezar a incorporar los datos al sistema y a aplicar el modelo de datos canónico o empresarial para generar datos estandarizados a partir de los datos sin procesar generados por los sistemas de origen.
  • Datos 3.0 – Nuevas perspectivas. En esta fase, la plataforma está lista para aceptar nuevos sistemas que se han desarrollado desde cero para aprovechar los servicios ofrecidos por la plataforma, así como para integrar sistemas heredados que empiezan a usar estos servicios. Los patrones de acceso a los datos y las API se ponen en línea y los servicios de análisis se pueden empezar a utilizar para generar nuevas perspectivas desde las vistas de datos unificadas proporcionadas por la plataforma.

Conclusión

A medida que surgen nuevas tecnologías de análisis basadas en datos, incluidas las aplicaciones cognitivas con una base de inteligencia artificial, la adopción de una visión bien gestionada, coherente y flexible de todo el conjunto de datos de la empresa se convierte en una necesidad que ya no solo resulta útil, sino imprescindible. Aunque esta tarea parezca un desafío, la arquitectura de referencia de datos de GFT puede ayudarte a desarrollar tus sistemas existentes hacia una plataforma basada en datos que puede soportar estas nuevas aplicaciones, junto con casos de uso de Business Intelligence y análisis más tradicionales.

Una plataforma de procesamiento de datos construida con la arquitectura de referencia de datos de GFT

 


[1] De la Oficina de Administración y Presupuesto de EE. UU. (OMB). El enfoque común de la arquitectura empresarial federal (The Common Approach to Federal Enterprise Architecture). Washington: Oficina Ejecutiva del Presidente de EE. UU., Oficina de Administración y Presupuesto, 2012.