La transformación digital abarca cada vez un espectro más amplio de disciplinas. Big Data, Inteligencia artificial, e-commerce, billeteras digitales, data science, cloud computing y la lista sigue y sigue hacia más desarrollos y más especialidades.

Y es que la forma en que trabajamos se transforma de una manera acelerada. De acuerdo con las proyecciones de Microsoft y Linkedln, para el 2025, se espera que haya más de 10 millones de vacantes abiertas en tecnología y ciencia de datos en Latinoamérica.

En Colombia, de acuerdo con el Servicio Público de Empleo, solamente en el mes de abril de 2022, se registraron 6.480 puestos de trabajo que exigían perfiles con conocimientos y habilidades en ciencia de datos. Una de las profesiones que viene ganando más relevancia en esta transformación digital es la del arquitecto en Big Data, el profesional encargado de plantear la estrategia de datos en las compañías. La Universitat Carlemany, universidad digital internacional, nos aproxima al papel, las características y roles que desempeña este profesional.

¿Qué es un arquitecto de Big Data o Big Data architect y qué funciones tiene?

El arquitecto Big Data es un profesional que plantea la estrategia de datos de la organización. Esto es, cómo captarlos, clasificarlos y analizarlos para inferir conclusiones y generar valor con todo el torrente de datos que genera en la empresa.

Las funciones de este especialista son varias. Hay que destacar las siguientes, porque son las más relevantes:

Identificar las fuentes de los datos

La identificación de las fuentes de datos internas y externas, esencial por dos motivos, en primer lugar, para comprobar si estas son fiables y sí se ajustan a las metas que se han fijado y en un segundo lugar para revisar la veracidad de los datos.

Desarrollo de la estrategia de datos

El desarrollo de la estrategia de datos es clave para decidir cómo se trabajará con estos. Toda esta estrategia une cuestiones como el desarrollo de bases de datos, la gestión de las mismas y, si es caso, la implementación de su almacenamiento conforme con la legislación de protección de datos.

Planificar qué soluciones Big Data se utilizarán

La planificación de soluciones Big Data es otra de las funciones de este profesional. Hay que señalar que las soluciones existentes son diversas, tanto por capacidad de almacenamiento como por la admisión de filtros. Por lo tanto, este es otro de los aspectos que conviene tener en cuenta.

Gestionar la arquitectura de datos

La gestión de la arquitectura de datos es una cuestión central. En este caso, se trata de elegir desde la plataforma en la que se van a administrar, hasta la gestión de su arquitectura, así como el tratamiento. Esta área es importante porque consiste en tratar el día a día de los datos.

Gestionar los datos (entradas y salidas)

La gestión de los datos se centra en las entradas y salidas de los mismos. Por ejemplo, seleccionando cuáles son los datos concretos que se van a tratar en un determinado momento. Otra cuestión es la depuración de datos que no tengan que estar en la base o que hayan caducado. En definitiva, conseguir que estos datos generen valor y no creen problemas a la organización.

Realizar auditorías cuando se considere oportuno

La realización de auditorías es una de las maneras de asegurarse de que la arquitectura de datos se está cumpliendo. Además, es una forma de asegurarse que no hay ninguna irregularidad en los protocolos que se hayan establecido.

¿Qué competencias y habilidades necesita tener un arquitecto en Big Data? Los arquitectos en Big Data, además de la formación académica deben desarrollar competencias y habilidades que les permitan desenvolverse bien en el cloud computing, en el almacenamiento, minería de datos. Por supuesto, deben desarrollar amplias habilidades en programación y aprendizaje automático. Adicional, HTML, Java, C++ o Python son imprescindibles.

La capacidad de actualización constante será primordial en el arquitecto de Big Data. El conocimiento de las últimas tecnologías será primordial. Hadoop, MapReduce o HBase, entre otras deberán estar a la orden del día. ¿Cuál es el futuro para la profesión de arquitecto en Big Data? En el futuro la profesión de arquitecto de Big Data será cada vez más relevante. El tratamiento de datos va a ser cada vez más importante en las compañías, de manera que hay que contar con especialistas que los trabajen. En los próximos años, las empresas van a trabajar de forma automatizada, de manera que diseñar una arquitectura de datos será fundamental.

El arquitecto Big Data es un profesional que ayuda a que la estrategia de datos sea la correcta. De ello dependerá en parte el éxito de los entornos digitales de las compañías.