Cómo aplicar Big Data a las ciencias sociales y al análisis económico


Los días 6 y 7 de Julio tuvo lugar en la Universidad Politécnica de Valencia la 1-st International Conference on Advanced Research Methods and Analytics. Dividida en tres sesiones (Big Data en las Ciencias Sociales, Métodos Comparativos y Cualitativos, y Métodos de Regresión Avanzados) una de las novedades es que contó con una sesión especial del EUROSTAT (organismo encargado de las estadísticas oficiales de la Unión Europea) dedicada al uso del Big Data en la predicción inmediata (nowcasting) de indicadores macroeconómicos. La Data Practice de GFT presentó una ponencia en la sección de Market Research and Branding, dedicada al uso de algoritmos Big Data en las redes sociales (Twitter) para tener un conocimiento 360 de los clientes en una red social.

la 1-st International Conference on Advanced Research Methods and Analytics

Big Data en las Ciencias Sociales

Las tecnologías Big Data se están introduciendo paulatinamente en la investigación en Ciencias Sociales y en el ámbito del Análisis Económico, incluyendo la elaboración de estadísticas oficiales y modelos econométricos. Los métodos tradicionales generalmente intentan probar relaciones causa – efecto mediante el test de hipótesis, con especial énfasis en la calidad, validez y significado de los datos originales. Estos requerimientos limitan mucho las fuentes de datos disponibles, tanto por la calidad exigida como por el tiempo necesario para su procesamiento (generalmente censos o encuestas oficiales). Las tecnologías Big Data permiten abarcar una cantidad inmensamente mayor, más diversa y de forma en algunos casos inmediata de datos (un ejemplo sería el posible uso de la popularidad de ciertos términos en Google Trends para la elaboración de índices macroeconómicos tales como el Producto Interior Bruto casi en tiempo real). Pero ello no está exento de problemas, tanto a nivel tecnológico (almacenamiento de datos nos estructurados, ingestión en tiempo real, scrapping de páginas web) como metodológico (no todos los métodos de Machine Learning permiten descubrir relaciones causa-efecto con la misma facilidad o veracidad).

Por este motivo la 1-st International Conference on Advanced Research Methods and Analytics en Valencia fue una conferencia un tanto particular, porque durante dos días reunió a investigadores y expertos de diversas Universidades, Instituciones Gubernamentales y empresas tecnológicas internacionales para debatir e intercambiar experiencias sobre la aplicación de los métodos tradicionales de datos al entorno Big Data, la emergencia de nuevos métodos y aplicaciones y los requerimientos tecnológicos y de organización que ello conlleva.

Big Data y los indicadores de predicciones macro-económicos

La conferencia se estructuró en torno a tres secciones:

  • Sección 1. Web & Big Data in Social Sciences donde se discutieron ponencias relacionadas con temas como la minería de datos y el análisis de métricas de negocio, los problemas relacionados con la calidad y fiabilidad estadística de los datos obtenidos de las redes sociales, y las distintas aplicaciones de la geolocalización.
  • Sección 2: Qualitative and Comparative Methods: las tecnologías Big Data proveen una gran diversidad de datos que no son solo numéricos, sino cualitativos. Extraer conclusiones válidas de una gran cantidad de datos cualitativos requiere en algunos casos de técnicas especiales. En esta sesión se debatieron aspectos relacionados con la aplicación del Qualitative and Comparative Analysis (QCA), una técnica relativamente reciente desarrollada en la década de 1980, a diversos problemas de análisis Big Data.
  • Sección 3: Advanced Regression Methods donde se expuso la problemática de los métodos estadísticos “tradicionales” en el tratamiento de datos a escala Big Data, como la medición de las emociones de los consumidores en escenarios concretos, o el uso del trazado de la trayectoria visual de la mirada de los consumidores para medir la eficacia de anuncios situados en exteriores.

Big Data y los indicadores de predicciones macro-económicos

Mención especial merece la sesión especial Big data and nowcasting macroeconomic indicators organizada por EUROSTAT, la oficina de la Unión Europea (UE) encargada de suministrar información estadística oficial a los diversas instituciones de la UE. En ella, representantes de diversos organismos oficiales de Francia, UK, el Banco Central Europeo e investigadores del MIT y Oxford University entre otros, debatieron sobre los retos tecnológicos, metodológicos y de fiabilidad que supone el uso de fuentes big data tales como el análisis de tendencias haciendo uso de Google Trends o la monitorización de precios de productos en páginas web en la elaboración de indicadores rápidos de tendencias macroeconómicas. El Dr. Antonino Virgilito expuso en una sesión plenaria los distintos proyectos que la UE está llevando a cabo para desplegar una plataforma Hadoop Big Data configurada como un Data Lake de datos estructurados y no estructurados, donde las distintas instituciones puedan explotar los distintos datos agregados

Ponencia de GFT: Know your customer from Twitter contacts

Ponencia de GFT: Know your customer from Twitter contacts

La Data Practice de GFT presentó en la sección de Market Research and Branding una ponencia sobre distintos algoritmos que permiten que para un usuario dado de una red social, se pueda discriminar de forma automática y escalable que contactos son contactos personales y que contactos representan fuentes de información social, tales como cuentas de medios de comunicación, influencers o blogs, lo cual puede ser relevante en ciertas aplicaciones automáticas, tanto para proteger la privacidad como para conocer mejor el entorno público de nuestros seguidores. Estos algoritmos son simplemente una muestra de la potencialidad de estas nuevas herramientas y han sido desarrollados en el curso de diversas PoC .

El programa y participantes de la conferencia se pueden consultar aquí. Todas las ponencias se han publicado en Congress UPV Proceedings of the 1st international Conference on Advanced Research and Methdos and Analytics, CARMA2016 y pueden ser consultados libremente aquí.