Tendencias en análisis de datos para 2020

El mundo de la analítica de datos está creciendo con nuevas capacidades y alcance en cada industria. Con las transformaciones digitales que ocurren en organizaciones de todo el mundo, 2019 incluyó tendencias de más empresas que aprovechan más datos para tomar mejores decisiones. Echa un vistazo a las tendencias de análisis de datos que se esperan para 2020.

Las empresas de todo el mundo en una amplia variedad de industrias han pasado por lo que se suele llamar transformación digital . Es decir, las empresas están tomando procesos comerciales tradicionales, como la contratación, el marketing, la fijación de precios y la estrategia, y están utilizando tecnologías digitales para mejorarlos 10 veces.

La analítica de datos se ha convertido en una parte integral de esas transformaciones. Con analistas de datos, las organizaciones ya no tienen que tomar sus decisiones importantes basadas en corazonadas, mejores suposiciones o pequeñas encuestas. En cambio, están analizando grandes cantidades de datos reales para basar sus decisiones en hechos reales basados ​​en datos. De eso se trata realmente la analítica de datos crear valor a través de los datos.

Esta tendencia de integrar datos en los procesos comerciales centrales ha crecido significativamente, con un aumento en el interés de más de cuatro veces en los últimos 5 años, según  Google Search Trends . Los datos están dando a las empresas una gran ventaja sobre sus competidores. Con más datos y mejores científicos de datos para usarlos, las compañías pueden adquirir información sobre el mercado que sus competidores podrían ni siquiera saber que existían. Se ha convertido en un juego de datos o perece.

Google ha buscado la popularidad del análisis de datos en los últimos 5 años. Generado por  Google Trends .

En el mundo digital en constante evolución actual, mantenerse por delante de la competencia requiere innovación constante. Las patentes han pasado de moda, mientras que las metodologías ágiles y la captura de nuevas tendencias rápidamente están muy presentes.

Las organizaciones ya no pueden confiar en sus sólidos métodos de antaño. Si aparece una nueva tendencia como Data Science,  Inteligencia Artificial o  Blockchain , deben anticiparse de antemano y adaptarse rápidamente.

Las siguientes son las tendencias más actuales del análisis de datos para el año 2020. Estas son tendencias que han generado un interés creciente este año y continuarán creciendo en 2020.

Análisis de datos automatizados

Incluso en la era digital de hoy, el análisis de datos todavía requiere mucho trabajo manual. Almacenar datos, limpiar datos, visualizar y explorar datos, y finalmente, modelar datos para obtener algunos resultados reales. Ese trabajo manual solo está pidiendo automatización y, por lo tanto, ha sido el auge del análisis de datos automatizada y el aprendizaje automático.

Casi cada paso del análisis de datos ha sido o está en proceso de automatizarse.

La limpieza automática de datos se ha investigado mucho en los últimos años. La limpieza de big data a menudo ocupa la mayor parte del tiempo costoso de un analista de datos. Tanto las startups como las grandes empresas como IBM ofrecen automatización y herramientas para la limpieza de datos.

Otra gran parte del análisis de datos, conocida como ingeniería de características, ha sufrido una interrupción significativa. Featuretools ofrece una solución para la ingeniería automática de características. Además de eso, las técnicas modernas de deep learning, como las redes neuronales recurrentes, aprenden sus propias características sin la necesidad de un diseño manual de características.

Quizás la automatización más importante se está produciendo en el espacio de Machine Learning. Tanto Data Robot como H2O se han establecido en la industria al ofrecer plataformas de aprendizaje automático de extremo a extremo, lo que les da a los analistas de datos un manejo muy fácil de la gestión de datos y la construcción de modelos. AutoML, un método para el diseño y la capacitación de modelos automáticos, también se ha disparado durante 2019, ya que estos modelos automatizados superan el estado de la técnica. Google, en particular, está invirtiendo fuertemente en  Cloud AutoML .

En general, las empresas están invirtiendo fuertemente en la construcción y compra de herramientas y servicios para el análisis de datos automatizado. Cualquier cosa para hacer el proceso más barato y fácil. Al mismo tiempo, esta automatización también atiende a organizaciones más pequeñas y menos técnicas que pueden aprovechar estas herramientas y servicios para tener acceso a la analítica de datos sin grandes inversiones.

Privacidad y seguridad de datos

La privacidad y la seguridad son siempre temas delicados en tecnología. Todas las empresas quieren moverse rápido e innovar, pero perder la confianza de sus clientes por cuestiones de privacidad o seguridad puede ser fatal. Por lo tanto, se ven obligados a convertirlo en una prioridad, al menos al mínimo para no filtrar datos privados.

La privacidad y la seguridad de los datos se han convertido en un tema increíblemente candente durante el año pasado, ya que los problemas se ven magnificados por enormes hacks públicos. Recientemente, el 22 de noviembre de 2019, se descubrió un servidor expuesto sin seguridad en Google Cloud. El servidor contenía la información personal de  1.2 mil millones de  personas únicas,  incluidos nombres, direcciones de correo electrónico, números de teléfono e información de perfil de LinkedIn y Facebook. Incluso el FBI entró a investigar. Es una de las mayores exposiciones de datos de todos los tiempos.

¿Cómo llegaron los datos allí? ¿A quién le pertenece? ¿Quién es responsable de la seguridad de esos datos? Estaba en un servidor Google Cloud, que realmente cualquiera podría haber creado.

Ahora podemos estar seguros de que el mundo entero no eliminará sus cuentas de LinkedIn y Facebook después de leer las noticias, pero sí levanta algunas cejas. Los consumidores son cada vez más cuidadosos de a quién le dan su dirección de correo electrónico y número de teléfono.

Una empresa que puede garantizar la privacidad y la seguridad de los datos de sus clientes encontrará que es mucho más fácil convencer a los clientes para que les proporcionen más datos (al continuar usando sus productos y servicios). También asegura que, si su gobierno promulga alguna ley que  requiera  protocolos de seguridad para los datos de los clientes, ya están bien preparados. Muchas compañías están optando por el cumplimiento de  SOC 2  para tener alguna prueba de la fortaleza de su seguridad.

Todo el proceso de análisis se alimenta de datos, pero la mayoría no es anónimo. En las manos equivocadas, esos datos podrían usarse para alimentar catástrofes globales y alterar la privacidad y el sustento de la gente común. Los datos no son solo números en bruto, ya que representan y describen personas reales y cosas reales.

A medida que evolucione la ciencia de datos, también veremos la transformación de los protocolos de privacidad y seguridad que rodean los datos. Eso incluye procesos, leyes y diferentes métodos para establecer y mantener la seguridad y la integridad de los datos. No será una sorpresa si la ciberseguridad se convierte en la nueva palabra de moda del año.

Análisis de datos de gran tamaño en la nube

A lo largo de los años en que la analítica de datos ha crecido de un nicho a su propio campo completo, los datos disponibles para el análisis también han explotado en tamaño. Las organizaciones están recopilando y almacenando más datos que nunca.

El volumen de datos que una compañía típica de Fortune 500 podría necesitar analizar ha superado con creces lo que una computadora personal puede manejar. Una PC decente podría tener algo así como 64 GB de RAM con una CPU de 8 núcleos y 4 TB de almacenamiento. Eso funciona bien para proyectos personales, pero no tan bien cuando trabaja para una compañía global como un banco o minorista que tiene datos que cubren a millones de clientes.

Ahí es donde la computación en la nube entra en el campo. La computación en la nube ofrece la capacidad para que cualquier persona en cualquier lugar acceda a una potencia de procesamiento prácticamente ilimitada. Los proveedores de la nube como  Amazon Web Services  (AWS) ofrecen servidores con hasta 96 núcleos de CPU virtuales y hasta 768 GB de RAM. Estos servidores se pueden configurar en un grupo de autoescalado donde cientos de ellos se pueden iniciar o detener sin mucho retraso, potencia informática a pedido.

Un centro de datos de Google Cloud

Más allá de la informática, las empresas de informática en la nube también ofrecen plataformas completas para el análisis de datos. Google Cloud ofrece una plataforma llamada BigQuery , un almacén de datos escalable y sin servidor que brinda a los científicos de datos la capacidad de almacenar y analizar petabytes de datos, todo en una sola plataforma. BigQuery también se puede conectar a otros servicios de GCP para Data Science. Usando  Cloud Dataflow  para crear canales de transmisión de datos,  Cloud DataProc  para ejecutar Hadoop o Apache Spark en los datos, o usando BigQuery ML para construir modelos de Machine Learning en grandes conjuntos de datos.

Todo, desde datos hasta potencia de procesamiento, está creciendo. A medida que el análisis de datos madure, es posible que eventualmente Data Science se realice únicamente en la nube debido al gran volumen de datos.

Procesamiento de lenguaje natural

El procesamiento del lenguaje natural  (PNL) se ha introducido firmemente en el análisis de datos después de grandes avances en la investigación de aprendizaje profundo.

El análisis de datos comenzó como un análisis de números puramente en bruto, ya que esta era la forma más fácil de manejarlo y recopilarlo en hojas de cálculo. Si necesitaras procesar cualquier tipo de texto, por lo general necesitarías categorizarlo o de alguna manera convertirlo en números.

Sin embargo, es bastante difícil comprimir un párrafo de texto en un solo número. El lenguaje y el texto natural contienen tantos datos e información enriquecidos; solíamos perderlos porque no teníamos la capacidad de representar esa información como números.

Los enormes avances en PNL a través del deep learning están impulsando la integración completa de PNL en nuestro análisis de datos regular. Las redes neuronales ahora pueden extraer información de grandes cuerpos de texto increíblemente rápido. Son capaces de clasificar el texto en diferentes categorías, determinar el sentimiento sobre un texto y realizar análisis sobre la similitud de los datos de texto. Al final, toda esa información se puede almacenar en un único vector de función de números.

Como resultado, PNL se convierte en una herramienta poderosa en el análisis de datos. Grandes almacenes de datos de texto, no solo respuestas de una palabra sino párrafos completos, se pueden transformar en datos numéricos para el análisis estándar. Ahora podemos explorar conjuntos de datos que son mucho más complejos.

Por ejemplo, imagina una web de noticias que quiere ver qué temas están ganando más visitas. Sin PNL avanzado, todo lo que se podría utilizar serían las palabras clave, o tal vez solo una corazonada de por qué un título en particular funcionó bien en comparación con otro. Con la PNL de hoy, podríamos  cuantificar  el texto en el sitio web, comparando párrafos enteros de texto o incluso páginas web para obtener información mucho más completa.

La ciencia de datos en su conjunto está creciendo. A medida que crecen sus capacidades, se está integrando en cada industria, tanto técnica como no técnica, y en todas las empresas, tanto pequeñas como grandes.

A medida que el campo evoluciona a largo plazo, no sería una sorpresa verlo democratizado a gran escala y estar disponible para muchas más personas como una herramienta en nuestra caja de herramientas de software.

¿quieres tener una web espectacular que impacte a tus clientes y a su vez sea funcional rápida y segura? Contacta conmigo