Introducción a la Ciencia de Datos Una Guía para Principiantes

Introducción a la Ciencia de Datos

No has estado viviendo debajo de una roca durante las últimas dos décadas, por lo que es posible que creas saber, más o menos, qué es la ciencia de datos. Probablemente estés esperando obtener una breve visión general de lo que implica, para aprender lo que necesitas para comenzar a aprender ciencia de datos y conseguir un trabajo.

Aquí están los aspectos más destacados de lo que este artículo te dará:

El punto principal de la ciencia de datos: los datos entran y surgen ideas. El trabajo de un científico de datos es gestionar ese flujo de datos a ideas en cada etapa.
Las herramientas, tecnologías y habilidades que necesitarás para conseguir un trabajo en ciencia de datos.
El panorama general de la ciencia de datos como carrera.

Si eso suena a lo que estás buscando, vamos a sumergirnos.

¿Qué es la Ciencia de Datos?

Como dije antes, la ciencia de datos se resume mejor como un flujo de datos a ideas. Como científico de datos, sin importar en qué empresa estés, estarás realizando tareas como:

Extrayendo datos
Limpiando o masajeando los datos
Analizando los datos
Identificando patrones o tendencias
Construyendo modelos de predicción y estadísticos basados en los datos
Visualizando y comunicando los datos

En resumen, estás resolviendo problemas, haciendo predicciones, optimizando procesos y guiando la toma de decisiones estratégicas.

Debido a que muy pocas empresas comprenden exactamente lo que hace un científico de datos, es probable que también tengas otras responsabilidades. Algunos empleadores esperan que los científicos de datos agreguen responsabilidades de infosec o ciberseguridad a su rol. Otros pueden esperar que los científicos de datos tengan experiencia en computación en la nube, gestión de bases de datos, ingeniería de datos o desarrollo de software. Prepárate para llevar muchos sombreros.

Este trabajo es importante no porque Harvard Business Review lo llamó el trabajo más sexy del siglo XXI, sino porque los datos están aumentando en volumen y muy pocas personas saben cómo convertir los datos en ideas. Como científico de datos, ves el bosque por los árboles.

Volumen de datos/información creados, capturados, copiados y consumidos en todo el mundo desde 2010 hasta 2020, con previsiones desde 2021 hasta 2025

Conceptos Clave en la Ciencia de Datos

Ahora tienes la imagen general. Veamos algunos de los conceptos clave en la ciencia de datos. Si puedes imaginar ese flujo de datos a ideas, identificaré dónde entra en juego cada concepto clave.

Manipulación de datos

Al comienzo mismo de ese flujo, tienes una mezcla de datos, de calidad mixta. Hay una estadística famosa (e incorrecta) que dice que los científicos de datos pasan el 80% de su tiempo limpiando datos. Si bien probablemente no sea tan alto como eso, construir embudos y masajear datos es una gran parte del trabajo.

Imagina que eres un científico de datos para una empresa de comercio electrónico. Allí, la manipulación de datos podría implicar limpiar y transformar datos de transacciones de clientes, fusionar y reconciliar datos de diferentes fuentes como análisis de sitios web y sistemas de gestión de relaciones con clientes (CRM), y manejar datos faltantes o inconsistentes.

Es posible que necesites estandarizar formatos, eliminar duplicados o NaNs, y lidiar con valores atípicos o entradas erróneas. Este proceso asegura que los datos sean precisos, consistentes y estén listos para su análisis.

Exploración y visualización de datos

Una vez que los datos han sido domados, ahora puedes comenzar a analizarlos. Es posible que pienses que los científicos de datos comienzan a aplicar modelos estadísticos a los datos de inmediato, pero la verdad es que hay demasiados modelos. Primero, necesitas comprender el tipo de datos que tienes. Luego puedes buscar ideas y predicciones significativas.

Por ejemplo, si eres un científico de datos en GitHub, la exploración de datos implicaría analizar la actividad y participación de los usuarios en la plataforma. Podrías examinar métricas como el número de commits, pull requests y problemas, así como las interacciones y colaboraciones de los usuarios. Al explorar estos datos, obtienes una comprensión de cómo los usuarios interactúan con la plataforma, identificas repositorios populares y descubres tendencias en las prácticas de desarrollo de software.

Y debido a que la mayoría de los humanos interpretan el significado de las imágenes mejor que el de las tablas, la visualización de datos también se incluye en la exploración de datos. Por ejemplo, como científico de datos de GitHub, podrías usar gráficos de líneas para mostrar el número de commits a lo largo del tiempo. Los gráficos de barras podrían usarse para comparar la popularidad de diferentes lenguajes de programación utilizados en la plataforma. Los gráficos de redes podrían ilustrar colaboraciones entre usuarios o repositorios.

Análisis estadístico

En este punto del proceso de datos a ideas en la ciencia de datos, has cubierto los dos tercios iniciales. Los datos están dentro, estás explorándolos. Ahora es el momento de extraer ideas. Finalmente, estás listo para aplicar algunos análisis estadísticos a tus números.

Imagina que eres un científico de datos en una empresa como Hello Fresh. Podrías realizar análisis estadísticos como regresión lineal para comprender los factores que influyen en la pérdida de clientes, algoritmos de agrupamiento para segmentar a los clientes según sus preferencias o comportamiento, o pruebas de hipótesis para determinar la efectividad de las campañas de marketing. Estos análisis estadísticos ayudan a descubrir relaciones, patrones y hallazgos significativos dentro de los datos.

Aprendizaje automático

Lo interesante de los científicos de datos es que predicen el futuro. Visualiza el proceso de datos a ideas. Tienes ideas sobre cómo fueron las cosas en el pasado y cómo están ahora. Pero tu jefe podría preguntar: bueno, ¿qué sucede si agregamos un nuevo producto a nuestra oferta? ¿Qué sucede si cerramos los lunes? ¿Qué sucede si convertimos la mitad de nuestra flota a vehículos eléctricos?

Como científico de datos, miras tu bola de cristal y creas predicciones inteligentes utilizando el aprendizaje automático. Por ejemplo, supongamos que eres un científico de datos en una empresa logística como FedEx. Podrías utilizar datos históricos de envío, datos meteorológicos y otras variables relevantes para desarrollar modelos predictivos. Estos modelos pueden pronosticar volúmenes de envío, estimar tiempos de entrega, optimizar la planificación de rutas o predecir posibles retrasos.

Utilizando algoritmos de aprendizaje automático como regresión, análisis de series temporales o redes neuronales, podrías predecir el impacto de agregar un nuevo centro de distribución en los tiempos de entrega, simular los efectos de diferentes cambios operativos en los costos de envío o pronosticar la demanda de clientes para servicios de envío específicos.

Comunicación e inteligencia empresarial

El concepto más importante en la ciencia de datos no es el aprendizaje automático ni la limpieza de datos. Es la comunicación. Tú presentas esas ideas a los tomadores de decisiones en tu empresa que no saben distinguir una red neuronal de un algoritmo de aumento de gradiente. La comunicación y el conocimiento empresarial son conceptos clave en la ciencia de datos.

Imagina que eres un científico de datos en una empresa como Meta. Acabas de descubrir una correlación significativa entre las métricas de participación de los usuarios y las tasas de retención de clientes, pero necesitas compartirlo con un vicepresidente de marketing que no está familiarizado con el concepto de “significancia estadística”. También necesitas conocer el valor de vida del cliente (CLV) para poder explicar la relevancia e importancia de tu hallazgo.

Habilidades esenciales para los científicos de datos

Hemos cubierto los conceptos clave en la ciencia de datos. Ahora echemos un vistazo a las habilidades esenciales que se esperará que tengas como científico de datos. He cubierto algunas habilidades más detalladas para ser un científico de datos aquí si estás interesado en aprender más.

Lenguajes de programación, consultas de datos y visualización de datos

Es difícil clasificar las habilidades según su importancia: los científicos de datos necesitan una combinación de habilidades, todas igual de importantes. Dicho esto, si hay una habilidad que absolutamente no puedes prescindir, tiene que ser la programación.

La programación se divide en varias facetas: necesitas lenguajes de programación, típicamente R o Python (o ambos). También necesitas lenguajes de consulta para recuperación y manipulación de datos, como SQL (Structured Query Language) para bases de datos relacionales. Por último, probablemente necesitarás conocer otros lenguajes o programas como Tableau para la visualización de datos, aunque vale la pena mencionar que actualmente se realiza mucha visualización de datos con Python o R.

Matemáticas

Recuerdas las estadísticas que mencioné antes? Como científico de datos, necesitas saber cómo hacer matemáticas. La visualización de datos solo llega hasta cierto punto antes de que necesites alguna significancia estadística real. Las habilidades matemáticas críticas incluyen:

Probabilidad y Estadística: Distribuciones de probabilidad, pruebas de hipótesis, inferencia estadística, análisis de regresión y análisis de varianza (ANOVA). Estas habilidades te permiten tomar decisiones estadísticas sólidas y sacar conclusiones significativas a partir de los datos.
Álgebra Lineal: Operaciones con vectores y matrices, resolución de sistemas de ecuaciones lineales, factorización de matrices, valores propios y vectores propios, y transformaciones de matrices.
Cálculo: Debes estar familiarizado con conceptos como derivadas, gradientes y optimización para entrenar modelos, optimizarlos y ajustarlos.
Matemáticas Discretas: Temas como combinatoria, teoría de grafos y algoritmos. Utilizarás estos conceptos para realizar análisis de redes, sistemas de recomendación y diseño de algoritmos. Es especialmente importante para desarrollar algoritmos que manejen grandes volúmenes de datos.

Gestión de modelos

Hablemos de modelos. Como científico de datos, necesitas saber cómo construir, implementar y mantener modelos. Esto incluye asegurarse de que los modelos se integren perfectamente con la infraestructura existente, abordar problemas de escalabilidad y eficiencia, y evaluar continuamente su rendimiento en escenarios del mundo real.

En términos de tecnología, esto significa que debes estar familiarizado con:

Bibliotecas de Aprendizaje Automático: Estas incluyen scikit-learn en Python, TensorFlow, PyTorch o Keras para el aprendizaje profundo, y XGBoost o LightGBM para el aumento de gradiente.
Frameworks de Desarrollo de Modelos: Frameworks como Jupyter Notebook o JupyterLab para el desarrollo interactivo y colaborativo de modelos.
Plataformas en la Nube: Piensa en Amazon Web Services (AWS), Microsoft Azure o Google Cloud Platform (GCP) para implementar y escalar modelos de aprendizaje automático.
Aprendizaje Automático Automatizado (AutoML): Google AutoML, H2O.ai o DataRobot automatizan el proceso de construcción de modelos de aprendizaje automático sin necesidad de programación manual extensiva.
Implementación y Servicio de Modelos: Docker y Kubernetes se utilizan comúnmente para empaquetar e implementar modelos como contenedores. Estas herramientas permiten implementar y escalar modelos en diferentes entornos. Además, herramientas como Flask o Django en Python te permiten crear API web para servir modelos e integrarlos en sistemas de producción.
Monitoreo y Evaluación de Modelos: Prometheus, Grafana o la pila ELK (Elasticsearch, Logstash, Kibana) para la agregación y análisis de registros. Estas herramientas ayudan a rastrear métricas de modelos, detectar anomalías y garantizar que los modelos sigan funcionando bien con el tiempo.

Comunicación

Hasta ahora hemos cubierto las habilidades “técnicas”. Ahora pensemos en las habilidades “suaves” que necesitarás. Como mencioné en la sección de “conceptos”, una gran habilidad que necesitas es la comunicación. Aquí tienes algunos ejemplos de los tipos de comunicación que necesitarás como científico de datos:

Narración de Datos: Debes convertir conceptos técnicos complejos en narrativas claras, concisas y convincentes que resuenen con tu audiencia, incluyendo la importancia de tu análisis y sus implicaciones para la toma de decisiones.
Visualización: Sí, la visualización de datos tiene su propia sección en las habilidades de comunicación. Además de tener las habilidades técnicas para crear gráficos, también debes saber cuándo, qué tipo y cómo hablar sobre tus visualizaciones de datos.
Colaboración y Trabajo en Equipo: Ningún científico de datos trabaja en un vacío. Colaborarás con ingenieros de datos, analistas de negocios y expertos en dominios. Practica tus habilidades de escucha activa y retroalimentación constructiva.
Gestión de Clientes: Esto no es aplicable a todos los científicos de datos, pero a veces trabajarás directamente con clientes o partes interesadas externas. Debes desarrollar sólidas habilidades de gestión de clientes, incluyendo comprender sus requisitos, gestionar expectativas y proporcionar actualizaciones regulares sobre el progreso del proyecto.
Aprendizaje Continuo y Adaptabilidad: Por último, pero no menos importante, debes estar preparado para aprender cosas nuevas constantemente. Mantente al día con los últimos avances en el campo y sé abierto a adquirir nuevas habilidades y conocimientos según sea necesario.

Conocimiento empresarial

Esto se reduce a saber por qué un número es importante en el contexto de tu negocio. Por ejemplo, es posible que descubras que existe una relación altamente significativa entre las personas que compran huevos los domingos y el clima. Pero, ¿por qué eso es importante para tu negocio?

En este caso, podrías analizar más a fondo y descubrir que las compras de huevos aumentan los domingos cuando hace buen tiempo, lo que indica que los clientes son más propensos a participar en actividades al aire libre o a organizar brunchs durante condiciones climáticas favorables. Esta información podría ser utilizada por una tienda de comestibles o un restaurante para planificar su inventario y actividades promocionales en consecuencia.

Al conectar los puntos entre los patrones de datos y los resultados empresariales, puedes proporcionar orientación estratégica y recomendaciones prácticas. En el ejemplo, esto podría implicar optimizar campañas de marketing para productos relacionados con los huevos durante los fines de semana soleados o explorar asociaciones con lugares de brunch locales.

Flujo de Trabajo de Ciencia de Datos

¿Qué hace un científico de datos? Para tener una idea, veamos los pasos típicos involucrados en un proyecto de ciencia de datos: formulación del problema, recopilación de datos, limpieza de datos, análisis exploratorio de datos, construcción de modelos, evaluación y comunicación.

Ilustraré cada paso con un ejemplo: durante el resto de esta sección, fingiremos que trabajas como científico de datos para una empresa de comercio electrónico y el equipo de marketing de la empresa quiere mejorar la retención de clientes.

1. Formulación del Problema:

Esto significa que te familiarizas con el objetivo comercial, aclaras la declaración del problema y defines las métricas clave para medir la retención de clientes.

El objetivo es identificar los factores que contribuyen a la pérdida de clientes y desarrollar estrategias para reducir las tasas de pérdida.

Para medir la retención de clientes, defines métricas clave que incluyen la tasa de pérdida de clientes, el valor de vida del cliente (CLV), la tasa de compra repetida o los puntajes de satisfacción del cliente. Al definir estas métricas, estableces una forma cuantificable de rastrear y evaluar la efectividad de tus estrategias para mejorar la retención de clientes.

2. Recopilación de Datos

Recopila fuentes de datos relevantes, como historial de compras de clientes, información demográfica, interacciones en el sitio web y comentarios de los clientes. Estos datos se pueden obtener de bases de datos, APIs o fuentes de terceros.

3. Limpieza de Datos

Es muy probable que los datos recopilados contengan valores faltantes, valores atípicos o inconsistencias. En la etapa de limpieza de datos, preprocesas y limpias los datos al manejar valores faltantes, eliminar duplicados, abordar valores atípicos y garantizar la integridad de los datos.

4. Análisis Exploratorio de Datos (EDA)

A continuación, obtén información sobre los datos y comprende sus características al visualizar los datos, examinar resúmenes estadísticos, identificar correlaciones y descubrir patrones o anomalías. Por ejemplo, puedes descubrir que los clientes que realizan compras frecuentes tienden a tener tasas de retención más altas.

5. Construcción de Modelos

Desarrolla modelos predictivos para analizar la relación entre diferentes variables y la retención de clientes. Por ejemplo, puedes construir un modelo de aprendizaje automático como regresión logística o bosques aleatorios para predecir la probabilidad de pérdida de clientes en función de diversos factores como la frecuencia de compra, los datos demográficos de los clientes o las métricas de participación en el sitio web.

6. Evaluación

Evalúa el rendimiento de tu modelo utilizando métricas como precisión, recall o área bajo la curva ROC. Validas los modelos utilizando técnicas como validación cruzada o divisiones de entrenamiento y prueba para garantizar su confiabilidad.

7. Comunicación

Tienes algunos hallazgos, ahora compártelos con el equipo. Siguiendo nuestro ejemplo, deberás poder hablar inteligentemente sobre los resultados de la pérdida de clientes en el contexto tanto de la empresa para la que trabajas como del panorama empresarial en general. Haz que las personas se interesen y explica por qué este hallazgo en particular es importante y qué deberían hacer al respecto.

Por ejemplo, después de analizar la pérdida de clientes, podrías encontrar una correlación significativa entre los puntajes de satisfacción del cliente y las tasas de pérdida.

Cuando compartas esto con el equipo de marketing o los ejecutivos principales, deberás comunicar de manera efectiva las implicaciones y las ideas prácticas. Explicarías que al enfocarte en mejorar la satisfacción del cliente a través de un mejor soporte al cliente, experiencias personalizadas o promociones específicas, la empresa puede mitigar la pérdida de clientes, retener a más clientes y, en última instancia, aumentar los ingresos.

Además, contextualizarías este hallazgo dentro del panorama empresarial más amplio. Compara las tasas de pérdida de clientes de tu empresa con las de la competencia.

Así es como pasas de los lagos de datos a una contribución comercial real. En última instancia, recuerda que la ciencia de datos es iterativa y cíclica. Repetirás pasos individuales de este proceso, así como el proceso completo, mientras te esfuerzas por encontrar ideas interesantes, responder preguntas comerciales y resolver problemas para tu empleador.

Aplicaciones de la Ciencia de Datos

La ciencia de datos es un campo vasto. Puedes encontrar científicos de datos trabajando en casi todos los sectores, en empresas de cualquier tamaño. Es un rol crítico.

Aquí tienes algunos ejemplos del mundo real para mostrar el impacto de la ciencia de datos en la resolución de problemas complejos:

Salud: Los científicos de datos analizan grandes volúmenes de datos médicos para mejorar los resultados de los pacientes y la entrega de servicios de salud. Desarrollan modelos predictivos para identificar pacientes de alto riesgo, optimizar planes de tratamiento y detectar patrones en brotes de enfermedades.
Finanzas: Piensa en evaluación de riesgos, detección de fraudes, operaciones algorítmicas y gestión de carteras. Los científicos de datos desarrollan modelos que ayudan a tomar decisiones de inversión informadas y gestionar riesgos financieros.
Transporte y logística: Los científicos de datos optimizan la planificación de rutas, reducen el consumo de combustible, mejoran la eficiencia de la cadena de suministro y predicen las necesidades de mantenimiento.
Comercio minorista y comercio electrónico: Los científicos de datos analizan datos de clientes, historial de compras, patrones de navegación e información demográfica para desarrollar modelos que impulsen la participación de los clientes, aumenten las ventas y mejoren la satisfacción del cliente.

Cómo comenzar en la ciencia de datos

Vale, eso es mucha información. A estas alturas, deberías tener una comprensión clara de qué es la ciencia de datos, cómo funciona todo, qué herramientas y tecnologías deberías conocer, y qué hace un científico de datos.

Ahora veamos dónde estudiar y practicar ciencia de datos. Esto podría ser un artículo aparte, así que vincularé listas de recursos donde puedes comenzar.

Los mejores cursos gratuitos de ciencia de datos
Los mejores recursos de aprendizaje para ciencia de datos (libros, cursos y tutoriales)
Los mejores proyectos de ciencia de datos en Python para principiantes
Los mejores libros de informática
Mejores prácticas de visualización en ciencia de datos
Dónde obtener datos para tus proyectos de ciencia de datos
Las mejores plataformas para practicar habilidades clave en ciencia de datos
Las mejores comunidades de ciencia de datos para unirse

En general, te recomiendo hacer esto:

Haz una lista de verificación de las habilidades que necesitas, utilizando esta publicación de blog y descripciones de trabajos de científicos de datos.
Comienza de forma gratuita para obtener los conceptos básicos, luego busca plataformas pagas buenas para aprender más.
Construye un portafolio de proyectos y bibliotecas.
Practica en plataformas como Kaggle y StrataScratch.
Obtén certificaciones: algunas plataformas como LinkedIn ofrecen certificaciones para demostrar que tienes las habilidades.
Comienza a postularte.
Establece contactos: únete a comunidades, grupos de Slack y grupos de LinkedIn, y asiste a eventos.

En última instancia, puedes esperar que el proceso lleve algún tiempo. Pero valdrá la pena al final.

Oportunidades laborales y trayectoria profesional

A pesar de los despidos en FAANG, según US News and World Report en 2022, los analistas de seguridad de la información, los desarrolladores de software, los científicos de datos y los estadísticos se encontraban entre los 10 mejores empleos.

El mercado laboral sigue siendo favorable. Las empresas todavía quieren y necesitan científicos de datos. Ahora, si tienes dificultades para conseguir un trabajo como científico de datos, recuerda que no tienes que empezar desde cero. Te recomiendo que comiences en un nivel más junior y te vayas encaminando hacia el rol con el tiempo. Siempre puedes comenzar como analista de datos, ingeniero de datos o ingeniero de aprendizaje automático.

Conclusión

Es difícil escribir una introducción a la ciencia de datos debido al simple hecho de que es un campo enorme, está en crecimiento y se agregan más tecnologías y herramientas todos los días. Si solo sacas algunas cosas de esta publicación, son las siguientes:

La ciencia de datos adopta un enfoque multidisciplinario. Necesitarás habilidades de múltiples campos de conocimiento, incluyendo estadísticas, aprendizaje automático, programación y experiencia en el dominio. Y el aprendizaje nunca se detiene.
La ciencia de datos es iterativa. Se basa mucho en el proceso, pero puedes esperar repetir, optimizar y actualizar tus procesos a medida que continúas. El científico de datos exitoso y feliz abraza la experimentación.
Las habilidades blandas son clave. No puedes ser solo un genio en Python; necesitas transmitir hallazgos y conocimientos a partes interesadas no técnicas con historias, números e imágenes.

Espero que esto te haya dado un punto de partida. La ciencia de datos es una carrera gratificante y desafiante. Si aprendes las habilidades y te esfuerzas, podrás unirte a este campo en poco tiempo. Nate Rosidi es un científico de datos y estrategia de productos. También es profesor adjunto de análisis y es el fundador de StrataScratch, una plataforma que ayuda a los científicos de datos a prepararse para sus entrevistas con preguntas reales de las principales empresas. Conéctate con él en Twitter: StrataScratch o LinkedIn.

Career Advice

Introducción a la Ciencia de Datos Una Guía para Principiantes