Inteligencia basada en datos

Impulse resultados comerciales tangibles con datos y análisis en cada oportunidad. Diferencie sus productos, servicios y experiencias de clientes y supere a su competencia con un enfoque basado en conocimientos.

¿Bloquear o desbloquear el futuro?

¿Pueden las tecnologías presentadas aquí ponernos en el camino hacia un futuro mejor? ¿O corren el riesgo de llevarnos por el camino equivocado? Una mirada a la perspectiva de nuestros expertos.

En el camino correcto…

La aparición de numerosas tecnologías que suavizan las complejidades técnicas asociadas a los datos, así como la multiplicación de herramientas accesibles a los no especialistas, pueden dar un gran impulso a la cultura y el uso de los datos en las empresas. Por supuesto, esto puede ayudar a las empresas a tomar decisiones más informadas, a ser más transparentes, a implementar modelos más sostenibles y a comprender mejor y reducir sus externalidades negativas. Los datos serán tan importantes para la transición energética como lo son para la transformación digital.

… o el camino equivocado?

El mayor uso de datos e inteligencia artificial también trae consigo nuevas responsabilidades éticas y sociales. Los temas de seguridad, privacidad, inclusión, explicabilidad y equidad de los algoritmos y el impacto social serán centrales. Sin valores sólidos y salvaguardas institucionalizadas, los abusos pueden ocurrir muy rápidamente. La explotación venal de datos personales, la manipulación de la opinión pública, la discriminación sistemática y la vigilancia masiva no son temas de ciencia ficción, sino de actualidad.

Inteligencia basada en datos

Inteligencia basada en datos

• Adoptar: 26. Alteryx 27. Apache Kafka 28. Apache Spark 29. AutoML 30. Azure Synapse Analytics 31. Databricks 32. Datamesh 33. Delta Lake 34. Google Data Cloud 35. Informatica 36. Kubeflow 37. Looker 38. Microsoft Power BI 39. Qlik 40. Copo de nieve 41. Tableau 42. Talento
• Prueba: 43. Airbyte 44. AWS QLDB 45. Dbt
• Evaluación: 46. Alation 47. Anomalo 48. Collibra 49. Dataiku 50. Fivetran
• Airbyte, Prueba

El costoso y complejo mantenimiento de los conectores, los pilares de todas las infraestructuras de datos, pone a las empresas a merced de las estrategias propietarias de los proveedores de software de extracción (ETL) e ingestión (ELT) de datos. Para Airbyte, la solución es de código abierto. La empresa proporciona una plataforma completa que facilita mucho la sincronización de datos entre sistemas y bases de datos, ejecutándose en conectores y dentro de contenedores Docker. Estos conectores están certificados por Airbyte antes de ponerse a disposición de los usuarios. Además, los desarrolladores están interesados ​​en el correcto mantenimiento de los enchufes, lo que garantiza su robustez y estimula a la comunidad. Gracias a este modelo, Airbyte ha sido un éxito rotundo: tres rondas de financiación y más de cien conectores creados en tan solo un año y medio de existencia.

• Alación , Evaluar

Con su producto estrella, Data Catalog, Alation tiene como objetivo ayudar a las empresas a desarrollar la cultura y el uso de datos dentro de su organización. Para lograr esto, Data Catalog ofrece funcionalidades para el descubrimiento, la gobernanza, la comprensión y el intercambio de datos. En particular, Data Catalog combina la inteligencia artificial y la experiencia humana para hacer que los datos sean explícitos, evaluar su calidad, comprender su origen y significado, y así permitir que todas las partes interesadas del negocio y de TI accedan a ellos más fácilmente y los utilicen con mayor confianza. Alation ha sido nombrada uno de los líderes en gobierno de datos por Forrester y tiene varias asociaciones, incluidas Snowflake, Tableau y AWS.

• Alteryx , Adopta

A medida que el uso de datos se generaliza en la empresa, trabajar manualmente con hojas de cálculo de Excel o solicitar soporte de TI cada vez que se necesita crear o modificar un informe se están convirtiendo en opciones cada vez menos viables. Con Alteryx, los usuarios comerciales pueden preparar sus datos de forma autónoma, crear sus procesos y automatizarlos a través de una interfaz gráfica que no requiere líneas de código. Extremadamente potente y fácil de usar, Alteryx les permite ahorrar un tiempo considerable y ser independientes en el uso de los datos. Fundada en 1997 con el nombre de SRC, la empresa se convirtió en Alteryx en 2010 y desde entonces ha acelerado su desarrollo, especialmente al forjar asociaciones con UiPath, Snowflake, Tableau y AWS.

Descubre los consejos y trucos favoritos de nuestros consultores para crear flujos de trabajo listos para la producción en Alteryx que funcionen sin problemas y sin errores.

• Anómalo , Adopta

Asegurar la calidad de los datos es crucial, pero es una tarea tediosa y cada vez más insostenible a medida que aumentan los volúmenes. Es por eso que Anomalo pretende automatizarlo. Gracias a los indicadores (frescura, completitud, homogeneidad) y los informes proporcionados por la solución, las anomalías pueden identificarse y corregirse antes de que interrumpan toda la cadena analítica. La importancia del desafío y la originalidad del enfoque de Anomalo, sin competidor en este dominio de nicho, le han permitido atraer inversiones sustanciales. Sin embargo, todavía tiene que demostrar su valía y la ausencia de documentación y una versión de prueba por el momento nos hace cautelosos. No obstante, sigue siendo un proveedor a tener en cuenta, con el que establecer relaciones, y cuya solución
debe evaluarse lo antes posible. Si cumple sus promesas, será una herramienta que requerirán todas las empresas.

• Apache Kafka , Adoptar

Apache Kafka es una plataforma de transmisión de datos y eventos basada en un modelo de publicación y suscripción. Miles de organizaciones lo utilizan para intercambiar datos entre aplicaciones y crear canalizaciones de datos para análisis en tiempo real, comunicación de microservicios y aplicaciones críticas como monitoreo y detección de fraude. Su arquitectura distribuida garantiza las altísimas prestaciones, disponibilidad y elasticidad requeridas para tales usos. Creado por LinkedIn, Kafka es hoy un importante proyecto de código abierto. Único en el mercado por sus funcionalidades y la amplitud de posibilidades que ofrece, es imprescindible para empresas que manejan grandes volúmenes de datos. Sin embargo, sigue siendo una herramienta compleja y su potencial debe evaluarse antes de considerar su generalización.

• Apache Spark , adoptar

Apache Spark es un marco informático distribuido de código abierto que ofrece un rendimiento sin igual para procesar grandes volúmenes de datos. Con el respaldo y el uso de los jugadores tecnológicos más grandes, Apache Spark es compatible con la mayoría de los lenguajes de programación. Es indispensable para el análisis de datos a gran escala, para el procesamiento de flujos de datos masivos y para el aprendizaje automático y para operaciones de datos a gran escala (agregación de innumerables fuentes, migraciones). Apache Spark también está diseñado para brindar elasticidad, disponibilidad y protección contra la pérdida de datos. Sin embargo, requiere habilidades avanzadas y una gran infraestructura (aunque la nube puede reducir significativamente el costo). Si bien existen alternativas que se adaptan mejor a ciertos casos de uso, Apache Spark es una tecnología fundamental para todas las organizaciones más grandes.

• AutoML , Adoptar

Las herramientas de AutoML tienen como objetivo automatizar el aprendizaje automático para que las personas sin conocimientos de ciencia de datos (analistas o desarrolladores, por ejemplo) aún puedan explotar su potencial. Basados ​​en inteligencia artificial, se encargan de algunos de los pasos complejos y tediosos del proceso de ciencia de datos (preparación de datos, selección de atributos, selección de modelos, evaluación de resultados…). AutoML permite industrializar el uso de Machine Learning para casos de uso clásicos como la clasificación, la regresión, la previsión o el reconocimiento de imágenes. Todas las plataformas principales (AWS, Azure, GCP, IBM) tienen ofertas en este campo, donde también destacan muchos especialistas altamente innovadores como Dataiku, DataRobot o H2O.ai.

• AWS QLDB , prueba

AWS QLDB (Quantum Ledger Database) es una base de datos de registro basada en la nube que proporciona un registro de mutaciones transparente, inalterable y criptográficamente verificable. Al igual que ocurre con la cadena de bloques, cada nueva entrada añade un registro al historial que no se puede borrar ni modificar, y cuyo autor está identificado de forma fehaciente. La diferencia es que el libro mayor se basa en una autoridad centralizada (AWS) y no en un mecanismo descentralizado, que puede ser complejo y costoso de implementar. Por ejemplo, QLDB permite que el banco sueco Klarna establezca un historial completo de transacciones financieras o que la oficina de registro de vehículos británica mantenga una lista de los propietarios de cada vehículo. Estas referencias atestiguan la robustez de la solución y su interés para casos de uso que requieran una trazabilidad completa y rigurosa.

• Azure Synapse Analytics, adoptar

Azure Synapse Analytics es una solución analítica integrada para Big Data en modo PaaS. Detrás de devo.team/techradar 43 INTELIGENCIA IMPULSADA POR DATOS una interfaz unificada (Synapse Studio), Azure Synapse Analytics combina un almacén de datos, un motor de consultas distribuidas (Synapse SQL), un motor de procesamiento masivo (Apache Spark) y una herramienta de carga de datos ( Synapse Pipeline), todo con la comodidad, la elasticidad y el rendimiento de la nube. Naturalmente adaptado para trabajar con las soluciones de Microsoft (PowerBI, por ejemplo), Azure Synapse Analytics está especialmente diseñado para medianas y grandes empresas con necesidades avanzadas de Business Intelligence (informes, descubrimiento de datos, análisis predictivo, etc.) y optimizado para volúmenes de datos del orden. de varios terabytes.

• Collibra, Evaluar

Con demasiada frecuencia, el gobierno de datos choca con las prioridades de la vida cotidiana. Para que no siga siendo un proceso teórico, debe estar equipado de tal manera que facilite su implementación y haga evidentes sus beneficios: unificado, claramente referenciado, confiable, seguro, compatible y con datos fácilmente accesibles. Este es el propósito de la plataforma Data Intelligence Cloud de Collibra. Centraliza toda la información relativa a los datos y su gobierno (catálogo, reglas, linaje, calidad, etc.), simplifica las tareas de los distintos actores (propietarios de datos, administradores de datos, científicos de datos, usuarios comerciales, etc.) y fomenta su colaboración. . Como socio de Devoteam, que cuenta con alrededor de 20 empleados certificados, la editorial con sede en Bélgica se ha establecido como líder en esta área clave, que está en el centro del reposicionamiento de las empresas en torno a los datos.

• Ladrillos de datos, adoptar

En 2013, los creadores del motor de análisis de alto rendimiento Spark fundaron Databricks para permitir que las empresas aprovechen todo su poder. Basada en la nube y estrechamente integrada con AWS, Azure y GCP, la plataforma de datos Databricks ofrece una solución escalable, flexible y de alto rendimiento para big data, análisis avanzado, inteligencia artificial y transmisión. Para resumir su enfoque, el proveedor aboga por el enfoque de “casa del lago”, una combinación de la solidez de un almacén de datos y la flexibilidad de un lago de datos. La plataforma está diseñada para usuarios especializados (ingenieros de datos, científicos de datos, etc.) y para organizaciones que enfrentan complejidad y/o grandes volúmenes. Con un valor actual de $38 mil millones, Databricks continúa innovando rápidamente para expandir su oferta y consolidar su posición como un jugador importante en datos.

• dbt, prueba

Acrónimo de “Herramienta de creación de datos”, dbt es una solución que se centra en la T de los procesos ETL/ELT, es decir, la fase de transformación en la que los datos se formatean para su uso. Integración 44 TechRadar | Inteligencia basada en datos con la mayoría de los almacenes de datos en el mercado a través de conectores estándar, dbt permite a los analistas de datos e ingenieros de datos crear y mantener canalizaciones de datos de manera fácil y flexible a pesar de la creciente complejidad de la lógica empresarial subyacente. Para lograrlo, dbt se basa en el lenguaje SQL y se nutre de conceptos del desarrollo de aplicaciones (CI/CD, control de versiones, pruebas, reutilización de código, etc.). Mucho más flexible y fácil de usar que las herramientas ETL tradicionales, dbt permite que los equipos de datos pequeños respondan a la explosión de solicitudes para crear o modificar flujos de datos.

• Dataiku, Evaluar

Dataiku es una empresa francesa que ofrece una solución integral para proyectos de datos, en particular iniciativas de inteligencia artificial. Alrededor de una plataforma centralizada, los analistas de datos, los científicos de datos y los ingenieros de datos pueden colaborar para gobernar, conectar y preparar datos, y construir modelos de análisis, visualización y aprendizaje automático. La solución liviana y fácil de usar de Dataiku se adapta bien a las empresas medianas que desean acelerar el uso de datos, fomentar la colaboración entre los equipos involucrados y aprovechar la inteligencia artificial sin tener que migrar su infraestructura de datos a la nube. Dataiku está posicionado por Gartner como líder del mercado en plataformas de ciencia de datos y aprendizaje automático, pero se enfrenta a una fuerte competencia.

• Malla de datos, Adoptar

Al romper los límites de capacidad de los almacenes de datos, la nube también ha exacerbado las rigideces inherentes a las arquitecturas tradicionales, monolíticas y centralizadas. Para brindar más agilidad a las plataformas de datos, la malla de datos propone un enfoque distribuido (comparable a los microservicios en el dominio de la aplicación). Los datos se recogen por dominio (negocio, técnico, geográfico, etc.), cuya gestión se confía a equipos independientes y autónomos. Cada dominio se convierte en un producto (o puede albergar varios productos), que sus administradores se esfuerzan por hacer atractivo, útil y conveniente para sus usuarios. Esto, en última instancia, favorece la democratización de los datos. Sin embargo, la implementación de una gobernanza global y de herramientas comunes es esencial para el éxito de este enfoque innovador, que podría revolucionar la cultura y el uso de datos dentro de las organizaciones.

• Lago Delta, Adoptar

Una solución creada por Databricks y ahora de código abierto bajo Linux Foundation, Delta Lake es una capa de almacenamiento estructurado que se superpone al lago de datos para garantizar que los datos tengan la confiabilidad necesaria para el análisis y la inteligencia artificial. Para lograr esto, Delta Lake agrega las transacciones ACID (atomicidad, consistencia, aislamiento, durabilidad) que se encuentran en almacenes de datos, administración de metadatos a gran escala y control de versiones de datos. Compatible con el motor Apache Spark, Delta Lake se puede implementar en las instalaciones o en la nube en la mayoría de las plataformas. Ya utilizado por miles de empresas, Delta Lake es el nuevo estándar para el almacenamiento de Big Data.

• Fivetran, Evaluar

En menos de diez años de existencia, Fivetran se ha establecido a través de sus innovaciones en un mercado de integración de datos dominado en gran medida por jugadores establecidos. Fivetran es una plataforma ELT (Extract, Load, Transform) basada en la nube que permite la creación, automatización y seguridad de canalizaciones de datos desde cualquier fuente hasta almacenes de datos en la nube (BigQuery, Redshift, Synapse, Snowflake…). La fortaleza de Fivetran es su enfoque sin código, junto con una gran cantidad de conectores estándar, lo que permite configurar flujos de datos confiables en muy poco tiempo. Esta eficiencia lo convierte en una solución ideal para organizaciones muy grandes, o posiblemente para organizaciones más pequeñas que desean aprovechar los volúmenes de datos en rápido crecimiento sin demora.

• Nube de datos de Google, adoptar

Google Cloud reúne servicios y herramientas para construir su plataforma de datos integral en GCP. Estos incluyen el almacén de datos de BigQuery, la herramienta de visualización de datos Looker, la plataforma Vertex AI y una gran cantidad de modelos de aprendizaje automático preentrenados. Al formar un ecosistema coherente, estas diversas soluciones se integran a la perfección entre sí respetando los estándares de código abierto, lo que les permite combinarse fácilmente con herramientas de terceros o sustituirlas por ellas. En el back-end, GCP garantiza un nivel muy alto de rendimiento en todas las escalas gracias a sus considerables capacidades informáticas y de almacenamiento. Google Cloud hace que sea fácil y rentable comenzar con los datos y proporciona las mismas herramientas que utilizan las principales empresas basadas en datos, como Netflix, Spotify y Twitter.

• Informática, Adoptar

Fundada en 1993 en los albores de los almacenes de datos y líder histórico en integración de datos, Informatica se ha reinventado en los últimos años para convertirse en especialista en gestión de datos en la nube. Hoy, el proveedor ofrece una plataforma SaaS basada en un motor de inteligencia artificial que cubre todas las cuestiones asociadas a los datos: integración, calidad, repositorio (MDM), gobernanza, anonimización, confidencialidad, etc. En un ecosistema de datos saturado, la cobertura funcional y La madurez de la solución de gestión inteligente de datos de Informatica no tiene paralelo. Aunque tienen un precio relativamente alto, las herramientas de Informatica son una opción segura para las empresas que necesitan aprovechar volúmenes significativos de datos a pesar de las fuentes numerosas, heterogéneas y aisladas.

• Kubflow, Prueba

Desde la recopilación de datos hasta el desarrollo de modelos, desde la capacitación hasta la implementación y el mantenimiento, los proyectos de Machine Learning (ML) avanzan a través de iteraciones que involucran a científicos de datos, ingenieros de datos, ingenieros de operaciones y más. Para entregar modelos más confiables más rápido, es esencial industrializar este flujo de trabajo y facilitar la colaboración entre estos jugadores. La idea del proyecto de código abierto Kubeflow es aprovechar el ecosistema de Kubernetes, que ofrece herramientas y un entorno de ejecución conocidos y probados. Se facilita el traspaso de una etapa a otra y el equipo puede desarrollar, probar, validar e implementar fácilmente nuevas versiones del modelo. Debido a que los modelos y todos sus componentes están dentro de los contenedores de Kubernetes, son extremadamente portátiles y escalables. Aunque todavía es nuevo,

• Mirador, Adopta

Looker es una herramienta de análisis de datos y BI para modelado , transformación y visualización de datos. Está construido sobre su propio lenguaje, LookML, que permite la creación de modelos de datos sin necesidad de SQL. Centralizados en la plataforma, estos modelos se pueden compartir, lo que facilita la armonización del uso de datos y la gobernanza dentro de la organización. Por último, Looker no almacena datos de forma permanente y depende de la potencia de las bases de datos subyacentes, lo que garantiza su rendimiento. Estas particularidades lo distinguen de sus numerosos competidores y lo convierten en una herramienta muy rica. Looker es adecuado para todas las organizaciones, pero requiere un grado de madurez. Adquirida por Google en 2019, se ha convertido en la principal herramienta de generación de informes de GCP, donde ahora está integrada.

• Microsoft Power BI, adoptar

Power BI, una solución de visualización de datos e inteligencia empresarial de Microsoft , permite a los usuarios crear informes y paneles dinámicos e interactivos a partir de las numerosas fuentes de datos para las que ofrece conectores estándar. Económico, dado que sus funcionalidades básicas están incluidas en Microsoft 365, Power BI también es muy fácil de aprender porque utiliza los principios familiares de las herramientas de Microsoft. Por estas dos razones, promueve la democratización del uso de datos, particularmente en las pymes, al tiempo que ofrece funciones avanzadas de seguridad y gobernanza para controlar el uso. Durante varios años, Gartner ha posicionado a Power BI como el líder indiscutible en visualización de datos, donde Tableau parece ser su único competidor real.

• Qlik, adoptar

Fundada en 1993, y posicionada por Gartner desde hace 11 años como líder en el sector, Qlik es una de las pioneras en Business Intelligence in-memory. El proveedor, que ha desarrollado su oferta técnica y funcionalmente a lo largo de los años, ahora ofrece una completa plataforma de datos SaaS que incluye desde la integración y extracción de datos hasta la explotación en forma de alertas, gráficos e informes. Qlik se distingue en particular por su modo de operación en memoria, que aumenta el rendimiento, y por herramientas muy fáciles de usar que promueven la democratización de los datos y la colaboración en torno a los datos en toda la organización, independientemente de su tamaño o sector de actividad. También son soluciones económicas, lo que las hace fáciles y seguras de probar.

• Copo de nieve, Adopta

Al combinar almacenamiento de datos, lago de datos, ingeniería de datos, ciencia de datos y servicios de intercambio de datos, Snowflake abarca todo el espacio entre las fuentes de datos y los usuarios finales. Nativamente multinube, multigeografía y asombrosamente fácil, la plataforma Snowflake rompe las barreras organizativas y técnicas de las infraestructuras de datos tradicionales para crear una ventanilla única para los datos y democratizar su uso en la empresa. Snowflake permite a las organizaciones en particular que tienen un entorno de datos internacional y complejo, o por el contrario, aquellas que carecen de recursos de TI y DBA, explotar sus datos de manera fácil y rápida. En todos los casos, la solución es muy fácil de probar y evaluar su relevancia y potencial. Hoy en día, más de 5.000 empresas se han convencido y Snowflake está creciendo a más del 100%.

• Cuadro, Adoptar

Tableau es una herramienta de visualización de datos de autoservicio que permite a cualquier persona crear y compartir paneles interactivos sin código ni operaciones laboriosas. Tableau promueve la difusión de datos dentro de las organizaciones, haciéndolas más transparentes y basadas en datos. Compitiendo con PowerBI de Microsoft, Tableau destaca por su facilidad de uso, su facilidad de integración y su flexibilidad, todo lo cual lo convierte en una solución al alcance de todas las empresas, independientemente de su tamaño y actividad. Tableau ahora busca expandir su funcionalidad a la preparación de datos (Prep Builder) y análisis (Preguntar datos, Explicar datos). En 2019, Salesforce, uno de los socios estratégicos de Devoteam, adquirió Tableau.

• Talend, Adopta

Talend, líder desde hace mucho tiempo en la integración de datos, se ha reinventado en la era de la nube haciendo de la calidad de los datos su nuevo caballo de batalla. Para garantizar que los usuarios tengan datos saludables, compatibles y utilizables, la empresa ofrece Talend Data Fabric, una plataforma que combina integración, gobernanza y calidad de datos. La piedra angular de este enfoque, Trust Score, es un indicador sintético de la fiabilidad de los datos que las herramientas de Talend pueden calcular y, sobre todo, mejorar. Para consolidar su posición en el corazón del ecosistema de datos empresariales, Talend también puede confiar en sus asociaciones tecnológicas con los principales operadores de la nube (AWS, Azure, GCP), así como con los principales actores analíticos (Snowflake, Databricks, Cloudera).