Desarrolla y pon en funcionamiento canalizaciones de transformaciones de datos escalables en BigQuery con SQL.
Desarrolla tablas seleccionadas, actualizadas, confiables y documentadas en BigQuery
Permite que los analistas y los ingenieros de datos colaboren en el mismo repositorio.
Compila canalizaciones de datos escalables en BigQuery con SQL
Integra en GitHub y GitLab
Desarrolla canalizaciones de datos directamente en BigQuery Studio.
Beneficios
Desarrolla y pon en funcionamiento canalizaciones de datos escalables en BigQuery con SQL desde un único entorno, incluido BigQuery Studio, con las funciones de canalizaciones de datos y preparación de datos.
Con Dataform, los equipos de datos administran el código SQL y las definiciones de los elementos de datos de acuerdo con las prácticas recomendadas de ingeniería de software, como el control de versión, los entornos, las pruebas y la documentación.
Dataform simplifica la complejidad de la compilación de canalizaciones de SQL. Los analistas de datos pueden administrar dependencias, configurar pruebas de calidad de los datos y organizar canalizaciones complejas mediante SQL.
Características clave
Dataform Core permite a los ingenieros y analistas de datos crear definiciones de tablas, configurar dependencias, agregar descripciones de columnas y configurar aserciones de calidad de los datos en un solo repositorio solo con SQL.
Las funciones de Dataform Core se pueden adoptar de manera incremental y aditiva, sin modificar el código existente.
Dataform Core es de código abierto y se puede usar de manera local, lo que permite a los usuarios evitar las dependencias, y ofrece flexibilidad para casos de uso más avanzados.
Dataform maneja la infraestructura operativa para actualizar tus tablas según las dependencias entre ellas y el uso de la versión más reciente de tu código. El linaje y la información de los datos se pueden seguir sin problemas con las integraciones de Dataform. Activa flujos de trabajo de SQL de forma manual o programa a través de Cloud Composer, Workflows, las canalizaciones de datos de BigQuery Studio o los servicios de terceros.
Define tablas, soluciona problemas con mensajes de error en tiempo real, visualiza dependencias, confirma los cambios en Git y programa canalizaciones en minutos, desde una única interfaz, sin salir de tu navegador web.
Conecta tu repositorio a proveedores de terceros, como GitHub y GitLab. Confirma los cambios y envía o abre revisiones de código desde el navegador web.
Documentación
Comienza a desarrollar en Google Cloud con el crédito gratis de $300 y los más de 20 productos del nivel Siempre gratuito.