Werk

• We Built an Open-Source Data Quality Testframework for PySpark

  Hoe en waarom we een datakwaliteitsframework voor PySpark bouwden, en wat we leerden van het open source uitbrengen ervan.

  Soort

  artikel

  Rollen

  • data engineering
  • software engineering

  Tools

  • python
  • pyspark
  • databricks

  Bewijs

  https://medium.com/data-science/we-built-an-open-source-data-quality-testframework-for-pyspark-2301b9d87127

• pyspark-testframework

  Datakwaliteitstests voor PySpark-DataFrames, met resultaten als DataFrame in lang formaat.

  Soort

  project

  Positie

  Senior Data Scientist, Woonstad Rotterdam

  Rollen

  • data engineering
  • software engineering

  Tools

  • python
  • pyspark
  • databricks

  Secundaire tools

  • uv
  • ruff
  • pytest
  • pre-commit
  • github-actions

  Bewijs

  https://github.com/woonstadrotterdam/pyspark-testframework

• Terraform voor infrastructure-as-code-deployments.

  Soort

  verantwoordelijkheid

  Positie

  Software Engineer, Woonstad Rotterdam

  Rollen

  • cloud engineering

  Tools

  • terraform
  • azure

  Bewijs

  Geen