Reproduceerbaarheid en referenties

Concepten voor datacommunicatie

Hadrien Lacroix

Curriculum Manager

Schriftelijk rapport

 

Een rapport moet duidelijk en reproduceerbaar zijn.

Voorbeeld reproduceerbaarheid

 

• Een cake bakken

  • Recept
  • Ruwe ingrediënten
  • Onze oven en meetspullen
  • Cake met vergelijkbare smaak

• Dataproject

  • Analyse opnieuw draaien - dezelfde resultaten

 

Voorbeeld repliceerbaarheid

• Een cake bakken
  • Eigen gereedschap
  • Eigen ingrediënten
• Dataproject
  • Andere omgeving

Pluspunten van reproduceerbaarheid en repliceerbaarheid

 

• Voorkomt dubbel werk
• Bouwt voort op bestaand werk
• Focus op nieuwe uitdagingen
• Peer review
• Tool-onafhankelijk

Best practices

1. Houd bij hoe resultaten zijn verkregen
   • Scripts goed documenteren
     • Commentaar in code
   • Lijst met pakketten en omgeving
   • Versiebeheer

Best practices

1. Houd bij hoe resultaten zijn verkregen
2. Vermijd handmatige datamanipulatie
   • Dataversiebeheer
   • Sla ruwe data en tussenstappen op
   • Pas aan en los problemen op
   • Voorbeeld: imputatie
     • ontbrekende waarden imputeren met het gemiddelde
     • sla op en sluit editor
     • hoe weet je welke waarden vervangen zijn?

Best practices

1. Houd bij hoe resultaten zijn verkregen
2. Vermijd handmatige datamanipulatie
3. Beheer willekeur
   • Random seeds voor ML-pipelines
   • Beheerst confounders

Best practices

1. Houd bij hoe resultaten zijn verkregen
2. Vermijd handmatige datamanipulatie
3. Documenteer willekeur
4. Interpreteerbaarheid
   • Begrijp de oorzaak van een beslissing of voorspel modeluitkomst
   • Verhaal met een sterke lijn
   • Koppeling met reproduceerbaarheid

¹ Molnar C. Interpretable Machine Learning. 2019.

Best practices

1. Houd bij hoe resultaten zijn verkregen
2. Vermijd handmatige datamanipulatie
3. Documenteer willekeur
4. Interpreteerbaarheid
5. Citeer bronnen correct

Referenties

 

• Een citatie is de basisinfo om een publicatie te identificeren en vinden

Referenties

 

• Verschillende stijlen, zelfde logica
  • Boek: Naam auteur (Jaar). Titel. Uitgever.
  • Tijdschriftartikel: Naam auteur. (Jaar) 'Titel van het artikel.' Titel tijdschrift, Jaargang, Nummer, Paginanummers.
  • Website: Naam auteur. Datum publicatie, 'Titel van pagina/werk.' Titel website, Locatie

 

• APA-stijl:
  • In-tekst citaties (auteur, datum)

Referentie

• Referentiebeheertools
  • Makkelijker bijhouden
  • Wisselen tussen stijlen
  • Zoek referentie online
  • Opties:
    • EndNote
    • Mendeley
    • RefWorks

Referenties

• Bedrijfscontext
  • Minder strikt
  • Eenvoudiger (hyperlink)
  • ==> info beschikbaar en terugvindbaar

Laten we oefenen!

Concepten voor datacommunicatie