dataforge bench

Mede o tempo de execução, repetindo.

dataforge bench algoritmo.df
dataforge bench algoritmo.df --runs=50

medindo bench.df — 6 repeticoes

  mediana   23.36 ms
  minimo    22.57 ms
  maximo    23.43 ms
  desvio    0.34 ms  (1.5%)

  1 execucao(oes) de aquecimento descartada(s)

Por que mediana, não média#

Uma execução lenta por causa do sistema operacional puxa a média e não diz nada sobre o código. A mediana ignora o extremo.

Aquecimento#

As primeiras execuções aquecem cache e alocador. Medi-las distorce o resultado para cima, então são descartadas — um quinto das repetições, no mínimo uma.

O desvio importa#

Um desvio de 1,5% diz que a medida é confiável. Um de 40% diz que algo mais está acontecendo — outro processo, coleta de lixo, I/O — e o número não descreve o código.