Benchmarking COMO 5
5. Falsedades y fallos del benchmarking
Después de reunir este COMO empecé a comprender por qué se asocian tan frecuentemente las palabras "falsedad" y "fallo" con el benchmarking...
5.1 Comparar manzanas con naranjas
�O debería decir Apples
N. del T.: Apple = manzana, pero también una famosa compañía que fabrica ordenadorescon PCs? Es una disputa tan obvia y antigua que no ahondaré en los detalles. Dudo que el tiempo que tarda en cargarse Word en un Mac comparado a la media de un Pentium sea una medida real de nada. Al igual que el tiempo de arranque de un Linux y un Windows NT, etc... Procure lo más posible comprar máquinas idénticas con una sola modificación.
5.2 Información incompleta
Un solo ejemplo ilustrará este fallo común. A menudo uno lee en comp.os.linux.hardware la siguiente frase o similar: "Acabo de poner el procesador XYZ a nnn MHz y ahora compilar el núcleo de linux me lleva sólo i minutos" (ajustar XYZ, nnn e i a lo que se requiera). Es irritante, porque no se da más información, esto es, no sabemos siquiera la cantidad de RAM, tamaño del fichero de intercambio, otras tareas que se ejecutan simultáneamente, versión del núcleo, módulos seleccionados, tipo de disco duro, versión del gcc, etc... Le recomiendo que use el Formulario de Informe LBT, que al menos proporciona un marco de información estándar.
5.3 Software/hardware Propietario
Un conocido fabricante de procesadores publicó una vez los resultados de unas pruebas producidas por una versión especial, adaptada, de gcc. Aparte las consideraciones éticas, estos resultados no tenían sentido, ya que el 100% seguiría usando la versión estándar de gcc. Lo mismo va para el hardware propietario. El benchmarking es mucho más útil cuando trata con hardware off-the-shelf y sofware libre.
5.4 Relevancia
Estamos hablando de Linux, �no? De manera que deberíamos olvidarnos de pruebas producidas en otros sistemoas operativos (este es un caso especial del "Comparando manzanas y naranjas" que vimos anteriormente). Además, si vamos a hacer pruebas del rendimiento de un servidor Web, no debemos resaltar el rendimiento de la FPU ni otra información irrelevante. En tales casos, menos es más. Tampoco necesitamos mencionar la edad de nuestro gato, el humor del que estábamos mientras hacíamos la prueba, etc...
Página siguiente Página anterior Índice general