Los vídeos que comparan el rendimiento de dos smartphones no son fiables, éstas son las razones

Iphones7

Medir el rendimiento de un smartphone es toda una ciencia. Afortunadamente hace tiempo que diversos desarrolladores ofrecen herramientas de benchmarking que permiten poner a prueba la potencia de apartados como la CPU, la GPU o el almacenamiento y de ofrecer puntuaciones con las que hacernos una idea de lo que podemos esperar de cada dispositivo.

A esas pruebas sintéticas que miden potencia bruta en condiciones muy definidas se le han sumado en los últimos tiempos las pruebas "en el mundo real" que ponen frente a frente a dos smartphones en los cuales un usuario va lanzando aplicaciones para ver cuál las abre más rápido. Estos vídeos son desde luego entretenidos, pero no deberíamos fiarnos demasiado de ellos a la hora de decidir si un dispositivo es más rápido que otro.

Las pruebas sintéticas son una referencia, no una conclusión

Lo explican en XDA Developers, donde sus responsables nos hablan de pruebas como Geekbench 4 o PCMark, que tratan de "normalizar" el entorno en el que se ejecutan estas pruebas para que los resultados finales sean coherentes.

Geekbench1

Nosotros somos también usuarios habituales de dicho tipo de pruebas cuando analizamos smartphones, y de hecho en el pasado hablamos largo y tendido de lo que pueden ofrecer este tipo de herramientas. No muestran una verdad absoluta, sino que simplemente sirven para establecer puntos de referencia.

Esos puntos de referencia nos dejan claro si un dispositivo se comporta mejor o peor ante distintas situaciones, pero no son tampoco perfectamente fiables (aunque sí ofrezcan datos teóricos más coherentes) a la hora de decidir si por ejemplo un Galaxy S7 es más rápido que un Xiaomi Mi 5shttp://www.xataka.com/analisis/xiaomi-mi-5s-analisis-un-telefono-de-transicion-a-la-altura o un Google Pixel, por poner algunos ejemplos. De hecho, hay casos en los que los fabricantes tratan de hacer trampas.

Aquí es por tanto relevante tener en cuenta los mitos y realidades de este tipo de evaluaciones, y tener claro que una cosa es la potencia teórica y otra la fluidez con la que se comportan dichos dispositivos. Las cosas se ponen peliagudas al evaluar esa fluidez y rendimiento a lo largo del tiempo, porque el uso constante degrada el dispositivo y hace que por ejemplo algo tan poco conocido como los sistemas de ficheros tengan más importancia de la que pudiera parecer.

¿Cómo saber realmente como se comporta un móvil? Desde hace un tiempo se han popularizado los vídeos en los que vemos dos teléfonos enfrentados. En dichos vídeos se van realizando diversas tareas en los móviles lo más rápido posible y al mismo tiempo en ambos smartphones, y eso parece dar una idea de cómo se comportan realmente en la vida real. Eso podría hacer parecer esta forma de evaluar móviles más "honesta", pero lo cierto es que los resultados son poco fiables.

Demasiadas variables en juego

El problema de esos vídeos es que hay demasiados factores que entran en juego en el resultado final. Unas pruebas rápidas entre dos terminales pueden dar resultados muy diversos según las condiciones de las pruebas.

Lgv20

Tenemos un ejemplo con un LG V20 y un Google Pixel con una configuración software prácticamente idéntica en cuanto a aplicaciones instaladas y en los que se realizaron pruebas de lanzamiento de aplicaciones desde distintos puntos de partida. Primero eliminándolas todas de la memoria, luego reiniciando, aplicando una limpieza de la caché...

Como indicaban los autores del estudio, uno podría sacar una conclusión u otra dependiendo de la prueba y del terminal. El contexto lo es todo, y normalmente quienes graban un vídeo mostrando dos teléfonos enfrentados no explican demasiado en qué condiciones prueban los equipos. Qué aplicaciones se usan, qué versiones o si se hacen las pruebas con un reinicio o sin él pueden ser factores determinantes.

Pero es que además está el hecho de que en estas pruebas uno también depende de la habilidad y destreza del usuario que graba los vídeos. A menudo vemos cómo en algún momento del vídeo el usuario no pulsa bien un icono o lo hace con un margen de retraso (o adelanto) perceptible respecto al otro dispositivo. Quizás usar un brazo robótico igualaría este apartado, pero incluso ofreciendo esa opción tendríamos otros argumentos que hacen peligroso sacar conclusiones.

El software importa (casi) tanto como el hardware

En esas pruebas de vídeo, a menudo llamadas "Speed Test", también podemos ver cómo los usuarios aprovechan aplicaciones muy populares disponibles en distintas plataformas para poder evaluar cómo distintos terminales las van ejecutando, pero eso también puede llevar a error.

El problema es que de nuevo dependemos de multitud de factores que afectan a esos rendimientos, y entre ellos están tanto las versiones de esas aplicaciones —que se van actualizando, corrigiendo errores y mejorando su fluidez— como sobre todo el sistema operativo instalado en el dispositivo.

Los servicios y aplicaciones corriendo en segundo plano también pueden tener impacto en este tipo de pruebas —y en las sintéticas, por supuesto— e incluso subsistemas como el de memoria pueden tener un papel crucial en algunas pruebas, como demostró un OnePlus 3 que se comportaba de forma realmente decepcionante hasta que un pequeño ajuste software hizo que de repente se convirtiera en uno de los mejores contendientes en este apartado según XDA.

Lo mismo ocurre con otros elementos como la inclusión de sistemas de cifrado nativo en estos dispositivos o el hecho de que como decíamos ciertas aplicaciones estén conectándose a internet para sincronizar datos sin que nos enteremos.

Todo ello suma o resta al final, y hace que los resultados finales de estos vídeos de prueba sean discutibles y difícilmente reproducibles si tuviésemos esos terminales ante nosotros y realizásemos las mismas pruebas. No es que los vídeos nos cuenten una realidad distorsionada, ni mucho menos: son una forma curiosa y desde luego atractiva de mostrar cómo se comportan estos dispositivos, pero su validez a la hora de establecer si un dispositivo es mejor que otro es a menudo discutible.

En Xataka | Qué miden exactamente los benchmark de los celulares