I test de audio digital: WAV vs OGG ¿qué nos estamos perdiendo?

[Torpedo]

Como no hice el test no sé bien cómo interpretar los resultados, la forma de estar planteada la escucha, la duración de las muestras a comparar, etc pueden influir mucho en cómo uno es capaz de reconocer y detectar diferencias minúsculas. La avalancha de gráficas tampoco ayuda mucho a hacerse una idea jejeje. Sí que es llamativo que para cada pista la respuesta acertada sea la más frecuente.
En lo que estamos de acuerdo es en que la muestra es muy pequeña. Aún así quizá puedas aplicar alguna prueba de validez estadística (no sé si una t de Student, Chi cuadrado o algo así, mi estadística está MUY oxidada) para ver si los resultados son completamente prescindibles o si se pueden dar por buenos en un sentido u otro, especialmente para analizar esa tendencia a que la respuesta correcta en cada pista sea la más frecuente.

[maty]

Es lógico que muchos prefieran el WAV a formatos comprimidos aunque sean sin pérdidas: por la menor carga de proceso de la CPU.

En un ordenador el maldito jitter se genera en la CPU, sus registros, la memoria RAM y el disco duro. También el diseño de la placa, la calidad de la alimentación... Y luego está el de la transmisión, habitualmente por cable USB, pero la gran mayoría de los DACs actuales lo tienen resuelto.

He ido eliminando/atenuando estas semanas por soft esos cuatro factores que lo generan y el sonido resultante ha ido mejorando mucho. Con grabaciones en directo, el sonido se acerca más al original, es más creíble, natural.

[Torpedo]

Es lógico que muchos prefieran el WAV a formatos comprimidos aunque sean sin pérdidas: por la menor carga de proceso de la CPU.

En un ordenador el maldito jitter se genera en la CPU, sus registros, la memoria RAM y el disco duro. También el diseño de la placa, la calidad de la alimentación... Y luego está el de la transmisión, habitualmente por cable USB, pero la gran mayoría de los DACs actuales lo tienen resuelto.

He ido eliminando/atenuando estas semanas por soft esos cuatro factores que lo generan y el sonido resultante ha ido mejorando mucho. Con grabaciones en directo, el sonido se acerca más al original, es más creíble, natural.

Y esto, que puede ser más o menos cuestionable ¿qué tiene que ver con la temática de este hilo? No he visto que haya una correlación entre los resultados de identificación de las pistas y el tipo de reproductor usado (navegador vs descarga)

[maty]

Por varios comentarios:

Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?

El motivo no es otro que el jitter, en mi entender. Desde hace años distingo entre FLAC 0 y FLAC 8. Los datos son los mismos así que la causa que se me ocurría era la diferencia en la carga de CPU durante la descompresión, porque el resto del sistema no variaba.

Sobre la encuesta en sí no entro porque no la he hecho. Tendría que haberse realizado en la misma sala y mismo equipo, porque esos dos factores influyen mucho en la calidad sonora. En lo referente al jitter, el hard del ordenador y el software utilizado, amén de la optimización para reproducción multimedia del SO.

Y además están las preferencias de cada uno. Muchos están acostumbrados al sonido de las malas grabaciones y a ecualizaciones agresivas buscando la espectacularidad, con lo que no aprecian tanto las diferencias más sutiles y que requieren buenas grabaciones con buen margen dinámico entre otras cosas.

[maty]

A ver si me explico mejor.

Centrémonos en el combo DAC + PC.

Un combo con bajo jitter hará muy difícil diferenciar entre WAV, FLAC y OGG en una buena grabación. A mayor jitter las diferencias serán más apreciables.

[Torpedo]

Maty, estás especulando gratuitamente sobre unos resultados que no has mirado con detenimiento, o que tal vez no comprendas. Esto no va de comparar equipos, o de elucubrar sobre el motivo que tú te imaginas por qué algo suena diferente, va de si la gente EN SU EQUIPO distingue un formato con pérdida de uno sin pérdida. Punto. Si el sistema introduce jitter lo va a introducir en ambos de forma parecida a poco que el reproductor sea el mismo y si su equipo es brutal, lo va a ser para ambos porque tanto la pista lossy como la lossless se entregaron convertidas a wav.
Lo más llamativo es que la gente tiende a reconocer si la pista es lossless o lossy (a falta de tests de significación estadística) como grupo, pero individualmente muy poca gente ha acertado de forma consistente los 5 archivos presentados.
Si lo que te apetece es hablar del jitter, creo que este no es el hilo adecuado, tal vez debas abrir otro.

[Ant_56]

Por otro lado, me llama poderosamente la atención que la respuesta más frecuente en cada pista coincida con la secuencia de los 5 WAV ¡a pesar de que solo 4 (un número muy reducido) de usuarios las hayan acertado a título individual. Esto me parece desconcertante.

En realidad la suma de desaciertos supera al de aciertos..  en todos los supuestos. Simplemente hay que tomar las veces que se erra, sumando las respuestas que no distinguen y que se equivocan en la elección.

PISTA 1...ACIERTOS....40 //// ERRORES...43 (24+19)
PISTA 2...ACIERTOS....35 //// ERRORES...48 (30+18)
PISTA 3...ACIERTOS....38 //// ERRORES...45 (31+14)
PISTA 4...ACIERTOS....40 //// ERRORES...43 (25+18)
PISTA 5...ACIERTOS....36 //// ERRORES...47 (24+23)

TOTAL INTENTOS (83X5) .. 415
TOTAL ACIERTOS..189
TOTAL ERRORES..226
..................................
 
Son resultados propios de la intervención del azar.

[pablopi]

Voy a hacer un poco de abogado del diablo, Ant_56 (y todo ello tras reconocer que yo soy incapaz de detectar diferencias entre las pistas de la prueba, que conste).

Si la pregunta que nos hacemos es ¿Suena mejor un archivo WAV que un OGG?, entonces tu razonamiento es correcto.

Si la pregunta que nos hacemos es ¿Existen diferencias audibles entre un archivo WAV y un OGG? Entonces tendríamos que sumar por una parte los que se han decantado por el archivo A o el B (quién sabe, tal vez algunos participantes prefieran el sonido del OGG precisamente porque carece de cierta información sonora) y enfrentarlo con los que han indicado que no existen diferencias.

Esto es como lo de la "mayoría silenciosa" cada vez que se interpretan resultados electorales (personas que no han votado) o la participación en una manifestación que defiende o protesta por algo (personas que se quedan en casa)  .

[maty]

@Torpedo

Tienes razón en que lo del jitter -mea culpa- es difícilmente aplicable a la encuesta pero... en la realidad comparamos entre FLAC y OGG, y ahí sí que afecta, y mucho más de lo que pensaba (al menos en mi PC), pues no tiene mucho sentido convertir OGG a WAV antes de su reproducción.

Pablopi

OGG es una maravilla, el mejor de todos los lossy que he probado (haciendo yo las conversiones, partiendo de ficheros con música muy bien grabada, habitualmente de álbums de referencia). Desde luego es mucho mejor que el MP3.

Con música moderna y comercial que habitualmente suena mal o muy mal en un equipo decente (no entro en el gusto) es casi una lotería acertar.

Para el móvil -que apenas utilizo para música-, como ya comenté en el hilo de semanas atrás dedicado a los Takstar ts-671, la música la paso a OGG aoTuVb6 q-10.

Si se dispone de un equipo de música decente con suficiente resolución y se saborean buenas/excelentes grabaciones no tiene sentido el uso del formato OGG, sobre todo en q-10 (por el tamaño) en vez de FLAC.

Si uno es aficionado a los graves y tiene mucho ruido e interferencias en las altas frecuencias y escucha música actual el MP3 le dará un resultado muy convincente. Pero si más adelante se anima a la aventura de escuchar buenas grabaciones renegará del formato.

[Ant_56]

Voy a hacer un poco de abogado del diablo, Ant_56 (y todo ello tras reconocer que yo soy incapaz de detectar diferencias entre las pistas de la prueba, que conste).

Si la pregunta que nos hacemos es ¿Suena mejor un archivo WAV que un OGG?, entonces tu razonamiento es correcto.

Hola Pablo:
No es mi razonamiento, sino el que se expone en Audiophilia, puesto que es allí de donde salen las respuestas. Yo me limito a hacerte conocedor de las mismas, pero no como autor.

En cualquier caso, visto que paso a ser parte activa de la conversación y que tengo opinión propia, en tu propuesta has indicado lo siguiente:

El cuestionario a responder tras la audición tiene 3 secciones.En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor.

El razonamiento que a modo de copia  te he expuesto es correcto, a todas luces.

Yo confieso que no he realizado la prueba. Ni me interesa. Hace tiempo que he asumido que las diferencias, de existir ( que es mucho asumir) entre formatos, fuentes DACs, cables y amplificadores son mucho menos trascendentales de lo que se intenta hacer creer, con la única intención de que el hobby no se estanque y se continúe con la rutina en la que todos nos vemos inmersos, que benefícia a tenderos y fabricantes y perjudica claramente al aficionado.

La impresión que tu prueba me ha causado es que además de parecerme loable la intención, falta la rigurosidad que desvirtúa la misma al no tener en cuenta el factor azar, que es muy alto en las valoraciones propuestas,  pero incluso obviando esta condición, la principal lectura que hago es la de reafirmarme en las convicciones que he reflejado en el anterior párrafo de no considerar  alos formatos los culpables de nuestros males y nuestras insatisfacciones, máxime teniendo en cuenta que solo 4 participantes hayan acertado los cinco elecciones. 

Habría que hacer de esta afición algo objetivo, sobretodo cuando los aspectos lo son y dotarla del sentido común del que ahora carece.   

Cordialmente

[Ant_56]

Si la pregunta que nos hacemos es ¿Existen diferencias audibles entre un archivo WAV y un OGG? Entonces tendríamos que sumar por una parte los que se han decantado por el archivo A o el B (quién sabe, tal vez algunos participantes prefieran el sonido del OGG precisamente porque carece de cierta información sonora) y enfrentarlo con los que han indicado que no existen diferencias.

Yo creo que en este caso, las respuestas que se deberían tener en cuenta serían las de aquellos que han respondido "no hay diferencias" .
¿Cuantos participantes han manifestado en todos los casos no haber percibido diferencias?

El hecho de que se haya acertado el formato ( el acierto en la elección de uno implica evidentemente el acierto en la elección del otro) no significa que suene mejor..ni siquiera diferente. Implica simplemente que se ha acertado..  

Llevando la prueba a más intentos se eliminaría ese factor.
A la prueba además le falta mala leche, que es de la forma en la que se extraen conclusiones verdaderamente significativas. Copiar dos archivos con el mismo formato...poner dos archivos que no tengan nada que ver con los formatos propuestos...

No hay golden ears. Hay azar y casualidad...

[Torpedo]

Maty: uno de los motivos de convertir el ogg en wav era disimular el tamaño del archivo por si la gente lo descargaba (que lo hizo). Un beneficio añadido es que ambos archivos, el lossy y el lossless, van a seguir la misma ruta de reproducción, con lo que factores de jitter, carga de procesador, etc. quedan minimizados. No voy a seguir con el tema porque no se ciñe a la temática del hilo.

Ant_56: La prueba que ha propuesto pablopi no debes verla como un reto individual persona a persona de modo que si un mismo participante no descubre bien cuál es cuál haya más errores que aciertos, sino como un estudio sobre una población dada, cuyos resultados deben conformar una validez estadística. En primer lugar lo de "cuál te suena mejor" es muy ambiguo y depende de factores no solamente intrínsecos al formato de audio, sino también del equipo y de la percepción/gusto personal. En realidad ningún participante sabía cuál era el sonido "bueno" y cuál el "malo" de antemano y cabía la posibilidad de que ambos fueran iguales. Una de las cosas que hay que mirar con mucha atención es el porcentaje de gente que dijo que sonaban igual, que siempre fue inferior a la suma de los otros dos sin ningún tipo de duda estadística. La gente escuchó (o creyó escuchar, ahí no entro) diferencias y es posible que lo que para unos es "mejor" para otros sea "peor". EMHO ese es el mayor fallo del estudio.
En segundo lugar la gente se imagina que oye más cosas de las que realmente oye, pero cuando sabe dónde fijarse y en qué consisten las diferencias que debe detectar, falla mucho menos si la calidad del equipo se lo permite. Quizá el estudio debería haberse planteado partiendo de la base de que las pistas deberían haber favorecido un poco más la existencia de esas diferencias o al menos haber incluído fragmentos de música que gráficamente en los análisis espectrales mostrasen más artefactos en la pista ogg. Lo que quiero decir es que hoy en día es fácil hacer espectrogramas y DEMOSTRAR gráficamente que una pista en formato con pérdidas en Lame, ogg o incluso AAC (y con este cuesta un mundo) no logra la misma fidelidad espectral que un formato sin pérdida. Es en ese tipo de material en el que EMHO la prueba debería haberse centrado, pues yo veo más interesante saber si somos capaces de identificar lo que debería sonar diferente que demostrar si lo que tiene un espectro igual ofrece alguna diferencia acústica. Lo segundo no tiene mucho interés, empieza a entrar en el campo de lo paranormal.
Lo del sentido común, por favor no generalices tu visión a toda la afición. Digamos que hay gente que se deja llevar por lo que le cuentan y que trata de encontrar un sentido a gastos exagerados de dinero, y gente que aspiramos a entender por qué unas cosas nos suenan mejor y otras peor, y a encontrar un punto sensato de gasto que nos permita disfrutar de lo que suena mejor. Si eso no es sentido común...

Pablopi, si la idea de tu estudio era demostrar si existen diferencias audibles entre ambos tipos de archivos, EMHO que en todas las pistas predominen las respuestas que notan diferencia (puesto que el mejor o peor es discutible, opinable y no medible) sobre las que lo oyen como igual, teniendo en cuenta que todo el test podía incluir pistas trampa, demuestra que es bastante probable que sí que haya diferencias audibles. La cosa es usar la prueba estadística adecuada que permita asegurarlo con una probabilidad significativa. Hasta entonces tampoco me atrevo a pronunciarme

[Ant_56]

Yo insisto en concebir este tipo de pruebas como un intento de discriminar entre formatos y en este caso concreto el escenario elegido para ello me parece que es el idóneo, ya que ha sido presentada en tres lugares con clara tendencia subjetivista, con lo cual la opción "no hay diferencias" adquiere poco protagonismo; de hecho es la respuesta menos indicada en todos los casos, lo cual es bastante sintomático.

Si hablamos de retos individuales, evidentemente las conclusiones, aún con la falta de rigurosidad manifestada, son concluyentes. Cuatro acertantes de 83 participantes me parece un porcentaje paupérrimo.

El hecho de que se acierte en el formato no implica que la razón de haberlo conseguido sea la calidad sonora y es ahí donde el azar entra en escena y desvirtúa el resultado.

Me imagino esta misma prueba con 10 intentos en lugar de con los 5 propuestos, entre los cuales existiesen una serie de disyuntivas que probasen la capacidad del interviniente. La lógica hace suponer que el porcentaje de acertantes del pleno al cinco no se hubiese mantenido, pero ¿qué pasaría si en la pista 9 en lugar de un WAV y un OGG hubiese un dos WAVs? ¿ y si en a 8 fuesen un FLAC y un WAV?

¿Creeis que alguien haría la observación de que "aquello no suena como las otras muestras" o habría una respuesta masiva apuntando en el sentido de las "no diferencias"? ¿Cuantos participantes hubiese habido si se supiese de antemano que entre las 10 proposiciones iban a existir 2 o 3 con trampa, con un cuadro de observaciones para señalarlas?    .. ¿ y una prueba de 4 formatos en lugar de 2, indicando cual es cual?

[Torpedo]

Ant, tu puedes interpretarlo como quieras, pero es como empeñarse en que estás midiendo la temperatura con un cronómetro. Una prueba como la que ha diseñado Pablopi no puede detectar si la gente está distinguiendo entre con y sin pérdidas porque se introdujo la variable de que podrían ser dos archivos iguales y además no se proporcionó la herramienta para saber de antemano cómo suena el formato con pérdida y el sin pérdida de cada canción. La pregunta sólo hacía referencia a "sonar mejor" y eso en sí mismo es un criterio subjetivo. El único resultado que podría tener significación estadística es el de que hay mayoría de gente que oye como diferentes archivos que no lo eran, pero dado el pequeño tamaño de la muestra, eso podría no ser valorable, por eso hace falta analizarlo mejor.

Tema diferente es que quieras arrimar el ascua a tu sardina y pelear que un ogg a 320 suena indistinguible de un formato sin pérdida. Eso es discutible, opinable y puede que tengas razón. Lo único que estamos diciendo es que esa conclusión de forma seria, rigurosa y estadísticamente relevante no se puede extraer del trabajo que ha hecho Pablopi. Hacer las cosas bien es la diferencia entre hacer ciencia (o intentarlo) y discutir por discutir. La ciencia nunca ha sido una cuestión de opinión, suele ser una cuestión de matemáticas y mediciones, en el caso de variables no medibles o aplicadas a poblaciones, es cuestión de estadística nos guste o no.

[pablopi]

Bueno, la prueba es la que es y ha salido lo que ha salido. La intención nunca ha sido sentar cátedra sobre nada ni publicar un paper, sino hacer un pequeño experimento informal (porque no podía ser de otro modo) y discutir los resultados.

La batalla de la rigurosidad estaba perdida de antemano. Hay una cuestión fundamental que no habéis comentado: cualquiera con unos mínimos conocimientos podría haber hecho trampa. Bastaba con analizar el espectro de las muestras, que lógicamente se podían descargar para facilitar su reproducción en equipos de audio convencionales, para averiguarlo con razonable precisión o al menos tener muchas pistas al respecto. A partir de ahí (el entorno no estaba controlado al 100%), plantearse otras cuestiones que restan rigurosidad a la prueba ya no tiene demasiado sentido en mi opinión. Incluso en algún momento temí que alguien se dedicara a trollear el test (aunque en ese sentido tomé otras precauciones).

El objetivo era, sencillamente, preguntarle a los participantes qué versión preferían de 2 archivos codificados en 2 formatos distintos, con la opción de indicar que no se apreciaban diferencias. Con toda la subjetividad que ello conlleva. En este sentido me consta (porque me lo han dicho directamente) que muchos participantes pensaban que había pistas trampa (y más conociéndome  ). Una de las cosas que quería comprobar era si se prefería la versión de supuestamente mayor calidad o no, por ello la pregunta se formulaba de ese modo en lugar de "indica cuál es el wav".

A partir de ahí, como decía en mi análisis este es un test de código abierto: cualquiera se puede bajar la hoja de cálculo con las respuestas y analizarlas del modo que más le guste. O plantear otro test más riguroso. Yo participaré encantado.

Con respecto a las conclusiones, y ante una muestra tan pequeñita, especialmente cuando hablamos de determinados grupos (profesionales, músicos, personas que aciertan 5, usuarios con acondicionamiento, etc) pocas conclusiones se pueden sacar. A pesar de eso en mi opinión hay 2 circunstancias relevantes:

1. La respuesta más frecuente en cada pista identifica los wav. Me parece sorprendente y difícilmente achacable al azar.

2. La probabilidad de 5 aciertos en 4 personas de 83 participantes es más de 2 órdenes de magnitud inferior al 4,8% registrado, lo que de nuevo me hace desconfiar del azar. Hasta el momento nadie ha justificado por qué el uso de la distribución binomial para calcularla es erróneo (es mas, algunos cálculos que he leído por ahí son un poquito  ).

Torpedo: totalmente de acuerdo con tus planteamientos, incluyendo la parte en la que hablas de tratar de usar una prueba estadística para buscarle a esto alguna conclusión válida. Voy a desempolvar el libro de estadística de la Uni  . Recuerdo que por aquel entonces usábamos una técnica denominada ANOVA, pero no veo en este caso, con variables cualitativas, cómo aplicar un análisis de la varianza.