Слепое тестирование Websound.Ru

Cначала несколько слов о методике тестирования. Выдержка из FAQ сайта:

"... Как разновидность методов сравнения аудио сигналов существует и еще один, принципиально отличный от предыдущих способ - метод тестирования на слух. Такой метод очень широко применяется при тестировании качества компрессии lossy аудио кодеров. Метод заключается в следующем (техника проведения тестирования может быть немного отличной от описываемой, однако смысл остается неизменным). Берется музыкальная композиция в двух вариантах: оригинал и сжатый сигнал. Пользователь внимательно слушает оригинальный сигнал один раз. Далее пользователь вслепую прослушивает в неизвестном ему порядке (либо с помощью ассистента, либо с помощью какой-то программы) N раз оригинальный сигнал и N раз сжатый. Во время каждого отдельного прослушивания пользователь старается определить слушает он оригинал или нет. Свою оценку он записывает. По окончании результаты его оценок сравнивают с действительностью: в каком числе из 2*N прослушиваний пользователь правильно определил звучание оригинального и сжатого сигнала. Если отношение числа правильных оценок к неправильным <= 1 - значит пользователь не в состоянии отличить оригинал от сжатого сигнала. Если же это отношение > 1, значит пользователь в состоянии с большей или меньшей достоверностью отличить оригинал от не оригинала. Точнее,  достоверность тем выше, чем полученное соотношение оценок выше единицы. Конечно, вариаций такого способа тестирования может быть много, но основная идея остается неизменной".

На этой страничке будут накапливаться результаты уже проведенных слепых тестирований, а также проводиться новые. Тестирования проводятся в пакетном режиме. Порядок тестирования таков. Каждый желающий участвовать в тестировании:
1. скачивает программу ABC/HR, которая используется для удобства проведения тестирования на слух (программу можно скачать тут);
2. скачивает пакет сэмплов для прослушивания (оригинальный аудио материал небольшой длительности звучания плюс несколько сэмплов, полученных от декодирования сжатого тестируемыми кодеками оригинала). В комплект пакета входит специальный конфигурационный файл для программы ABC/HR. Для уменьшения объема скачиваемых сэмплов, сэмплы подвергаются предварительному сжатию одним из специальных алгоритмов сжатия аудио (например, LA, FLAC или Monkey's Audio). Следует обратить внимание, что тест может состоять из нескольких тестовых пакетов для прослушивания. Совершенно не обязательно проводить тест на слух для всех пакетов - каждый пользователь может ограничиться тестированием даже одного пакета;
3. размещает распакованную программу ABC/HR и распакованный (то есть в виде .WAV-файлов) комплект сэмплов в одном каталоге;
4. запускает программу ABC/HR указав ей на вход конфигурационный файл полученный вместе с комплектом сэмплов;
5. производит тестирование методами, предложенными программой ABC/HR и по окончании записывает результаты тестирования в результирующий файл. Метод тестирования с помощью ABC/HR является вариацией описанного выше. Сначала пользователь знакомится со всем комплектом тестируемых сэмплов (комплект может состоять как лишь из двух сэмплов - оригинала и одного тестируемого, так и из нескольких, например, оригинала плюс нескольких сэмплов полученных от декодирования сжатого разными кодеками оригинала). Затем пользователь переходит в окно "ABX" (с помощью соответствующей кнопки), где в качестве сэпла "A" из списка выбирает оригинальный сэмпл, а в качестве сэмпла "B" поочередно выбирает предлагаемые тестовые сэмплы. Каждый раз выбрав очередной тестируемый сэмпл прослушивание и оценка проводится следующим образом. Пользователь нажимает кнопки A, B, X (в удобной ему последовательности), пытаясь определить является ли сэмпл, "скрытый" под кнопкой X, сэмплом A или B. Однозначно определившись с ответом пользователь нажимает "X is A" либо "X is B" и, нажав "Next trial" ("новая попытка"), снова пытается определить что "спрятано" под X. Проведя такую процедуру достаточное количество раз (скажем, 10-15 раз) можно переходить к выбору нового сэмпла B. По окончании прослушивания всего комплекта сэмплов пользователь выходит из программы сохранив результаты тестирования в файл;
6. отправляет файл с результатами тестирования автору сайта с пометкой "слепое тестирование".

По окончании сроков проведения тестирования автор сайта суммирует все полученные результаты от разных пользователей и публикует результаты на этой же странице.

Важное замечание
1. Проводя тестирование помните, что сравнение каждой пары сэмплов желательно проводить не менее 10 раз с тем, чтобы результаты тестирования действительно отражали статистику, а не являлись случайными.
2. Если организованное тестирование состоит из нескольких аудио комплектов (пакетов), вы НЕ обязаны участвовать в прослушивании абсолютно всех пакетов, а можете ограничиться участием в прослушивании лишь одного.

Тест #1 - тестирование прекращено

Предлагаемое тестирование состоит в изучении качества сразу нескольких кодеков.

Тестируемые кодеки / кодеры:

MPEG-4 AAC, Sorenson Squeeze v3.5 (sor)
MPEG-4 AAC, QuickTime Pro v6.3 (qt)
MPEG-1 Layer III, Lame Encoder v3.90.3 stable bundle (lame)
MPEG-1 Layer III, кодек Fhg MP3 из CoolEdit Pro 2.1, High Quality Codec (fhg)
MP3 Pro, кодек Fhg MP3 из CoolEdit Pro 2.1, High Quality Codec (fhgpro)
MPEG-4 AAC, PSYTel encoder v2.15 (psy)
Ogg Vorbis, oggenc 1.0 (ogg)
Ogg Vorbis GT3, OggEncGT3v1 (ogt)
MusePack, mppenc 1.15r (mpc)
WMA9, MS WMA9 encoder (wma)

Методика:

Предлагаемые комплекты тестирования составлялись следующим образом. Все тестируемые кодеки оцениваются в битрейт-нишах: 96 Kbps, 128 Kbps, 192 Kbps, 256 Kbps и 320 Kbps. Поскольку некоторые кодеки не рекомендовано (или вообще нельзя) использовать на фиксированных битрейтах, параметры кодирования некоторых сэмплов подбирались так, чтобы размеры файлов лежали в пределах +/- 10-15% от размера файла, закодированного на фиксированном битрейте выбранной ниши.

Ahead Nero AAC, а также некоторые другие кодеры AAC не приняли участие в тестировании так как по итогам слепого тестирования, проведенного HydrogenAudio.Org, лидерами качества стали Quick Time AAC, Sorenson AAC и PsyTel AAC.

Все тестируемые кодеры MPEG-4 AAC используют профайл LC.

Использованные параметры кодирования каждого файла можно изучить здесь.

Комплекты тестирования:

Все файлы сжаты Monkey's Audio Compressor v3.98 (http://www.monkeysaudio.com/files/MAC_398a1_F.exe). Не забудьте скачать утилиту ABC/HR для проведения тестирования. Каждый комплект состоит из оригинального сэмпла и архива с несколькими сэмплами, полученными от декодирования сжатого разными кодеками оригинала.

Каждый пакет занимает 3-10 Mb. Суммарный размер всех пакетов - 210 Mb. Прежде чем приступить у тестам помимо основной инструкции вснимательно изучите пункт 2 замечания выше.

-= 96 Kbps =-

bach-96.zip + bachpsichord.zip (в сумме 10,7 Mb)
cat-96.zip + cat.zip (в сумме 9,1 Mb)
fools-96.zip + fools.zip (в сумме 4,1 Mb)
jarre-96.zip + jarre.zip (в сумме 14,7 Mb)
rem-96.zip + rem.zip (в сумме 6,5 Mb)

-= 128 Kbps =-

bach-128.zip + bachpsichord.zip (в сумме 11 Mb)
cat-128.zip + cat.zip (в сумме 9,5 Mb)
fools-128.zip + fools.zip (в сумме 4,3 Mb)
jarre-128.zip + jarre.zip (в сумме 15,2 Mb)
rem-128.zip + rem.zip (в сумме 6,7 Mb)

-= 192 Kbps =-

bach-192.zip + bachpsichord.zip (в сумме 11,8 Mb)
cat-192.zip + cat.zip (в сумме 10,2 Mb)
fools-192.zip + fools.zip (в сумме 4,7 Mb)
jarre-192.zip + jarre.zip (в сумме 16,1 Mb)
rem-192.zip + rem.zip (в сумме 7,2 Mb)

-= 256 Kbps =-

bach-256.zip + bachpsichord.zip (в сумме 12 Mb)
cat-256.zip + cat.zip (в сумме 10,7 Mb)
fools-256.zip + fools.zip (в сумме 4,9 Mb)
jarre-256.zip + jarre.zip (в сумме 16,9 Mb)
rem-256.zip + rem.zip (в сумме 7,4 Mb)

-= 320 Kbps =-

bach-320.zip + bachpsichord.zip (в сумме 12,2 Mb)
cat-320.zip + cat.zip (в сумме 10,8 Mb)
fools-320.zip + fools.zip (в сумме 4,9 Mb)
jarre-320.zip + jarre.zip (в сумме 17,1 Mb)
rem-320.zip + rem.zip (в сумме 7,7 Mb)

Линки более не доступны, тестирование #1 прекращено.