Обзоры

Что такое benchmark?

  Начать раздел "Обзоры" мне бы хотелось с определения того, что же такое benchmark (далее - бенчмарк). И, соответственно, того, чему посвящен весь сайт.
  Итак, бенчмарк - это компьютерная программа, тестирующая производительность. В данном случае, важно различать программу, которая тестирует производительность, а затем выдает результаты этого тестирования, и сами результаты. Их правильнее результатами тестирования и называть. Далее речь пойдет именно о программах.
  Существует четыре основные категории, на которые делятся бенчмарки:
  • тесты на основе приложений (application-based test), они запускают реальные программы и измеряют время их выполнения. При этом воспроизводится максимальная активность приложений, для создания наибольшей нагрузки на систему.
  • воспроизводящие тесты (playback test), они используют протоколы системных вызовов, сделанных во время определенных действий программ (например, графические вызовы или использование диска), а затем воспроизводят их отдельно (в изоляции).
  • искусственные тесты (synthetic test) имитируют активность программ в отдельных подсистемах компьютера.
  • констрольные тесты (inspection test) не пытаются имитировать активность приложений, а вместо этого напрямую обращаются к отдельным подсистемам.
  Тесты на основе приложений (такие, как ZD Winstone и, частично, 3DMark) являются наилучшим решением для определения производительности всей системы в реальных условиях.
  Там, где это возможно, воспроизводящие тесты (например, CD Winbench) дают наиболее реальные результаты тестирования отдельных подсистем, таких как жесткий диск, CD-ROM, графическая подсистема и т.д.
  Искусственные тесты (такие, как CliBench MK III SMP, CPUMark и т.д.) остаются наиболее актуальны при тестировании производительности процессора.
  Контрольные же тесты (типа, CPU Stability Test, Passmark Burn-In Test) наиболее хороши при тестировании с целью обнаружения ошибок и на стабильность работы системы.
  Конечно, результатам тестов не всегда стоит доверять. Например, некоторые производители "железа" специально подгоняют свои драйверы под искусственные тесты. Существует даже выражение: "В компьютерной индустрии существует три типа лжи: ложь, бессовестная ложь и бенчмарки!". Но все же, бенчмарки остаются наиболее легким способом тестирования системы и последующего сравнения с результатами тестирования других систем.

I.S.Mareev
02.04.2000
Комментарии? Дополнения?