 |
|
 |
 |
|
Методики тестирования производительности компьютерных систем
Цели
Основной целью тестирования быстродействия компьютерных систем является получение объективных (тестовых) данных об их быстродействии в различных приложениях, с тем чтобы впоследствии протестированные системы можно было сравнивать между собой. Соответственно, разбиение общей методики на несколько более узких направлений, служит для того, чтобы не сравнивать между собой быстродействие конкретных систем в тех задачах, в которых их использование не предусмотрено самим производителем, в результате чего подобное сравнение, даже если его провести, становится абсолютно бессмысленным.
Результаты
Результатом тестирования быстродействия компьютерной системы в рамках одной из методик, является средний балл быстродействия, полученный путём усреднения результатов конкретных тестов, входящих в методику. Соответственно, корректным является только сравнение между собой баллов (систем), полученных в рамках одной и той же методики.
Методики тестирования
Приложения
Пакеты трёхмерного моделирования
- 3ds max 7.0
- Maya 6.5
- Lightwave 8.5 x64 Edition
Этот класс программ традиционно относится к ресурсоёмкому программному обеспечению, используемому, как правило, профессионалами. Пакеты трёхмерного моделирования в режиме рендеринга дают высокую нагрузку на процессор, в режиме интерактивной работы — на подсистему процессор-память и 3D-акселератор. Практически все пакеты трёхмерного моделирования требуют достаточно большого (выше, чем на усреднённом десктопе) объёма ОЗУ. К быстродействию дисковой подсистемы, как правило, малокритичны. Умеют задействовать все процессоры, установленные в системе.
Программы архивирования
- WinRAR 3.51
- 7-Zip 4.32 x64 Edition
Программы, используемые практически всеми, независимо от профессионального или любительского статуса. Критичны к скорости процессора и подсистемы памяти, частично зависят от скорости дисковой подсистемы. К видеокарте индифферентны. Многопроцессорность большинством архиваторов пока не поддерживается, но в нашей методике одно из исключений (7-Zip) представлено.
Программы компрессии аудиоданных
- LAME 3.98
- Monkey Audio 4.01
- OGG Encoder 2.8
- Windows Media Encoder 9 x64 Edition
Обширный класс программ, предназначенный для уменьшения размера аудиофайлов с потерей качества или без. В основном используется домашними пользователями. Данный класс программ, как правило, критичен к быстродействию и архитектуре процессора, влияние дисковой подсистемы, памяти, и видеокарты — минимально. Поддержка многопроцессорности — редкость (но у Windows Media Encoder, который присутствует в нашей методике, она есть).
Программы класса CAD/CAM/CAE
- MATLAB 7.1
- Pro/ENGINEER Wildfire 2.0
- SolidWorks 2005
Пакеты, используемые практически исключительно профессионалами т.к. требуют очень много времени на освоение и очень дорого стоят. Предназначены для использования в производстве, для моделирования различных процессов или для использования инженерами при разработке и проектировании различных узлов (в качестве замены листу ватмана, кульману и карандашу). Критичны к производительности всех без исключения составляющих компьютерной системы, очень требовательны к объёму ОЗУ.
Компиляторы
- Microsoft Visual C++ Professional 6.0
Одна из широко распространённых задач — компиляция программ, написанных на языке C++. Компилятор от Microsoft является стандартом де-факто для программистов, пишущих программы для ОС Microsoft Windows. Нагрузка при тесте распределяется примерно в равной степени между процессором, подсистемой памяти, и дисковой подсистемой. С целью уменьшения влияния последней перед проведением тестов запускается процесс дефрагментации. В принципе, многие домашние пользователи тоже склонны изредка программировать, но в целом данный тест всё же относится к категории профессиональных.
Синтетические и полусинтетические тесты
- CPU RightMark 2005 Lite x64 Edition
- RightMark Memory Analyzer
Программы, основной задачей которых является определение предельно возможной производительности компьютера на относительно несложных, но очень часто используемых операциях. Результаты этих тестов не имеют прямого отношения к быстродействию тестируемой системы в реальном ПО, но с известными оговорками могут быть использованы для "экспресс-сравнения" компьютерных систем между собой. CPU RightMark тестирует в основном быстродействие процессора, RightMark Memory Analyzer — производительность подсистемы памяти.
Компьютерные игры
- F.E.A.R. 1.3
- Half-Life 2
- Unreal Tournament 2004 build 3339
- Quake 4 Point Release 1.1
Распространённый класс задач для домашнего компьютера, исключить который из методики было бы неразумно, несмотря на "несерьёзность". Игры, как правило, более всего критичны к производительности процессора и видеокарты, в несколько меньшей степени — к быстродействию подсистемы памяти. Скорость дисковой подсистемы непосредственно на игровой процесс чаще всего не влияет и сказывается лишь на скорости загрузки уровней игры (поэтому в рамках наших тестов влияние дисковой подсистемы не учитывается).
Программы распознавания текстов
- FineReader Professional 8.0
Задача, в подавляющем большинстве случаев характерная для домашнего или офисного компьютера. Требовательна к быстродействию процессора, вклад прочих подсистем в общую скорость распознавания намного менее критичен.
Программы для работы с растровой графикой
- Adobe Photoshop CS2 (9.0)
Так как в нашей методике данный класс ПО представлен именно Adobe Photoshop, имеет смысл говорить о профессиональной ориентированности этого теста т.к. домашние и офисные пользователи как правило используют для обработки фотографий программные инструменты попроще. Тест критичен к быстродействию процессора и подсистемы памяти, может задействовать более одного процессора (при их наличии). Также очень важную роль играет объём ОЗУ, он должен быть существенно больше, чем у среднестатистического домашнего или офисного компьютера.
Программы компрессии видеоданных
- Canopus ProCoder 2.01.30
- VirtualDubMod 1.5.1.1
- DivX 6.1.1
- Windows Media Video 9 VCM
- x264 v.438
- XviD 1.1.0 Release
Распространённая задача для домашнего компьютера, впрочем, порой некоторые из представленных здесь программных пакетов используются и в профессиональной деятельности. В среднем, программы компрессии видеоданных критичны к архитектуре и быстродействию процессора, чуть в меньшей степени — подсистемы памяти. Некоторые способны использовать более одного процессора.
Веб-сервер
- Apache 2.0.55 for Windows
Сугубо профессиональное ПО (а даже если и используется в любительских целях — то всё равно профессионалами т.к. требует достаточно высокого уровня знаний при настройке). Очень хорошо задействует большое количество процессоров. Критично к скорости CPU и подсистемы памяти (в разных пропорциях, в зависимости от типа нагрузки на сервер). Теоретически, данный тест может быть критичен к производительности дисковой подсистемы, но в рамках наших тестов эта особенность не учитывается.
Интегрированные бенчмарки на основе реальных приложений
Один из наиболее популярных тестовых пакетов класса "всё-в-одном". В принципе, мы стараемся не использовать в своих методиках тесты чужой разработки, однако для данного пакета было сделано исключение т.к. его "офисный" балл демонстрирует достаточно высокую степень адекватности, а соответствующий набор тестов охватывает большое количество действительно широко распространённого офисного программного обеспечения.
Разновидности методик
Сокращённая методика
- Программы архивирования
- Синтетические и полусинтетические тесты
- Компьютерные игры
- Интегрированные бенчмарки на основе реальных приложений
Минимальный набор тестов, позволяющий приблизительно оценить производительность компьютерной системы в условиях нехватки времени и необходимости как можно более быстрого получения результатов. В случае если собранная система работает стабильно и ведёт себя адекватно, тестирование в рамках сокращённой методики вполне реально провести за 2-3 часа (здесь, как и в дальнейшем, даётся длительность именно тестирования, не учитывая сборку и настройку системы).
Методика для домашних и офисных компьютеров
- Программы архивирования
- Программы компрессии аудиоданных
- Синтетические и полусинтетические тесты
- Компьютерные игры
- Программы распознавания текстов
- Программы компрессии видеоданных
- Интегрированные бенчмарки на основе реальных приложений
Позволяет вполне адекватно оценить производительность компьютера с точки зрения домашнего и/или офисного применения. Длительность тестов, в зависимости от быстродействия компьютера — от 6 до 8 часов.
Методика для компьютеров, предназначенных для профессионального применения и рабочих станций
- Программы архивирования
- Пакеты трёхмерного моделирования
- Программы класса CAD/CAM/CAE
- Компиляторы
- Синтетические и полусинтетические тесты
- Программы для работы с растровой графикой
- Программы компрессии видеоданных
- Веб-сервер
Позволяет оценить быстродействие мощного десктопа или рабочей станции с точки зрения пригодности к профессиональной работе "в самом общем случае". Для представителей конкретных профессий могут быть интересны результаты отдельных тестов, поэтому в данном случае мы считаем оправданным публиковать не только средний балл, но и отдельные результаты тоже. Длительность тестирования — до полутора рабочих дней.
Полная (максимально подробная) методика
Включает в себя все описанные выше тесты. Максимальное количество полезной информации, но достаточно большое время тестирования (порядка двух-трёх рабочих дней).
Затраты времени на тесты
Все временные интервалы даны "для наихудшего случая", с необходимым запасом на всякие мелочи. Минимальный временной интервал принят равным 10 минутам.
Однако, разумеется, всё это действительно только для тех случаев, когда тестовый стенд работает более-менее нормально, без серьёзных проблем.
- 3ds max 7.0 — 3 часа
- Maya 6.5 — 3 часа
- Lightwave 8.5 x64 Edition — 1,5 часа
- WinRAR 3.51 — 10 минут
- 7-Zip 4.32 x64 Edition — 15 минут
- LAME 3.98 — 10 минут
- Monkey Audio 4.01 — 20 минут
- OGG Encoder 2.8 — 10 минут
- Windows Media Encoder 9 x64 Edition — 10 минут
- MATLAB 7.1 — 10 минут
- Pro/ENGINEER Wildfire 2.0 — 3 часа
- SolidWorks 2005 — 3 часа
- Microsoft Visual C++ Professional 6.0 — 20 минут
- CPU RightMark 2005 Lite x64 Edition — 10 минут
- F.E.A.R. 1.3 — 10 минут
- Half-Life 2 — 10 минут
- Unreal Tournament 2004 build 3339 — 10 минут
- Quake 4 Point Release 1.1 — 10 минут
- FineReader Professional 8.0 — 30 минут
- Adobe Photoshop CS2 (9.0) — 1,5 часа
- Canopus ProCoder 2.01.30 — 20 минут
- DivX 6.1.1 — 1 час
- Windows Media Video 9 VCM — 1,5 часа
- x264 v.438 — 1 час
- XviD 1.1.0 Release — 1,5 часа
- Apache 2.0.55 for Windows — 10 минут
- SYSmark 2004SE — 2 часа
- RightMark Memory Analyzer — 10 минут
Сборка и настройка системы (только железо) — 1 час
Разворачивание тестового имиджа, доустановка необходимых драйверов, приведение системы в готовое к проведению тестов состояние (дополнительная настройка, дефрагментация) — 1 час.
Нормативы на тестирование (нормо-часы)
- Пакеты трёхмерного моделирования — 4,0
- Программы архивирования — 0,5
- Программы компрессии аудиоданных — 1,0
- Программы класса CAD/CAM/CAE — 3,0
- Компиляторы — 0,5
- Синтетические и полусинтетические тесты — 0,5
- Компьютерные игры — 0,5
- Программы распознавания текстов — 0,5
- Программы для работы с растровой графикой — 1,0
- Программы компрессии видеоданных — 2,0
- Веб-сервер — 0,5
- Интегрированные бенчмарки на основе реальных приложений — 1,0
- Сборка системы, проверка и настройка установок BIOS — 1,0
- Разворачивание образа, установка драйверов, настройка ОС — 1,0
Самостоятельная (без обращения к техническому директору) попытка справиться с возникшими проблемами, с последующим составлением баг-репорта — НЕ БОЛЕЕ 1,0 на систему.
|
|
|
|
|
