3DMark'03: тестовый пакет или красивая игрушка? Часть первая

Введение Скорость прогресса в области Hi-Tech можно сравнить со скоростью курьерского поезда, который идет хоть и не очень быстро, но зато без остановок. Причем у нашего поезда конечной станции нет, только пассажиры и направление меняются, но скорость остается той же. Конечно, это спорное утверждение, но факты говорят сами за себя. Прогресс в области графических ускорителей идет не только в сторону улучшения скоростных характеристик. Также улучшается и функциональность ускорителей, которая, в свою очередь, за последние пять лет изменила картинку, отображаемую на мониторе, довольно сильно. Основной толчок в этом направлении, был сделан началом использования программируемых вертексных и пиксельных шейдеров, поддерживаемых уже большинством современных ускорителей. Но опять же, поезд не стоит на месте, и в последнем поколении ускорителей появилась поддержка уже второй версии шейдеров, а до этого были маленькие полустанки с промежуточными версиями. Шейдеры - это небольшие программки, которые могут исполняться внутри чипа, абсолютно не загружая центральный процессор, при этом, качество и уровень детализации отображаемой графики становится значительно выше. Но об этом я расскажу чуть позднее.

Современные компьютеры состоят из двух основных частей: аппаратной - это карты, процессоры, память и прочее железо продающееся в магазинах, и программной, без которой компьютерное железо останется железом в прямом смысле слова, и больше, чем на подставку для ножки стола не сгодится. Для любого современного акселератора нужны программы, которые могли бы использовать все его функции на 100 процентов, позволяя пользователю понять, за что он заплатил немалые деньги. Рядовому пользователю, если он не абсолютный циник, вообще приятно понимать и видеть, за что он заплатил деньги. Существует и цель сравнения новинок с предыдущим поколением, так как понимать, что же стало лучше, нужно и важно. Именно для этих двух целей существует целый пласт программ, называемых бенчмарками. В тестировании видеокарт в качестве бенчмарков можно использовать современные 3D-игры или специализированные программы, которые, для большей объективности, должны использовать все возможности последних акселераторов. Как я и упоминал ранее, это связано с ростом акселераторов не только в высоту (скорость) но и в ширину(функциональность). На настоящий момент программ, поддерживающих современный Стандарт, который объединяет уровень функциональности нынешнего поколения ускорителей - DirectX9, практически нет. Эта ситуация скоро изменится ... или уже изменилась, так как появился тестовый пакет от FutureMark - 3DMark 2003 или 3DMark03, о котором и пойдет речь в этом обзоре.

3DMark03

Выхода этой программы ожидали многие, и можно понять почему. В первую очередь, программы от компании FutureMark, недавно вновь переименовавшейся из MadOnion в свое первоначальное название, имеют особый статус, схожий, пожалуй, только со статусом программ от Id Software. Потому как и те, и другие выпускают продукты, которые работают на грани возможностей современного Hi-end железа, и начинают полноценно работать у среднего пользователя только по прошествии года после выхода.

Давайте, кстати, коль уж мы об этом говорим, определимся в одном вопросе. Под Hi-End современного рынка графических ускорителей я подразумеваю чипы ATI R300 и Nvidia NV30, и все что выпущено до настоящего момента после них.

3DMark является обычно флагманом новой эры, по качеству и реалистичности его сцен обычно делаются выводы о реалистичности графики в играх на всё ближайшее время, до выхода новой версии DirectX. Этой программы ждали пользователи, имеющие самое современное железо в своих компьютерах, этой программы ждали тестеры и авторы, так как это мощный инструмент для получения объективной информации, наконец, ее ждали маркетологи в компаниях-продавцах железа, так как им нужно изучать то, что напишут тестеры и закупать то железо, у которого есть будущее, и на которое будет в ближайшее время спрос.

Сам по себе 3DMark представляет набор трехмерных сцен на базе собственного графического движка, дающих нагрузку на разные возможности акселераторов. Также это набор синтетических тестов, определяющих параметры производительности в более "теоретическом" плане. Конечный индекс высчитывается по определенной формуле, но о ней мы поговорим позднее. И конечно же, есть еще и деморежим, так любимый всеми пользователями, которых не интересует индексный результат, а интересует красивый ролик с хорошим звуком.

С каждым разом 3dmark пухнет всё больше и больше и, если предыдущая версия, 3DMark 2001SE, занимала всего 40 мегабайт, то 3DMark03 занимает 171 мегабайт в архиве и 470 мегабайт в развернутом состоянии, то есть практически в 4 раза больше своего предшественника. Этот факт тоже можно посчитать намеком на то, что ожидать совре\менных игр, умещающихся на одном или двух CD, нам не стоит, и вообще будет здорово если все будет умещается на одном DVD. 3DMark03 распространяется по shareware-схеме, то есть с сайта разработчика можно скачать только демоверсию, в которой много ограничений, среди которых :
• Невозможность изменения разрешения и настроек при воспроизведении Demo и для тестирования.
• Невозможность изменить количество тестов
• Невозможность использования командной строки

Фактически от незарегистрированного 3DMark можно получить только общее представление о тестировании и посмотреть Demo в фиксированном разрешении. Для того, чтобы зарегистрировать 3DMark, необходимо перечислить на счет компании 40 долларов, хотя конечно же, существуют и альтернативные способы решения проблемы, если вы понимаете, о чем я говорю.

Демо-Режим

В демо режиме, если вы имеете акселератор с поддержкой DirectX9, можно увидеть четыре сцены. Качество графики в этих сценах действительно впечатляет. Все выглядит действительно очень красиво, и как и ожидалось, работает с трудом даже на самом современном железе (позднее мы обсудим почему это так). Отдельно стоит отметить, что во время демо-режима во всех сценах работает режим пост-процессинга, для пользователей это выглядит как эффект фокусного расстояния камеры, или эффект старого кино в начале демонстрации. Есть и другие красивые эффекты, заметные на глаз. В целом, деморежим в новом 3D-Mark оправдал все ожидания пользователей, примерно этого все и ждали. Чего, к сожалению, не скажешь о всех остальных функциях нового продукта. К сожалению, пользоваться новым 3D-Mark как полноценным тестовым пакетом очень сложно, и я попытаюсь объяснить ниже, почему я так думаю.

Описание программы

Как я уже и писал ранее, в 3DMark созданы четыре полноценных игровых теста, по которым и раcчитывается конечный индекс. Также есть следующие тесты:
• Два теста нагрузки на центральный процессор
• Тесты на скорость заполнения (Fill Rate Single and Multi Texturing)
• Тест на скорость выполнения вертексных шейдеров.
• Тест на скорость выполнения пиксельных шейдеров версии 2.0.
• Тестирование физической модели Havok (RagTroll)
• Тест звуковой платы на обработку трехмерного звука.

Интерфейс

Интерфейс программы понятен и очень схож с предыдущей версией 3DMark 2001. Конечно же, можно еще раз его описать, но мы не ставим перед собой цели перевести файл помощи к 3DMark03.

Всё абсолютно понятно и прозрачно. Стоит только упомянуть некоторые изменения. В первую очередь, полностью отсутствует интерфейс для BATCH-запуска тестов. Теперь вся функциональность BATCH-режимов перенесена на командную строку. В каком то смысле, это правильно и иногда более удобно, но все же отсутствие этого режима не радует. Синтаксис запуска 3DMark03 из командной строки описан в файле помощи к 3DMark03, и естественно, все BATCH-последовательности теперь можно составлять в виде пакетных BAT-файлов операционной системы. Это может помочь тестерам существенно сократить время тестирования карты.

Далее, отсутствует вариант сохранения результатов в простой в текстовый файл, но вместо этого введена возможность сохранения результатов в формате Excel. Это не очень удобно для профессиональных тестеров. Существенно улучшился интерфейс получения ImageQuality-скриншотов, но это всего лишь косметические исправления. При этом нет возможности управления отображаемыми эффектами внутри пост-процессинга, и многих других вещей, иногда необходимых в работе.

В версии 330 есть возможность принудительного использования шейдеров версии 1.1 вместо версии 1.4. Зачем это надо мы опять же обсудим позднее.

Теперь по каждому тесту мы пройдемся чуть подробнее:

GT1 (Игровой тест 1 - Wings of Fury)

Используемая версия DirectX ... 7.0
Версии используемых шейдеров ... 1.1

В сцене изображен воздушный бой в августе 1944, то есть, этот тест эмулирует авиасимулятор (уфф, ну и фраза). Авиасимуляторы в игровой индустрии занимают особое положение, так как графический движок для создания подобных игр имеет очень специфичные особенности. Чаще всего во время игры на экране не видно ни одного крупного объекта, но наблюдаются две большие текстуры: земля и небо, а основной упор в игре делается на физику управления самолетом. Почти все современные авиасимуляторы строятся именно по этому принципу, сцена в 3DMark – не исключение. В основном художники и программисты из FutureMark постарались над прорисовкой самолетов. При прорисовке самолетов используется мультитекстурирование, при этом каждый самолет обтянут четырьмя текстурами: цветовой, картой освещения, картой отражения, и картой бликов и оттенков. По замыслу разработчиков, графический ускоритель должен быть способен обтянуть самолет текстурами за один такт. Также в сцене для создания дыма и огня используются точечные спрайты и системы квадратных частиц. Честно сказать, целесообразность наличия этого теста в пакете 3DMark довольно неочевидна. Основная его цель - поддержать совместимость с уже устаревшими ускорителями, такими, как GeForce 3. При этом совместимость с ускорителями класса GeForce 2, GeForce 2MX и GeForce 4MX отсутствует, так как эти ускорители не поддерживают использование вертексных шейдеров. Кстати сказать, этот тест не требует использования шейдеров, можно было спокойно обойтись и без них. Возникает вопрос: зачем включать тест, который направлен на узкий сегмент морально устаревших моделей графических чипов, в пакет, предназначенный для тестирования ускорителей нового поколения? Можно, в принципе, притянуть сюда за уши объяснение, что это сделано для обеспечения сравнения нового поколения ускорителей с предыдущим, но это будет именно притянутое за уши объяснение, так как на каждое поколение ускорителей существуют свои игры, и все предыдущие поколения игр, созданные для ускорителей того времени, с легкостью работают на современном железе. В том и суть архитектуры API DirectX.

GT2 (Игровой тест 2 - Battle of Proxycon)

Используемая версия DirectX ... 8.1
Версии используемых шейдеров ... 1.1 и 1.4

3DAction ... вот основное направление индустрии трехмерных игр. Battle of Proxycon - типичный представитель шутеров от первого лица. Действие разворачивается то ли на космической станции, то ли на большом космическом корабле. Одни люди в костюмах его атакуют, другие пытаются сопротивляться, и в конечном итоге сбегают на космической шлюпке куда подальше. На этом сцена заканчивается. Правда, заманчивый сюжет? Вообще, надо отметить, что игры с подобными свойствами всегда были весьма ресурсоемки, и обладали наиболее красивой графикой. В сцене есть попытка отобразить 3D-шутер ближайшего будущего. На первый взгляд все получилось весьма неплохо. В сцене наличествуют и карты нормалей, с помощью которых можно создать рельеф в тех местах, где под него нет полигонов, и динамические тени, и возможность эффектов пост-процессинга, когда эффекты накладываются уже на созданный кадр, как фильтры в Photoshop. Карты нормалей - это некоторый аналог Bump-mapping карт, только рельеф при этом выглядит немного более объемным, этот эффект хорошо виден виден на складках одежды у солдат в сцене. Тени, организованые с помощью stencil-buffer, создаются динамически и падают как на статические объекты (стены, пол) так и на динамические (солдаты, двери), при этом тени падают с учетом нескольких источников освещения. А после включения режима пост-процессинга начинают появляться кинематографические эффекты, такие, как нарушение фокусировки камеры (Depth of Field) или эффект перенасыщения светом (bloom). Эффект пост-процессинга включается так же, как любой эффект пиксельного процессинга, например Anti-Aliasing, и при этом не может с ним сочетаться.

Все бы хорошо, но вот по поводу реализации движка этого теста есть очень серьезные вопросы. Движок - это программный модуль, который заставляет оживать трехмерный мир, это основа любой игры. И вот основа этого теста, по мнению многих специалистов, реализована некорректно. Например, в сцене с пятью источниками света каждый объект будет обтянут текстурой 11 раз. А в некоторых местах, при использовании трафаретных вычислений, количество вершин в сцене может увеличится до 6 раз, что при наличии у нас все тех же 5 источников света означает, что обтягивание текстурой одного объекта будет произведено 36 раз. В природе подобных реализаций нет и, надеюсь, никогда не будет. Фактически, примененная FutureMark технология не рассматривалась разработчиками ускорителей как возможная, и поэтому под неё не делалось оптимизации как на уровне железа, так и на уровне драйверов. Если сказать чуть подробнее, то для поддержки данного метода реализации игрового движка производителям пришлось бы адаптировать структуру чипов ускорителей и переписать драйвера, но, поскольку существующая система устраивает нынешних производителей игр и на базе неё они делают куда более развитые вещи, делать это они будут вряд ли. В результате же усилий программистов FutureMark создается неестественная нагрузка на вершинную часть графического конвейера. Cо стороны это выглядит искусственным созданием узкого места. При этом нагрузка на графический процессор будет очень сильной, хотя большинство модулей самого графического процессора (пиксельный, растровый и т.д. ) не будут задействованы в полную силу, что приведет к некоторой необъективности оценки чипа, что для рядового пользователя означает просто бессмысленность результатов, ведь в играх все будет совсем иначе. А про использование пиксельных шейдеров версии 1.4 мы еще поговорим, потому что это тема как минимум отдельной главы.

GT3 (Игровой тест 3 - Trolls Lair)

Используемая версия DirectX ... 8.1
Версии используемых шейдеров ... 1.1 и 1.4

Этот тест создан на том же движке, что и Игровой тест 2. Что означает, что и ему присущи всё те же проблемы, что и предыдущему тесту. Это - RPG. Вид на героев - всегда от третьего лица. Суть сцены проста: девушка с магическим мечем заходит в некоторое подобие библиотеки, подходит к секретной двери и ... убивает "мирно" отдыхающих за настольной игрой троллей. Один из них в панике даже пытается бежать, но куда там, девушка настолько страшна в своем гневе, что он забывает открыть дверь и теряет от удара сознание. Есть женщины в русских селеньях… А вообще, в 3DMark  троллей не любят, и поэтому они подвергаются жестокому геноциду.

Эта сцена считается более сложной, чем Battle of Proxycon, хотя, по сути, отличается от предыдущей только наличием Volume Light (объемный свет, видимый в пыли) и довольно интересной реализацией волос на голове у девушки. По заверениям FutureMark, каждый волос обсчитывается отдельно и обладает собственной физикой, при этом на него действует анизотропное освещение (вытянутая по одной оси карта освещения). Вот уж воистину: «Раньше мои волосы были сухими и безжизненными, а теперь они мокрые и шевелятся».

GT4 (Игровой тест 4 - Mother Nature)

Используемая версия DirectX ... 9
Версии используемых шейдеров ... 1.1; 1.4; 2.0

Ах, мать-природа, в своем величии ты прекрасна. Сцена действительно выглядит просто здорово. Мне, например, только деревья вверху не понравились, неестественно они уж совсем выглядят, а так ... все симпатично. Травка зеленеет, солнышко блестит, бабочки летают и шейдеры глючат .. бррр, не, не глючат вроде. Хотя как сказать. Все зависит от ускорителя, но и об этом позднее. Ох уж эти шейдеры. Сцена использует чуть ли не все версии шейдеров, существующие на настоящий момент. Просто зоопарк какой-то. В чем тут проблема, будет написано опять-таки ниже.

В этой сцене программисты FutureMark постарались: каждая травинка здесь обсчитывается отдельно, и представляет собой отдельный объект. На воду, создающуюся с помощью пиксельных шейдеров 2.0, накладывается пять текстур одновременно: текстура с координатами нормалей, карта волн, карта отражений, карта прозрачности и карта искажений. Небо и солнце тоже строятся на базе шейдеров 2.0. А вот земля подкачала, строится на базе пиксельных шейдеров 1.4, хотя по ней и едет даже текстура теней от облаков. В целом, все бы ничего, но вот программистам, которые пишут тесты, нужно думать не только о красоте, и уж если и использовать шейдеры, то не мешать их друг с другом, делая из них винегрет. В противном случае это будет работать везде одинаково плохо. И еще, тесты обычно создают по принципу "Съешь еще этих мягких французских булок, да выпей чаю", то есть так, чтобы задействовать все возможности API. В противном случае непонятно, что мы тестируем – чип или искусство программистов.

Программисты FutureMark думают иначе.

Формула для попугаев

Тридцать восемь попугаев и одно попугайское крылышко - это результат бенчмарка обыкновенного удава. То, что в попугаях он гораздо длиннее, его, помнится не огорчило, всё хоть какая то единица измерения. Вот и 3Dmark03 меряет скорость вашей видеоподсистемы в условных единицах, в попугаях. Формула, по которой высчитывается конечный индекс скорости, следующая :

Конечный индекс = (GT1_fps *7.3) + (GT2_fps * 37) + (GT3_fps *47.1) + (GT4_fps * 38.7)

Как видно из формулы, в ней средняя скорость кадров в каждом игровом тесте умножается на определенный "индекс значимости теста", и затем результат суммируется. То есть первый тест имеет наименьшее значение, второй и четвертый примерно равнозначны по значимости, а третий тест оказывает максимальное влияние на конечный результат.  Как можно заметить, в формуле конечного индекса участвуют только игровые сцены, все остальные тесты присутствующие в пакете на конечный индекс воздействия не имеют. Так же, стоит обратить внимание на то, что если ваша карта не поддерживает шейдеры 2.0 и на ней не запустится сцена GT4 (Mother Nature), то конечный индекс для вашей карты будет примерно на треть или четверть меньше реально возможного для неё результата, так как результат этой сцены суммироваться не будет. Поэтому сравнивать карты, поддерживающие шейдеры 2.0 и не поддерживающие эти шейдеры, по конечному индексу не рекомендуется.

Texture Filtering

Эта функция теперь выделена в отдельную группу, и работает не по рельсовому типу, где камерой управлять нельзя, а по типу обыкновенной игры. Этот тест гораздо ближе к ImgeQuality, так как количество кадров за единицу времени здесь не сканируется. В этом тесте наибольшее значение имеет качество отображаемой картинки, а точнее то, как эта картинка отображается в перспективе. По этому тесту можно понять, насколько качественно ускоритель умеет делать фильтрацию текстур разными методами : анизотропным (наилучшее качество), линейным (среднее) и точечным (наихудшее). Каждый из этих методов выставляется для каждого уровня удаления от камеры. Этими функциями можно набрать типы фильтрации используемые в играх:

Также можно повернуть камеру на определенный угол, и изменить уровень анизотропии. Эта функция бывает весьма полезна для тестеров, а пользователь может понять в чём разница между "Bilinear filtering" и "Trilinear Anisotropic filtering". Удобная система, и единственный ее минус - отсутствие внутри этого теста автоматизированной системы, по созданию скриншотов. Это плохо, ведь в нём ошибки видны гораздо лучше, чем на любом Игровом Тесте.

СPU Test

Для этого теста используются два игровых теста GT1 и GT3. Оба этих теста запускаются друг за другом в разрешении 640х480, для того, чтобы тест как можно меньше зависел от скорости видеокарты. Во время выполнения этих тестов на центральный процессор ложится довольно мощная нагрузка, так как все вертексные шейдеры начинают выполнятся центральным процессором (наверное, для GT1 так бы стоило делать и в основном тесте). Также в тесте GT3 отключаются все тени и переключаются пиксельные шейдеры: с версии 1.4 на версию 1.1. Это сделано для того, чтобы усреднить результат на большинстве используемых карт. Тест не запустится, если ускоритель не поддерживает пиксельные шейдеры версии 1.1. И этот тест неоднозначен, ведь его результат все равно очень сильно зависит от установленной карты, хотя тестируется вроде бы центральный процессор. Вернее, непонятно, что тестируется, так как нагрузка идет одновременно и на процессор, и на видеокарту. Формула, по которой высчитывается конечный индекс такова :

Конечный индекс CPU = (CPU_GT1_fps *4.6) + (CPU_GT2_fps * 27.5)

Группа Тестов Возможностей (Feature Test)

Эти тесты предназначены для тестирования теоретических возможностей 3D-Акселератора. В результате их выполнения получается пиковая производительность ускорителя. В тестируемых параметрах:

Скорость заполнения (Fill Rate)

Этот тест стал классическим уже для всех версий 3DMark, начиная с 3DMark99. В этом тесте проверяется скорость прорисовки текстур на 3D-объектах. Количество кадров в секунду во всех игровых тестах напрямую зависит от этого параметра. Тест разделен на две части: Single-Texturing и Multi-Texturing. В первой части тестируется параметр времени: за какой период ускоритель сможет наложить на 64 поверхности одну текстуру, независимо от того сколько сколько текстурных слоев он может накладывать за один проход. Во второй части теста проверяется тот же параметр, но только ускоритель накладывает по 64 слоя на одну поверхность. Современные ускорители способны накладывать по 8 слоев за один проход. Результат выводится в текселях (тексель - это один текстурный пиксель) в секунду.

Скорость вертексных шейдеров (vertex speed)

В закрытой комнате 30 тролей носятся друг за другом и дубасят друг друга дубинками. Must be only one .... я же говорил, троллей здесь не любят. Каждый тролль - это 5500 полигонов, скин тролля основан на вертексном шейдере, а текстура на нем - на базе пиксельных шейдеров 1.1. В результате один такой красавчик отрисовывается за четыре прохода с использованием карт выдавливания (bump) и кубических карт. Таким образом, количество полигонов в кадре может достигать 700000. Результат выводится в кадрах в секунду.

RagTroll, или массовое самоубийство

В этой сцене 16 троллей заканчивают жизнь самоубийством, бросившись в лестничный пролет. Во время полета их тела ударяются о балки, отскакивают, и наконец плюхаются на землю. Дубинки у них уже отобрали. Все это время камера безжалостно наблюдает за их последними минутами, хладнокровно выбирая лучший ракурс для созерцания этой трагической сцены. Суть сцены в том, чтобы сымитировать реальный баланс между центральным процессором и видеоускорителем. Каждый тролль находится под контролем системы моделирования реальной физики Havok, при этом каждый тролль представляет из себя еще и достаточно сложный графический объект из 5500 полигонов. Система освещения в сцене идентична системе в GT2 - Battle of Proxycon, что означает, что в сцене используются пиксельные шейдеры версии 1.4. Во время падения идет нагрузка на центральный процессор, так как именно он обсчитывает физическую модель падающего тела, и на графический процессор, так как он отрисовывает то, что обсчитал процессор. В результате при нехватке ресурсов любой подсистемы будет падение производительности. Стоит отметить, что поскольку в сцене используются пиксельные шейдеры 1.4, на картах, не поддерживающих этот стандарт, будут использованы пиксельные шейдеры версии 1.1, и количество проходов для создания фрейма увеличится вдвое, что очень негативно отразится на производительности.

Пиксельные шейдеры 2.0 (Pixel Shader 2.0)

Эта сцена гораздо менее кровожадная, наверное потому, что в ней нет троллей, а животных в Futuremark любят. В сцене - две мраморные статуэтки на деревянной подставке: слон и носорог. Все текстуры в этой сцене процедурные, то есть построены математическим способом на базе сложных формул, которые записаны в пиксельные шейдеры версии 2.0. Текстуры генерируются во время загрузки теста. Плюс таких текстур в том, что их размер не ограничен физическим разрешением, они создаются в реальном времени, в результате этого их четкость может не теряться при приближении, и они не занимают большого объема памяти. Количество и качество таких текстур зависит только от мощности 3D-ускорителя.

Sound Test

Этот тест - нововведение. До этого тестовые пакеты 3DMark не обладали возможностью тестирования звука. В этом тесте используется программный модуль FMOD для создания трехмерного звука. Тест базируется на GT1 (Игровой тест 1 - Wings of Fury), и его суть заключается в расширенном звуковом сопровождении. В этой сцене каждый объект обладает своими параметрами звука, будь то винт у самолета, взрывы или пулемет. При создании трехмерной звуковой сцены учитывается позиционирование объекта по вертикали и горизонтали, эффект ослабления звука пространством и эффект Допплера. Тестирование производится следующим образом: сначала тестируется производительность сцены без звука, затем с использованием до 24 звуковых каналов одновременно, затем до 60 звуковых каналов одновременно. Естественно, для создания 3D звука требуется аппаратная поддержка со стороны звуковой карты.

Во второй части материала вы узнаете, почему же пакет 3DMark 03 нельзя использовать для тестов видеоускорителей, чем плохи и хороши шейдеры разных версий, и в чем состоит глобальная ошибка программистов FutureMark.