Записки из тестлаба: телефоны и смартфоны

«Хороший» и «плохой» – категории универсальные. Но применимы они далеко не всегда. При всей своей насущности и каждодневности, они неуверенно тушуются, когда необходим ответ на вопрос «насколько?». Вердикт «отлично» или «скверно» может быть вынесен лишь после детального анализа всех, даже самых неприметных, частностей. Это, если угодно, результат окончательный и обжалованию не подлежащий. И перед тем, как сделать вывод, все мелочи нужно аккуратно разобрать по кучкам, разместить по чашам весов и не забыть отметить, которая из них опустится. Результат будет хотя и не точен, но вполне красноречив. По крайней мере, вопрос «что лучше, а что хуже» будет решён раз и навсегда. Насколько? Тут уже аналоговыми весами приблизительных оценок нам не обойтись. Арсенал подручных средств придётся расширить инструментом точным, надёжным и объективным. Согласитесь, спокойней как-то, когда вес всех «за» и «против» пересчитан в миллиграммах.

Хитрые девайсы, со всех сторон нас окружающие, просто обязаны быть оценены по заслугам. И, если вы заметили, примерно этим мы и занимаемся. Два устройства будут выполнять свою работу по-разному: одно качественно и быстро, а другое – из рук вон плохо, да и, к тому же, с черепашьей скоростью. Выяснить это – наша первостатейная задача. Даже работа, если угодно. Естественно, выяснить нужно не на уровне прикидки «на глазок» – в этом случае всё это просто теряет смысл, – а дотошно, скрупулёзно и опираясь на конкретные цифры. Для этого приходится прибегать к помощи разнообразного ПО, которое, основательно «покусав» все ключевые узлы гаджета, выразит своё мнение о нём в виде рейтинга, который затем можно запросто сравнить с таковым другого устройства.

Никого не удивляет, что ноутбук или, например, видеокарта, попав в тестлаб уважающего себя издания, терзаются огромным количеством самых разнообразных тестовых приложений. Здесь, вроде бы, даже видится объективная необходимость – ключевым параметром этих устройств является в первую очередь производительность, которая и ставится во главу угла. Все эти тесты давно известны и, более того, о них написана уйма ознакомительных материалов. Мы же сейчас расскажем о бенчмарках для мобильных терминалов – смартфонов или просто телефонов, – услугами которых наш ресурс счастливо пользуется уже довольно давно.

Зачем?

Есть ли в них необходимость? Разумеется, нет. Если только вы используете исключительно голосовые функции вашего аппарата, конечно. А вот если рассматривать современный мобильный телефон как полноценную мультимедийную платформу, то возможность выяснить его производительность приходится очень кстати. Играют в игры, рассматривают картинки, смотрят видеоклипы и прочая с помощью телефона во временном отношении гораздо дольше, чем разговаривают. С этим уж придётся согласиться даже самому закоренелому традиционалисту. И было бы просто глупо ожидать, что начинка каждой модели справляется со всем этим одинаково успешно. Это безо всяких мудрёных испытаний частенько видно даже невооружённым взглядом. Нас же в первую очередь интересует не сам факт превосходства «этого» над «тем», а цифровое значение этого самого превосходства. О нём можно справиться, взглянув на результаты, выданные тестовой утилитой.

В тестовой лаборатории Ferra рядовые мобильные бойцы, а также смартфоны на MS Windows Mobile SE в обязательном порядке подвергаются изнурительным испытаниям Java-мидлетами Jbenchmark (реже Amark), «телефонные интеллигенты» на Series 60 дополнительно «прогоняются» по микротестам пакета SPMark04. О них и расскажем.

Испытания для телефона

Одна только мысль о том, что производительность мобильных телефонов может быть выяснена с помощью какого-нибудь ПО, сразу же тянет бровь скептика вверх. В самом деле: программы, да ещё и на телефонах – что за чушь. Прошивки ведь разные – это каким таким хитрым образом на разных аппаратах можно запустить одно и то же приложение? А очень даже просто: не стоит забывать про Java. Впрочем, в недавно вышедшей статье долго и, мы надеемся, не скучно говорилось о том, что потенциал платформы J2ME изрядно больше, чем можно себе представить. Почему бы не написать на этом языке бенчмарк? "Написано однажды, работает везде" – этот слоган от Sun Microsystems в данном случае весьма актуален. Любой телефон с поддержкой Java и возможностью установки приложений можно прогнать по беговым дорожкам этих утилит и таким образом выяснить о нём гораздо больше. И, конечно же, получить полное право оперировать твёрдыми цифрами. Взглянем на эти утилиты внимательнее.

Jbenchmark

Пожалуй, самый старый и самый популярный бенчмарк для J2ME. Ценен он даже не полной обоснованностью и наглядностью всех тестов, а, скорее, открытой и обширной базой данных результатов, которая уже несколько лет пополняется более чем активно. Дело в том, что рейтинг, полученный девайсом после прохождения всех испытаний, может быть тут же и «не отходя от кассы» послан на сервер разработчика по каналам GPRS, CSD etc. Там он будет обработан и внесён в общий кладезь знаний. Справиться о результатах (J2ME едина для всех континентов, и поэтому в забеге частенько участвуют довольно экзотические для нашего региона гаджеты), а также скачать любую версию Jbenchmark можно здесь. Естественно, бесплатно. Ну а для тех, кто предпочитает загрузку «по воздуху», существует WAP-сайт. Принять участие в открытом тестировании может любой желающий: бенчмарк написан без использования дополнительных API и запускается практически на любых аппаратах с J2ME.

На сегодняшний день бенчмарк существует в трёх ипостасях. Как вы знаете, у J2ME есть два профиля (MIDP 1.0 и MIDP 2.0) плюс дополнение M3G/JSR 184, которое с недавнего времени позволяет использовать платформу мобильной Java для запуска по-настоящему трёхмерных игрушек. Соответственно, каждая версия Jbenchmark предназначена для выяснения быстродействия телефона на каждом из этих поприщ. Вполне логично, что на телефоне с MIDP 1.0 (скажем, Nokia 7210) запустится лишь самая первая утилита, тогда как аппарат с поддержкой JSR 184 с успехом прокрутит все три софтинки. Ни одна из разновидностей Jbenchmark не оптимизирована под ту или иную модель, что позволяет видеть нам более-менее достоверный результат.

Принцип работы всех трёх версий достаточно прост: имеется набор из нескольких микротестов, которые последовательно выполняются на экране телефона. В это время программа засекает, сколько операций смог провести телефон за определённый промежуток времени, а также показывает значение fps (frames par sec, количество кадров в секунду). Опираясь на эти данные, высчитывается рейтинг устройства, который состоит из общих очков (Overall Score), а также баллов за каждый микротест. Кстати, если прокрутить экран с результатами немного ниже, то о тестируемом аппарате можно узнать много всего интересного: тут вам и битность экрана, и конфигурация профиля MIDP, и многое, многое другое. Что ж, ещё один плюс в копилку тестового пакета. Все микротесты этих программных пакетов являются графическими, то есть заставляют телефон производить операции, так или иначе связанные с выведением данных на экран. Было бы, конечно, неплохо узнать и более конкретные «цифири», например, количество вычислений с плавающей запятой в секунду, с которым справляется процессор машинки. Но чего нет – того нет. Впрочем, такие утилиты в природе существуют (например, Float Test). Другое дело, что эти цифры интересуют нас постольку-поскольку.

Прежде чем мы по косточкам разберём три версии Jbenchmark , стоит остановиться на одном довольно важном вопросе. Формулируется он приблизительно так: «А что конкретно тестируют эти бенчмарки?» По большому счёту, речь, конечно же, идёт о быстродействии Виртуальной Машины Java на данном конкретном телефоне. Можно ли судить по результатам тестов для J2ME об общей производительности аппарата? Естественно, многое зависит, например, от прошивки. И всё же Virtual Machine не висит в воздухе, а работает на мощностях телефонной начинки. Кроме того, наибольшие результаты Jbenchmark показывает всё-таки на смартфонах, а их производительность заведомо выше любого «рядового» мобильника. Так что, пусть и косвенно, но высокий рейтинг в Jbenchmark стоит воспринимать, как заслугу аппарата в целом, а не только удачно сконфигурированной Виртуальной Машины. Чересчур условно? Возможно. Зато опосредованно. Ну а те, кто выбирают телефон специально для игрушек (а таких людей с каждым днём становится всё больше и больше), могут доверять этой утилите с абсолютно спокойно душой. Если Jbenchmark «одобрил» этот аппарат, то можно даже не сомневаться, что на нём со свистом «полетит» любая неоптимизированная игра... Ну да, пожалуй, стоит, наконец, перейти к вещам конкретным. Надеемся, что после знакомства с этим материалом таблички, которые мы аккуратно прилагаем к каждому обзору, станут для вас меньше напоминать китайскую грамоту.

Jbenchmark 1

Эта утилита состоит из пяти микротестов, прокручиваемых в строгой последовательности. Все действия на экране достаточно наглядны, однако, пущей понятности ради, поясним.

Text. Пустой белый экран быстро-быстро заполняется разноцветными надписями Jbenchmark. Выглядит это достаточно забавно и, кроме того, позволяет бенчмарку выяснить, как хорошо телефон справляется с выводом текста на экран. Весь микротест занимает десять секунд, и за это короткое время графической подсистеме приходится изрядно попотеть, стараясь заполнить экран как можно большим количеством надписей.

2D Shapes. И снова белый экран, и снова попытки его заполнить. На этот раз, правда, не текстом, а разнообразными геометрическими фигурами. Плоскими, конечно – это следует из названия теста. Принцип тот же: есть отрезок времени, за который нужно отрисовать множество разноцветных треугольников, трапеций, эллипсов и прочая. Чем больше их в итоге получится, тем выше будет рейтинг аппарата. Ну, по крайней мере, по этому параметру.

3D Shapes. Оказывается, MIDP 1.0 способен и на такое. В принципе, это сложно назвать трёхмерной графикой в современном понимании этого слова: ни вам текстур, ни вам теней. Тем не менее, на экране в течение определённого времени будет так и сяк поворачиваться в пространстве вполне себе трёхмерный куб. Примитивно? По нынешним временам – возможно. Однако не будем забывать, когда появились первые телефоны с цветным экраном и поддержкой MIDP 1.0.

Fill Rate. По логике вещей, предыдущий тест должен был заставить систему выложится по полной. Ан нет, большинство аппаратов с гораздо большей натугой справляются именно с этим испытанием. Хотя задача вроде бы не из трудных – просто как можно быстрее заполнить экран равными разноцветными квадратиками. Между тем, именно на этом месте ощущается, как с натугой скрипит телефонная начинка. По некоторой информации, связано это в первую очередь с тем, что MIDP 1.0 не поддерживает прямую адресацию к пикселям. Тем не менее, если ваш телефон справился с этим без видимых затруднений – можно погладить его по клавиатуре и назвать «молодцом».

Animation. На дисплее в течение некоторого времени крутится изображение земного шара. Картинка не трёхмерная? и анимация её классическая – достигается с помощью последовательной смены кадров (12 штук, если уж быть совсем точными). Довольно важное испытание игрового толка, тем не менее, у большинства моделей не провоцирует сильных потуг. Хотя на некоторых «старичках» вроде Nokia 6100 этот микротест просто сбрасывается.

Всё, как видите, довольно просто, и теперь в табличке обычного вида:

всё стало на свои места.

Jbenchmark 2

Программулька для MIDP 2.0 содержит всё те же 5 микротестов, однако несколько другого вида.

Image Manipulations. Тест возможностей работы с RGB данными, а также средств рисования. На экране появляется репродукция «Моны Лизы», которая постепенно увеличивается, заполняя собой весь экран. При «вскрытии» мидлета обнаружилось два изображения – форматов jpeg (RGB, 128x128, 8 Kбайт) и png (индексированные цвета, 128х128, 16 Kбайт), – с которыми бенчмарк работает по очереди. Чем быстрее аппарат справится с увеличением обоих файлов, тем, естественно, лучше. И если первая картинка масштабируется без проблем, то вторая – с видимой натугой.

Text. Проверка отношений телефона к обработке текстовой информации. Важный момент для каждого любителя Java-книг. По экрану прокручивается текстовый фрагмент из бессмертного произведения Люиса Кэрролла «Алиса в Стране чудес». Скорость, как обычно, решает всё.

Sprites. Чистой воды игровой тест, отлично иллюстрирующий способности аппарата при работе со спрайтовой графикой. Нечто подобное мы видели в последнем микроиспытании Jbenchmark 1, только на этот раз всё гораздо сложней и интересней. На дисплее происходит вот что: на фоне гор и под густым покровом пальм по земле шагает бравый охотник. Облака, конечно же, и прочее. А пока забавный человечек бежит по лесу, вся начинка телефона занята тем, что одновременно анимирует несколько слоёв: землю (файл ground. png), деревья (three. png) и охотника (hunter. png, 4 кадра) на переднем плане, горы (mountain. png, 16 кадров) – на среднем, и облака (cloud. png) – на заднем. Как видите, задачка не из простых.

3D Transform. Пожалуй, наиболее ресурсоёмкое испытание из всех в этой версии Jbenchmark. Телефону приходится иметь дело со всамделишной трёхмерной графикой – тут вам и тени, и полигоны. Нагрузка, сами понимаете, далеко не из лёгких, поэтому редкая птица долетит… Простите, редкий телефон покажет в этом тесте значение fps больше единицы. Тут конечно же, свою роль играет и общая «не заточенность» MIDP 2.0 под трёхмерную графику… Однако по-настоящему мощные аппараты даже с этим жестоким испытанием справляются не морщась.

User Interface. Этот тест симулирует работу т. н. «бизнес-приложений», написанных на Java: отрисовка списков, меню и прочая. Чем быстрее телефон прокрутит их по экрану – тем больше баллов получит в итоге телефон. Кстати, именно в этом месте по непонятным причинам «подвисают» многие аппараты.

Кстати, «заткнуться» телефон может, даже выполнив все испытания – таблица с результатами может так и не появится. Но, предположим, всё закончилось хорошо, и вы смогли добраться до вожделенного рейтинга. Увидите вы примерно следующее:

Судя по всему, телефон весьма неплохо справился с основными задачами.

Jbenchmark 3D

Этот тестовый пакет был выпущен относительно недавно – приблизительно весной этого года. На тот момент запускался он на считанных моделях. Однако ближе к осени ситуация изменилась в лучшую сторону, и поддержкой M3G/JSR 184 уже никого не удивишь. Тем не менее, бенчмарк изрядно отличается от своих предшественников. Во-первых, в нём всего лишь четыре микротеста, а во-вторых, общего рейтинга он не выдаёт, ограничиваясь оценками за каждое испытание. Такой подход в случае с Jbenchmark 3D более чем оправдан, поскольку, по сути, его можно разделить на две части: «теоретическую» и «практическую».

Что касается первого витка испытаний, то он слегка оторван от действительности. Впрочем, его значения это никак не умаляет. Дело в том, что результаты двух микротестов ( Triangle Test и Texture Test ) отображаются не во всеми любимых «попугаях», которые получились путём неизвестно каких вычислений, и которые, по сути, можно лишь сравнить между собой, а во вполне конкретных значениях, общих для всей трёхмерной графикой. При выполнении Triangle Test обсчитывается довольно сложная полигональная модель, а в Texturing Test работа ведётся с текстурой. Итоговое значение производительности отображается, соответственно, в triangles ps и texels ps. Этот хитрый сленг прекрасно поймут люди сведущие, а для остальных упростим: два этих испытания, грубо говоря, показывают, насколько успешно аппарат сможет обсчитать трёхмерную модель и обтянуть её текстурой. Сведения, между прочим, очень ярко иллюстрирующие работу графической подсистемы телефона.

Вторая часть – непосредственно игровая ( Game Scene ). На экране в реальном времени обсчитывается сцена из 3D-шутера от первого лица и замеряется fps. Что характерно: сцена и все объекты на самом деле трёхмерны – ни единого спрайта, а на одной вертикальной оси может находиться несколько объектов. Таким образом, убиты два зайца: отличная встряска всех внутренностей аппарата плюс демонстрация того, что сложная 3D-графика для J2ME – это реалии сегодняшнего дня. Испытание разбито на две части: LQ и HQ. Проще говоря, бенчмарк заставляет телефон обсчитывать игровую сцену в высоком и низком качестве. Как видите, всё просто, и ничего сверхъестественного в следующей таблице нет.

Довольно скромные результаты, смеем вам доложить. Nokia 6230i справилась с этим гораздо лучше. Да, кстати, все результаты-иллюстрации рассказа о Jbenchmark получены путём терзания одного из последних чистокровных «немцев» Siemens CX75, одна из главных фишек при позиционировании которого – поддержка M3G/JSR 184.

Amark

В качестве альтернативы мы иногда используем тест от другого производителя под названием Amark. На самом деле, выполняет он те же функции и терзает телефон теми же задачами, что и Jbenchmark. Даже результаты показываются в виде «попугаев» – естественно, своих. Только называется это всё по-разному. Так что обращать на него внимание мы не будем. Все тесты в Amark «свалены» в одну кучу и аппарат изо всех пытается справиться то с задачами для MIDP 1.0, то испытаниями для MIDP 2.0, а то и с трёхмерной графикой.

Спидометр смартфона

Естественно, «умнотелефон» – это далеко не только Java и возможность работы с графикой. Люди любят смартфоны, в первую очередь, за мощнейшие PIM-функции: продвинутую телефонную книгу, мощный органайзер etc. Таланты мультимедийного характера также всё-таки не стоит оставлять в стороне – большинство пользователей склонны рассматривать смартфон, как этакий комбайн, который знает и умеет всего понемногу. Ну а недостающие способности, конечно же, легко восполняются посредством стороннего ПО, коего на наш век уже создано предостаточно. Возможности софтописания для смартфонов не ограничены довольно узконаправленной J2ME, а мощности аппаратной начинки с обычными телефонами просто несопоставимы. Шире функциональность – шире простор для их испытаний. К сожалению, для MS Windows Mobile SE адекватной утилиты пока не нашлось (определённый интерес вызывает специальная версия VOBenchmark, однако в тестовый инструментарий она пока не включена), так что приходится «детям капитала» пока обходится Jbenchmark. А вот с Series 60 ситуация куда радужней.

Встречайте: SPMark04, детище маститых тестоваятелей Futuremark – самый продвинутый и мощный пакет для тестирования смартфонов на SymbianOS Series 60. Этой утилитой терзается каждый «интеллигент» EPOC32-кровей, попавший в наш тестлаб.

SPMark 04

Как и полагается истинному инструменту профессионала, этот пакет – платный. Причём стоит совсем даже не шуточную сумму – порядка $250. Для свободного скачивания доступна триальная версия, обрезанная на две трети. Впрочем, самая интересная часть (трёхмерный тест) оставлена на месте, и каждый желающий может скачать приложение и поверить в мобильное 3D. Нас же с вами интересует полная версия этой утилиты. «Весит» она, кстати, для SIS-приложения весьма изрядно – порядка 670 Kбайт. Впрочем, тем убедительнее бенчмарк выглядит.

SPMark04 состоит из трёх тестовых наборов, каждый из которых можно запустить в отдельности. Тем не менее, общий рейтинг (количество т. н. «SPMarks») смартфон получает исключительно в случае «прокрутки» бенчмарка «от корки до корки». Некоторые субтесты выводят на экран впечатляющую картинку, а некоторые – делают своё чёрное дело втихаря, обращаясь напрямую к системным ресурсам.

3D Tests

Этот набор нужно запускать перед носом каждого знакомого мобильного традиционалиста. Очень наглядно, знаете ли, иллюстрируют чудеса научно-технического прогресса. Да и некоторым пользователям неплохо было бы убедиться, что «смартфон – это звучит гордо».

3D Game. На экране происходит всамделишная воздушная битва: на фоне красивых и вполне себе реалистичных пейзажей летает боевой вертолёт и почём зря отстреливает противников. Всё это сопровождается безумными движениями камеры, которая своими виражами просто-таки вызывает морскую болезнь. Кстати, вся игровая сцена состоит из 2500 полигонов, что согласитесь, впечатляет (на один только вертолёт их ушло целых 450 штук). Не нужно морщиться – не забывайте о слабосильном «камушке», который всю эту красоту, захлёбываясь, пытается обсчитать. На маленьком экране смартфона эта игровая сцена смотрится впечатляюще и, честно говоря, сразу возникает желание найти и установить на свою машинку что-нибудь похожее. Полноценно работоспособное, конечно же. Да, кстати, пока мы любуемся красотами, бенчмарк замеряет fps, на основании которых он и вынесет в конце концов свой вердикт.

3D FillRate. Помните, в первом Jbenchmark был тест на FillRate? В SPMark04 нашлось место для чего-то подобного, однако самого что ни на есть трёхмерного. На экране активно размножаются и вращаются как попало текстуры. Достаточно сложный тест для начинки смартфона. Кстати, результат выводится во всё тех же старых добрых texels ps.

3D PolyCount. Ещё одна аналогия с Jav’ным тестом, на этот раз с его трёхмерной частью. На чёрном фоне дисплея обсчитывается полигональная модель спирали – причём совсем «взрослая»: вся из себя такая гладкая; с тенями и бликами. Всё-таки 3D для смартфонов – это сила. В чём показывается рейтинг? Правильно, конечно же, в triangles ps.

Наш обзор смартфона Panasonic Х700 содержал следующую, надеемся, теперь понятную, таблицу:

System Tests

Менее зрелищный, однако куда более утилитарно красноречивый раздел тестирования. С игрушками покончено: теперь бизнес, бизнес и ещё раз бизнес.

2D Image. Тест на скорость вывода двумерных изображений на экран. Чем-то похоже на 2D Shapes из Jbenchmark 1. Дана одна картинка, копиями которой разного размера заполняется экран. Чем больше таких кружков появится на экране, тем лучшую оценку получит смартфон.

Image Scalling и Jpeg Encoding также оперируют с изображениями, однако, как ни странно, где-то «внутри» аппарата и совершенно незаметно для глаза пользователя. Первый тест пытается масштабировать исходную картинку, прилагая к этому все усилия машинки (результат выводится в bitmaps/s). Второй – работает с jpeg картинкой, последовательно сжимая её на 50, 70 и 90% (в таблице результатов рядом с цифрой будет стоять значение Kpixels/s).

Contacts и Calendar – это испытание на прочность PIM-функций смартфона. Утилита создаёт по несколько десятков записей в телефонной книге и органайзере, а затем сообщает, сколько меток в секунду ей удалось сделать.

Disc Access. Выяснение скорости доступа к информации на диске и не более того. Бенчмарк создаёт 100 файлов, открывает их все разом, записывает туда данные, закрывает их, открывает снова и пытается прочитать записанную информацию. Даже судя по последнему предложению, тест этот является самой настоящей истерикой для системы. А кто сказал, что девайсам будет легко? Но вернёмся к нашему Х700:

Battery Test

На самом деле, последний раздел SPMark04 достаточно условен, и его можно запросто убрать из испытательной программы. Тем более, на общие результаты он не влияет. Но вот в чём странность: без него окончательной оценки от утилиты добиться положительно невозможно: очки за 3D и System Tests будут исправно красоваться на своих местах, а вот графа «SPMark04 Score» будет пуста.

Аккумуляторный субтест имитирует пиковую нагрузку смартфона, последовательно прокручивая все вышепомянутые минибенчмарки из пакета. После того, как батарея аппарата умрёт, а затем, хлебнув из сети переменного тока, вернётся к жизни, наша софтинка услужливо сообщит нам и время работы в минутах, и количество тестовых «кругов», и даже средний рейтинг. Тем не менее, наиболее важный результат (те самые минуты) считать объективным нельзя, так как голосовая активность, mp3, съёмка встроенной камерой etc просто не учитываются. Мы предпочитаем не доверять этим результатам и чаще всего выясняем «долгожительство» смартфона по старинке, эмпирическим путём.

Тесты для самых маленьких

Всё, как видите, очень просто: есть девайс, и он работает. Мы же, в свою очередь, пытаемся установить, как хорошо он работает. В этом нам помогают бенчмарки. Зачем они пользователю? Сами по себе – пожалуй, что и незачем. А вот их результаты сгодятся. Выбирать-то в любом случае вам.