Сердце цифровой фотокамеры: ПЗС-матрица (часть четвёртая)

Очередная статья из цикла о ПЗС-матрицах посвящена различным способам регистрации полноцветного снимка и восстановления недостающей информации о красной, синей либо зелёной составляющей кадра. Как уже было сказано ранее, ПЗС-элемент может регистрировать яркость точки изображения, сгенерированного объективом, но не в состоянии определить его цвет. Поскольку чёрно-белая фотография имеет в основном техническое и художественное применение, производители цифровой фототехники постоянно разрабатывают новые и совершенствуют имеющиеся схемы регистрации цвета. Как это ни странно, но большинство решений, использующихся в цифровой технике, в той или иной форме было опробовано в «химической» фотографии. Методы сохранения цвета в классической фотографии При генерации цветного изображения любое техническое устройство использует цветовой синтез, то есть процесс, при котором смешиваются несколько монохромных (состоящих из оттенков только одного цвета – синего, жёлтого и так далее) сигналов, описывающих изображение в цифровой либо аналоговой форме. Цвет каждого из монохромных сигналов называется основным, так как совокупность сигналов различной интенсивности позволяет воссоздать любой оттенок из всего множества цветов, воспроизводимых посредством данной разновидности синтеза. Наиболее распространены два вида синтеза – аддитивный и субтрактивный. При аддитивном синтезе основными цветами являются цвета излучений. В частности, при трёхцветном синтезе используются синий (blue – B), зелёный (green – G) и красный (red – R) цвета, а сам синтез обозначается английской аббревиатурой RGB. Эти цвета линейно независимы, то есть ни один из них не может быть получен из двух других путём оптического смешения излучений. С помощью данного смешения синтезируются все другие цвета, которые отличают по цветовому тону, насыщенности и светлоте. Субтрактивный синтез связан с процессами поглощения и отражения белого света, и потому он использует цвета красителей. При трёхцветном субтрактивном синтезе основными цветами являются жёлтый (yellow – Y), пурпурный (magenta – M) и циановый (зелёно-голубой, cyan – C), а для его обозначения используется аббревиатура CMY. В субтрактивном синтезе основной цвет считается дополнительным к основному цвету аддитивного синтеза, если краситель первого полностью поглощает излучение второго. К примеру, к красному цвету дополнительным будет циановый, к синему – жёлтый, а к зелёному – пурпурный. Естественным для излучающего устройства (монитора или телевизора) является аддитивный синтез, создающий цветное изображение посредством трёхлучевой (RGB) электронной пушки. Субтрактивный синтез используется в печатающих устройствах, однако в струйных принтерах при использовании только трёх красителей (CMY) во время передачи тёмных тонов избыток чернил приводит к разбуханию бумаги. Поэтому при струйной печати в добавление к основным цветам применяется также чёрный (blacK – K), а цветовой синтез называется CMYK. Генерируемый с помощью синтеза CMY цветовой диапазон уже, чем при использовании RGB-синтеза, так как при субтрактивном синтезе невозможно отобразить наиболее светлые оттенки основных аддитивных цветов. Первые химические фотоматериалы, как и ПЗС-элементы, были не в состоянии зафиксировать цвет объекта съёмки. Поэтому для регистрации полноцветного изображения использовался мультиэкспозиционный метод, при котором производилось троекратное экспонирование объекта. Каждое экспонирование осуществлялось с установленным перед объективом светофильтром – сначала зелёного, потом синего и затем красного цвета (порядок мог быть произвольным). В результате накапливалась информация обо всех основных цветах фотографируемого объекта. Одним из пионеров цветной фотографии был Сергей Михайлович Прокудин-Горский (1863–1944), результатом его деятельности стал архив из почти 10 000 снимков, на которых с полным сохранением цвета запечатлена Российская империя на рубеже XIX–XX веков. Фотоаппарат Прокудина-Горского был крупноформатным, в нём использовались необычно вытянутые (88x232 мм) фотопластины. Такая форма обуславливалась мультиэкспозицией, в результате которой на сдвигаемой в вертикальном направлении пластине регистрировались синий, красный и зелёный кадры. При секундном интервале между экспозициями собственно экспонирование каждого кадра требовало 1–3 секунды. Затем при помощи трёх «наведённых» в одну точку проекторов со светофильтрами изображение проецировалось на экран и становилось полноцветным. Сергей Михайлович первым столкнулся с проблемой, связанной со слишком долгим интервалом экспонирования, – малейшее шевеление объекта съёмки приводило к тому, что он регистрировался в разных точках синего, зелёного и красного участков фотопластины. В результате при воспроизведении проектором изображение было смазанным и имело разноцветный ореол. Именно этим объясняется некоторая напряженность сфотографированных людей (не так-то просто замереть на десяток-другой секунд), а также тот факт, что большинство коллекции составляют пейзажи. Таким образом, мультиэкспозиционный метод совершенно не годился для съёмки движущихся предметов. Впрочем, до появления фотоматериалов с высокой чувствительностью короткие выдержки использовались крайне редко, поэтому большинство снимков фиксировало статичные объекты, а габариты самих камер, регистрировавших изображение при помощи хрупких и громоздких фотопластин, ограничивали мобильность фотографов, вынуждая их обходиться павильонной (студийной) съёмкой. Создание более чувствительных фотоматериалов позволило вести репортажную съёмку, то есть фотографировать движущиеся объекты. В таких условиях необходимо было регистрировать цветное изображение за один раз – желательно при короткой выдержке. И вот в 1907 году фирма «Люмьер» представила фотопластинки, использовавшие автохромный метод, именуемый также растровой фотографией. В данных пластинках над светочувствительным слоем располагался окрашенный растр – набор микроскопических (не больше 0,01 мм) точек, созданных равномерно перемешанными прозрачными зёрнами крахмала оранжевого, зелёного либо фиолетового цвета. Отснятый кадр состоял из трёх «мозаик» (каждая из оттенков одного из основных цветов), взаимопроникающих одна в другую. За счёт малого размера зёрен человеческий глаз их не замечал, а контуры объектов казались довольно отчётливыми; точно так же зрение не улавливает отдельных капель при просмотре отпечатанной на струйном принтере фотографии, хотя число цветов ограничено тремя, максимум семью. Тем не менее в каждой фотографии на областях одинакового цвета (небо, стены и так далее) был заметен муар из точек постороннего цвета. Избавиться от них удалось только после появления многослойных плёнок. Следует отметить, что цветное кино существовало и до появления регистрирующих цвет плёнок. В технологии Process 1 фирмы Technicolor, датированной 1917 годом, использовалась дихроичная призма, расщеплявшая световой поток, сформированный объективом, на две части: одна содержала зелёные, а вторая – красные оттенки изображения. Каждый из световых потоков экспонировался на чёрно-белую плёнку, а для демонстрации фильма использовались два проектора (с зелёным и красным светофильтром) и совмещающая два монохромных изображения призма. Первой удачной реализацией многослойных цветных плёнок была серия Kodachrome, представленная концерном Eastman Kodak в 1935 году. В этой плёнке первый слой был чувствителен к жёлтому цвету, затем находился жёлтый фильтр, следующий слой регистрировал пурпурный цвет, а самый нижний предназначался для оттенков циана. Дальнейшие разработки как Kodak, так и других фирм использовали схожий принцип, при этом наибольший интерес представляют четырёхслойные плёнки Fujifilm, использующие в дополнение к слоям, чувствительным к синему, красному и зелёному излучению, четвёртый слой, регистрирующий оттенки цианового цвета. Регистрация цвета в цифровой фототехнике Ранние цифровые камеры тоже регистрировали цветное изображение посредством тройного экспонирования, при этом перед объективом располагалось так называемое цветовое колесо, представлявшее собой диск с тремя разноцветными (красной, синей и зелёной) стеклянными вставками. Поворот колеса производился сервоприводом после каждого экспонирования, затем три полученных снимка «складывались» в полноцветное изображение. Вышеописанная техника, разумеется, совершенно не годилась для фотографирования движущихся объектов. В свою очередь, используемое оборудование представляло собой средне- и крупноформатную фототехнику, в которой вместо фотопластин и кассет с плёнкой устанавливалась цифровая приставка, при этом ПЗС-матрица располагалась в плоскости пластины либо столика с плёнкой. Приставка не имела ни аккумулятора, ни памяти для хранения снимков, поэтому одним кабелем она была связана с источником питания, а другим – с компьютером и применялась только при студийной съёмке. Для репортажной съёмки требовалось другое решение. После оснащения цифровых приставок аккумуляторами и модулями флеш-памяти была произведена попытка приспособить мультиэкспозиционную схему для съёмки движущихся объектов. Для этого планировалось использовать вместо цветового колеса светофильтры на основе жидкокристаллических элементов (liquid crystal tunable filter, LCTF). Функционирование этих устройств основано на взаимной интерференции световых волн в слоях жидкокристаллических элементов, в результате которой включённый фильтр пропускает свет только с определённой длиной волны – то есть какого-то одного цвета. Если конструкцию выполнить «слоёной» – так чтобы каждый слой пропускал лучи одного из основных цветов (красного, синего или зелёного) – и включать слои по очереди, можно отказаться от громоздкого цветового колеса. Поскольку механических компонентов ЖК-светофильтры не содержат, использующая их система будет проще и надёжнее. Однако основное преимущество ЖК-светофильтров – это очень высокая скорость работы, на переключение между слоями уходит не более 50 миллисекунд. Сразу же возникла идея использовать мультиэкспозиционные приставки с ЖК-светофильтрами для съёмки «живых» объектов. Но тут выявился ряд серьёзных ограничений. В частности, при использовании импульсных осветителей яркость свечения возрастает и спадает постепенно, поэтому освещённость всех трёх экспозиций будет разная, что приведёт к ошибкам при генерации полноцветного изображения. Конечно, при съёмке в ярком солнечном свете вспышка не нужна, а в помещении можно использовать постоянный источник света. Но дело в том, что при интервале переключения между слоями 50 миллисекунд и необходимости как минимум двух переключений суммарные затраты времени составляют уже 100 миллисекунд. Если вести съёмку с выдержкой 1/300, то за счёт трёх экспозиций набежит ещё 100 миллисекунд. В конечном итоге полный интервал времени займёт 200 миллисекунд, что при обычной съёмке эквивалентно выдержке 1/5, при которой движущиеся объекты неизбежно оказываются «размазанными» по кадру. В мультиэкспозиционной приставке ситуация будет ещё хуже: при малейшем шевелении камеры даже неподвижные предметы кадра будут «расслоены» на синюю, зелёную и красную составляющие. Но даже если сократить время переключения на порядок и «укоротить» выдержку до 1/1000, ограничивающим фактором будет скорость считывания с матрицы, которая даже в самых «скорострельных» вариантах профессиональных камер не превышает 10 кадров в секунду. Таким образом, три кадра будут считаны за 0,3 секунды, что как для съёмки с рук, так и для фотографирования подвижных предметов не годится. Все вышеперечисленные обстоятельства привели к тому, что ЖК-светофильтры так и не стали массово применяемым устройством. Для регистрации цветного изображения за одно экспонирование была предложена схема, схожая с технологией Technicolor Process 1, – с дихроичной призмой, расщепляющей световой поток на красную, синюю и зелёную составляющие. Каждая из этих составляющих регистрировалась своей ПЗС-матрицей, а при их комбинировании получалось полноцветное изображение. Данный вариант отлично подошёл для видеокамер, однако для регистрации статического изображения он не годился. Во-первых, при использовании дихроичной призмы падала яркость светового потока, что требовало удлинения выдержки либо раскрытия диафрагмы. Во-вторых, три матрицы высокого разрешения заметно повышали стоимость фотоаппарата. В-третьих, шумы всех трёх матриц складывались воедино, значительно ухудшая качество снимка. В конечном итоге наибольшую популярность получили методы с интерполяцией цвета. В их основе лежит тот же принцип, что и в автохромном методе фирмы «Люмьер»: каждая точка регистрирующего элемента благодаря светофильтру фиксирует яркость только одного из основных цветов. Самой известной является аддитивная схема, разработанная в 1976 году доктором Брайсом Байером, сотрудником концерна Eastman Kodak.В Байеровской схеме каждый пиксель матрицы закрыт светофильтром одного из цветов RGB-синтеза, образуя подобие шахматной доски, в которой вместо белых клеток – зелёные, а вместо чёрных – поровну красные и синие. Избыток зелёных элементов обусловлен тем, что человеческое зрение наиболее чувствительно к зелёным оттенкам, кроме того, спектральная чувствительность ПЗС-матриц выше всего как раз в зелёном диапазоне спектра. Данная схема мозаичного светофильтра имеет обозначение R–G–B–G (red–green–blue–green, красный–зелёный–синий–зелёный). При съёмке получается изображение, состоящее из 50% зелёной составляющей исходного кадра, а также из 25% синей и из 25% красной составляющих. Снимок представляет собой разноцветную (но не полноцветную) мозаику. В отличие от автохромного метода из этой мозаики создаётся полноцветное изображение, для чего производится интерполяция цвета примерно по следующей схеме. Имеется синий пиксель, окружённый четырьмя зелёными и четырьмя красными. Берётся среднее значение между верхним и нижним зелёными пикселями, затем среднее между левым и правым. Далее из этих двух средних значений вычисляется третье и присваивается нашему синему пикселю в качестве зелёной составляющей. Подобная процедура повторяется с красными пикселями, после чего получается полноцветный пиксель. Поскольку светофильтры размещаются в виде регулярной структуры с повторяющимися линейками синих и красных пикселей, в снимках с часто расположенными вертикальными или горизонтальными линиями присутствует муар. Шанс возникновения этого неприятного эффекта уменьшается при переходе к модифицированным Байеровским схемам размещения светофильтров, в которых регулярно повторяется узор не из четырёх (R–G–B–G), а из двенадцати либо двадцати четырёх элементов.Узор из 12 пикселей более стоек к муару, обусловленному регулярными вертикальными либо горизонтальными линиями объекта. Однако для данного узора сохраняется вероятность появления муара при наличии у объекта линий с наклоном влево, так как мозаичный светофильтр содержит чередующиеся диагонали, в которых избыточными являются то синие, то красные элементы. Разумеется, в данном случае вычисления при интерполяции цвета оказываются гораздо более сложными, а для их выполнения требуются высокопроизводительные микропроцессоры и большие объёмы памяти. Вызвано это необходимостью учитывать, что у зелёных пикселей окружение из синих и красных элементов не сгруппировано по вертикальной либо горизонтальной оси, – эти «соседи» располагаются весьма причудливым и неповторяющимся образом. Ну а псевдослучайная схема с узором из 24 пикселей, хотя и почти полностью решает вопрос с муаром (плотность размещения синих и красных элементов на всех диагоналях одинакова), требует ещё более сложных расчётов. Поэтому в массовом производстве модифицированные Байеровские схемы практически не применяются. Ряд производителей использует для мозаичного светофильтра субтрактивную схему, в которой применяется CMY-синтез. Однако, как и в случае со струйными принтерами, используется дополнительный цвет – зелёный, поэтому схема эта обозначается C–Y–G–M (cyan–yellow–green–magenta, циан–жёлтый–зелёный–пурпурный). Появление зелёных светофильтров обусловлено теми же, что и в аддитивной схеме, причинами – чувствительностью к зелёному человеческого зрения и ПЗС-матрицы. Субтрактивные схемы отличаются более точной передачей яркостной характеристики изображения, однако при этом они менее точно регистрируют цветовую составляющую снимка.Впрочем, в аддитивной схеме зачастую также встречаются «посторонние» цвета. В частности, разработчики Sony в модели DSC-828 половину «зелёных» элементов заменили сине-зелёными, именуемыми emerald («изумрудный»), данный вариант Байеровской схемы получил обозначение R–G–B–E. В отличие от цианового эти цвета отличаются более тёмным оттенком и – по замыслу создателей – должны расширить диапазон регистрируемых оттенков цвета и обеспечить более точную цветопередачу.В 2007 году концерн Eastman Kodak предложил вообще отказаться от светофильтров для половины пикселей, оставив их для регистрации исключительно яркостной характеристики изображения. По словам разработчиков новой технологии, 2/3 светового потока, падающего на ПЗС-матрицу, «съедается» светофильтрами, поэтому отказ от них должен значительно улучшить динамический диапазон снимка.Расположение «чистых» (так разработчики Kodak именуют лишённые светофильтров ПЗС-элементы) пикселей может быть самым разным, однако открытым остаётся вопрос, насколько сильно отказ от светофильтров повлияет на цветопередачу снимков. Следует отметить, что с 2002 года схема с интерполяцией цвета обрела соперника в лице матриц многослойной структуры, в которых цвет регистрируется так же, как и в классической фотографии, – все оттенки основных цветов в каждом пикселе, причём при однократной экспозиции. Основной разработчик сенсоров, использующих «слоёную» технологию, фирма Foveon сравнивает эффект от появления многослойных матриц с эффектом, возникшим при создании трёхслойных цветных плёнок, а существующую схему с интерполяцией цвета, по мнению разработчиков Foveon, должна постигнуть участь автохромного метода, то есть забвение. В основе новой разработки используется разделение изображения на основные цвета за счёт того, что коэффициент поглощения светового излучения зависит от его длины волны, поэтому фотоны «разного цвета» проникают в слой кремния на разную глубину. Например, «синие волны» обладают наименьшей проникающей способностью, а «красные» – наибольшей. В сенсоре Foveon светочувствительный элемент каждого пикселя состоит из трёх слоев.Слои эти входили друг в друга, как матрёшки. Чередуясь по типу основных носителей (n-типа и p-типа), каждый следующий слой образовывал новую потенциальную яму – в зависимости от слоя, для электронов либо для «дырок». Толщина и материал подбирались таким образом, чтобы разделение проникающих фотонов происходило именно по тем диапазонам спектра, которые содержат основные цвета. Затем потенциалы ям считывались и каждый пиксель получал «истинное неинтерполированное» значение цвета. Но как у каждой новой технологии, у этой схемы есть ряд побочных эффектов. Вот лишь некоторые из них. Хорошо известно негативное влияние блюминга – переполнения потенциальной ямы пикселя с «разливом» избыточного заряда по соседним пикселям. Изучены также сложности, возникающие при нейтрализации этого эффекта. В многослойных матрицах блюминг становится «трёхмерным» – избыточный заряд может перетекать не только в соседние пиксели, но и в «чужие» слои. При этом вертикальный электронный дренаж (то есть подача на подложку матрицы потенциала, «вытягивающего» избыточные электроны из потенциальной ямы) практически невозможен, ведь «разноцветные» ямы пикселя расположены одна над другой. Ну а реализация бокового дренажа (то есть своеобразной канавки рядом с потенциальной ямой, в которую можно «сбросить» избыточный заряд) приводит к значительному уменьшению площади светочувствительной области. Следует помнить, что при распределении фотонов по слоям часть их неизбежно будет поглощена при переходе из одного слоя в другой. В результате чувствительность матрицы опять-таки ослабляется. При съёмке с максимально открытой диафрагмой увеличивается процент лучей, падающих на поверхность сенсора под большим углом. Даже в обычных матрицах данная проблема требует применения непрозрачной решётки либо микролинз. В многослойных ЭОП преломление света на стыке слоёв матрицы может привести к проникновению в «чужой» слой фотонов, попавших в пиксель под большим углом. Однако предположим, что разработчикам каким-то образом удалось разрешить все вышеперечисленные проблемы. Означает ли это, что многослойные матрицы при этом раз и навсегда заменят сенсоры «классической» конструкции? Вряд ли. При одинаковом разрешении и равных габаритах потенциальные ямы пикселей матриц, построенных по Байеровской схеме, всегда будут обладать большей глубиной, чем у «слоёных» сенсоров. Соответственно, шире будет и динамический диапазон. Человеческий глаз устроен таким образом, что яркость для него важнее, чем цвет. И если кадр идеален по цветопередаче, но все освещённые участки представляют собой белые пятна, а тени – чёрные, то такое изображение никто не назовёт удачным снимком – ни профессионал, ни любитель. Динамика продаж фотоаппаратов Sigma SD9, SD10 и SD14, оборудованных «слоёными» сенсорами Foveon, отнюдь не поражает воображение. В целом вряд ли можно утверждать, что матрицы с интерполяцией цвета в скором времени перестанут пользоваться интересом среди разработчиков цифровой фототехники. Ведь в отличие от автохромных фотопластинок фирмы «Люмьер» цифровые «зёрна крахмала» обладают весьма надёжным тылом в виде производительных процессоров и «хитрых» алгоритмов, позволяющих получить полноцветное изображение объекта съёмки, на 99,99% соответствующее оригиналу. Наконец, совсем недавно новостной ресурс по цифровой фотографии Digital Photography Review дал ссылку на американский патент №7,138,663, датированный 2003 годом и выданный концерну Nikon. Данный патент описывает схему получения полной информации о цвете для каждого пикселя, однако, в отличие от решения Foveon, разработчики Nikon предложили разделять фотоны на «синие», «красные» и «зеленые» не слоями кремния, а дихроичными зеркалами — как в «трехматричных» видеокамерах.Собранные микролинзой лучи проходят сквозь отверстие в металлической маске ПЗС-матрицы, попадая на первое дихроичное зеркало, пропускающее синюю составляющую на расположенный под ней ПЗС-элемент. Оставшийся свет, проходя сквозь второе дихроичное зеркало, своей зеленой составляющей отражается на следующий ПЗС-элемент, после чего остается лишь зарегистрировать красную составляющую при помощи третьего ПЗС-элемента. При этом под каждой миколинзой располагается «синий» и «зелёный» ПЗС-элементы, а вот «красному» ПЗС-элементу приходится вторгаться в область соседнего пикселя. В отличие от «слоеной» матрицы, в данной схеме можно практически исключить «перетекание» электронов между слоями и регистрацию электронов «чужого» цвета. Из минусов остаются ослабление светового потока при прохождении сквозь дихроичные элементы и малая светочувствительная область. Самое главное, что такое решение, благодаря разнесению потенциальных ям, позволяет заметно увеличить ее глубину, что означает больший интервал регистрируемых зарядов, а это соответствует расширению динамического диапазона. В связи с этим возникает вопрос – а нельзя ли углубить и развернуть регистрирующие элементы, чтобы получить более обширную светочувствительную область? Предположим, что мы можно смириться с неполной цветовой информацией об изображении, имея точные данные об его яркостной характеристике. Это значит, что матрица должна регистрировать зеленую составляющую каждого пикселя. Если при этом для одной половины пикселей будет известна синяя составляющая, а для другой — красная, то восстанавливать придется гораздо меньший объем цветовой информации. При Байеровской схеме восстанавливается 50% зеленого цвета и по 75% красного и синего. В нашем случае восстанавливается только по 50% синего и красного цвета.В предлагаемой автором данной статьи схеме дихроичные призмы, расположенные под микролинзами, делятся на две категории: одни расщепляют свет на красную и зеленую составляющие, другие — на синюю и зеленую. Располагаются призмы в шахматном порядке, позволяя восстановить синюю составляющую «красно-зеленого» пикселя путем вычисления среднего значения от расположенных сверху, снизу, слева и справа «сине-зеленых пикселей». При восстановлении красной составляющей используется такой же принцип. Справа и слева от дихроичной призмы под углом в 45 градусов располагаются светочувствительные области с потенциальными ямами, регистрирующие «зеленые» и «красные» (либо «синие») фотоны. Между регистрирующими областями, точно под центром призмы, находится обвязка бокового дренажа, использующаяся также для реализации электронного затвора. Каждая столбец пикселей разделяется буферным столбцом. При считывании зарядов сначала производится перенос в буферный столбец электронов с «левых» потенциальных ям каждого столбца пикселей, затем, после полного считывания буфера, считываются заряды «правых» потенциальных ям — примерно так же считывается информация с матриц с чересстрочной разверткой. Наибольшей технологической проблемой в указанной схеме является, во-первых, разработка дихроичных призм столь компактных габаритов, а во-вторых — выращивание на подложке ПЗС-элементов, расположенных под углом в 45 градусов. Среди конструктивных минусов, помимо потери трети цветовой информации (при Байеровской схеме теряется две трети цветовой информации), следует указать неизбежные потери света при прохождении через призмы. Продолжение следует Итак, процесс получения «цифрового негатива» описан полностью. В следующей статье будет рассказано о маленьких хитростях, используемых производителями для повышения объёмов продаж.