В рубрику "Подвижная связь" | К списку рубрик | К списку авторов | К списку публикаций
А.М. Овчинников, главный инженер ФГУП СКБ "Радэл"
Д.А. Юдаков, инженер НИЛ ЦОС СПб ГУТ им. Бонч-Бруевича
В современных системах мобильной и фиксированной радиосвязи существуют широкие возможности передачи видеоизображений в реальном масштабе времени. Абоненты сотовых сетей могут просматривать телевизионные программы на мобильных телефонах, современные стандарты беспроводного широкополосного доступа (БШД) обеспечивают передачу видеоинформации в реальном масштабе времени с высоким качеством. Тем не менее существует класс задач, связанный с необходимостью передачи изображений в реальном масштабе времени по узкополосным каналам связи. В том случае если задачи передачи видеоизображений носят локальный характер (например, организация мобильного видеонаблюдения на короткий период времени), то развертывание радиолинии БШД вряд ли будет технически и экономически обоснованно. А если существует уже развернутая корпоративная сеть узкополосной радиосвязи, охватывающая достаточно широкую территорию, то вполне логично воспользоваться ее ресурсами, а не оплачивать весьма дорогостоящий трафик сотовых систем связи. Поэтому задача передачи изображения в реальном масштабе времени с помощью радиосредств цифровой конвенциональной радиосвязи, несомненно, является актуальной, поскольку предоставляет пользователям дополнительные тактические возможности при осуществлении различных мероприятий.
Передача качественного цветного изображения в полнокадровом режиме (25 кадров в секунду, 24 бита на пиксель) требует высокой пропускной способности канала. Необходимая скорость передачи информационного потока для передачи видеоизображения в зависимости от формата, разрешения, числа пикселей в кадре и частоты кадров приведена в табл. 1. Так, для передачи изображения размером 128х96 пикселей требуется канальная скорость 7,4 Мбит/с.
Как правило, в современных системах профессиональной мобильной радиосвязи (ПМР) скорость передачи информации не превышает 9,6 кбит/с. С учетом таких скоростей для передачи видеоизображения требуется сжатие (компрессия) исходного цифрового потока примерно в 770 раз. В настоящее время технических возможностей для столь масштабного сжатия без существенного ухудшения качества изображения не существует. Снижение исходной скорости передачи изображения до уровня, допускающего сжатие информации до 9,6 кбит/с, возможно лишь путем сокращения количества передаваемых кадров в секунду (снижение кадровой скорости). Значения скоростей входного цифрового потока в зависимости от кадровой скорости при передаче цветного и черно-белого изображений для размера изображения (картинки) 128х96 пикселей приведены в табл. 2.
Применение "малокадровки" при передаче изображений на скорости 9,6 кбит/с, конечно, снижает тактические возможности комплекса по сравнению с "полнокадровкой", однако в ряде случаев представляет несомненный интерес. Предварительный анализ имеющихся видеоматериалов со сжатием до 9,6 кбит/с в режиме "малокадровки" позволяет сделать вывод, что при кадровой скорости 3-6 кадров в секунду качество изображения вполне приемлемо для задач видеонаблюдения, когда не требуется видеодокументирования (например, не ставится задача предъявления видеоматериалов в судебной инстанции в качестве доказательств).
Одной из важных проблем при передаче изображений по низкоскоростному каналу системы ПМР является защита от ошибок, возникающих в радиоканале. Данная задача может решаться путем применения помехоустойчивого кодирования, однако при этом требуется передача дополнительных битов, которые снижают информационную скорость и увеличивают степень сжатия исходного видеопотока, что в свою очередь приводит к ухудшению качества изображения (или уменьшению кадровой скорости).
В связи с этим первостепенной представляется задача выбора и разработки помехоустойчивых алгоритмов сжатия видеоинформации при передаче по каналам связи с вероятностью битовой ошибки 10-3...5х10-2 (что имеет место в реальности).
Для снижения объема данных при передаче видео по каналам связи рабочие группы ITU (International Telecommunications Union) и MPEG (Moving Picture Experts Group) разработали эффективные алгоритмы сжатия. В результате было получено несколько стандартов:
Для передачи видеоинформации в системах ПМР наиболее применимыми следует считать стандарты серии Н.26х. Ниже приводится обзор существующих методов помехоустойчивого сжатия видеоизображения (рекомендаций Н.26х) применительно к системам ПМР.
Для борьбы с битовыми ошибками в цифровых каналах видеосвязи применяются различные коды, обнаруживающие и исправляющие ошибки. В серии рекомендаций Н.26х используется БЧХ-код для повышения помехоустойчивости.
Анализируя указанные рекомендации с точки зрения сжатия видеоинформации, можно выделить общий алгоритм сжатия: видеопоследовательность разбивается на кадры, каждый кадр разбивается на блоки размером 8х8 пикселей (или меньше), с блоками производится преобразование из временной области в частотную (например, с помощью дискретно-косинусного преобразования), затем полученные коэффициенты квантуются, кодируются энтропийным кодом (кодом Хаффмана или арифметическим кодом) и упаковываются в битовый поток специальной структуры, а затем передаются по каналу связи.
Рекомендация Н.261
Рекомендация H.261 [2, 3] была первым широко распространенным стандартом видеоконференций, разработанным ITU-T для поддержки видеотелефонии и видеоконференций через сети с коммутацией каналов ISDN. Эти сети работают на скорости, кратной 64 кбит/с, и стандарт был разработан для достаточно простого видеокодирования на этой битовой скорости. В стандарте использована известная гибридная модель DPCM/DCT с компенсацией движения с целопиксельной точностью. Структурная схема видеокодека представлена на рис. 1.
Кодер источника обрабатывает кадры, представленные в одном из двух форматов: QCIF или CIF. Каждый кадр включает яркостный (Y) и два цветоразностных компонента (Cb и Сr). Размеры изображений данных форматов для яркостного и цветоразностных компонентов приводятся в табл. 3.
Поддерживаются два типа кадров:
Все операции производятся с блоками размером 8х8 пикселей. Блоки объединяются в макроблоки, каждый из которых состоит из четырех яр-костных блоков (Y) и двух цветоразностных (Cb и Cr).
Основной формой предсказания кодера является межкадровое предсказание, которое может сопровождаться компенсацией движения. Режим кодирования, в котором используется межкадровое предсказание, называют INTER, а в случае отсутствия предсказания - INTRA.
Компенсация движения осуществляется за счет передачи так называемых векторов движения для каждого макроблока - по одному на каждый макроблок. Компоненты векторов движения ограничены диапазоном [-15; +15] с шагом 1.
Рекомендация Н.263
В целях дальнейшего улучшения степени сжатия Н.261 рабочая группа ITU-T разработала стандарт Н.263 [3, 4] с поддержкой базового качества видео на скоростях до 30 кбит/с, и этот стандарт вошел в группу стандартов, обеспечивающих передачу видео по сетям с коммутацией каналов и пакетов.
Алгоритм работы кодера практически не изменился, но были добавлены многочисленные дополнительные режимы, направленные на повышение коэффициента сжатия и качества восстановления (в частности, режим арифметического кодирования, режим фильтрации границ блоков).
Кодер обрабатывает кадры, представленные в одном из пяти форматов: SQCIF, QCIF, CIF, 4CIF и 16CIF. Размеры изображений данных форматов для яркостного и цветоразностных компонентов приведены в табл. 4.
Основной формой предсказания в данном кодере, аналогично рекомендации H.261, является межкадровое предсказание.
Все кодируемые кадры изображения в стандарте H.263 разделяются на семь основных типов: кроме I- и P-кадров используются более сложные структуры с другими принципами кодирования.
Компенсация движения осуществляется за счет передачи векторов движения для каждого макроблока. Как правило, на каждый макроблок передается один вектор движения, а в случае улучшенного предсказания или использования режима деблокирующего фильтра - до четырех векторов движения (либо один, либо четыре). Компоненты векторов движения ограничены диапазоном [-16; +15,5] с шагом 1 или 0,5. В случае использования режима неограниченного вектора движения диапазон векторов движения увеличивается до значений [-31,5; +31,5], а при использовании режима уменьшения разрешения диапазон составляет [-31,5; +30,5].
При квантовании коэффициентов преобразования используется пара квантователей, выбираемая из 32 различных вариантов. Один квантователь с шагом 8 используется для кодирования первого коэффициента, а второй, выбираемый из 31 квантователя, с шагом в диапазоне от 2 до 62 - для оставшихся коэффициентов преобразования.
Рекомендация Н.264
Дальнейшее развитие стандарт получил, когда группы экспертов ITU-Т и MPEG объединились в JVT (Joint Video Team) и разработали новый стандарт, который превосходит по степени сжатия видеоизображений опубликованные ранее стандарты MPEG-4 и Н.263. Этот стандарт получил название AVC (Advanced Video Coding, усовершенствованное кодирование видео) и был опубликован одновременно как стандарт MPEG-4 Part 10 [5] и как рекомендация ITU-T H.264 [6].
Стандарт Н.264 [1, 6] был разработан для эффективного кодирования видео прямоугольного формата. Его первоначальной задачей было обеспечение функциональности, схожей с Н.263, но с лучшим сжатием и более надежным механизмом передачи данных. Большинство функциональных блоков кодера (прогноз, преобразование, квантование, энтропийное кодирование) - такие же, как и в Н.261, Н.263, - сохранились, но подверглись существенной переработке.
Обрабатываемый кадр разбивается на блоки размером 4х4 пикселя. К блокам применяется псевдокосинусное преобразование.
В рекомендации H.264 используется скалярное квантование. К его определению и выполнению предъявляются требования по исключению деления и арифметики с плавающей точкой, а также по включению в процесс квантования масштабирования.
Для энтропийного кодирования выбраны Exp-Golomb коды (экспоненциальные коды Golomb) - коды переменной длины с регулярной структурой, кодирование переменной длины с адаптацией на основе контекста (CAVLC), адаптивное двоичное арифметическое кодирование на основе контекста (CABAC).
Компенсация движения выбрана с точностью в четверть пикселя, при этом размер блока компенсации движения может изменяться от 16х16 до 4х4 пикселя.
Дополнительно для повышения сжатия и качества используются:
Основная особенность формата H.264 заключается в том, что он разработан для гораздо более высоких степеней сжатия, нежели Н.263. Увеличение степени сжатия (в 2-3 раза больше, чем в Н.263) получено за счет значительно большей ресурсо-емкости при кодировании и декодировании, так как используются статистическое кодирование, предсказание для блоков переменного размера, а также фильтр артефактов блочности.
Рекомендация H.264 обеспечивает лучшее качество при одинаковой битовой скорости: меньше артефактов блочности, более плавные цветовые переходы и т.п. Кроме того, в этой рекомендации предъявляются менее жесткие требования к объему носителей и скорости передачи. Но в то же время декодирование потока H.264 по сравнению с Н.263 примерно в 3-4 раза более ресурсоемко.
Многие методы кодирования видеоинформации были разработаны для архивации хранящихся или копируемых изображений, поэтому при разработке таких методов не предусматривалась возможность влияния ошибок передачи.
Анализ алгоритмов сжатия серии Н.26х выявил их низкую устойчивость к равновероятно распределенным случайным ошибкам при передаче видеоданных по каналам связи. Это обусловлено прежде всего явлением размножения ошибок при восстановлении подвижных изображений. Проведенные эксперименты по декодированию изображений по видеоданным, имеющим искаженные двоичные разряды, позволили установить, что даже одиночные ошибки в видеоданных приводят к потере основного содержания определенного фрагмента изображения.
В ходе исследований обнаружилось, что искажения у кодеров серии Н.26х носят достаточно общий характер. Это объясняется тем, что битовые потоки на выходе кодеров Н.261, Н.263 и Н.264 имеют примерно одинаковую иерархическую структуру.
Искаженные фрагменты изображения имеют, как правило, прямоугольную форму, размер которых кратен 8 пикселям. Количество искаженных фрагментов и их расположение определяется местом внесения ошибки передачи.
Внесение случайных ошибок может привести к невозможности декодирования всего изображения вследствие возникновения системных ошибок (отказ алгоритма от распаковки сжатых данных). Кодирование подвижных изображений, широко использующее принцип предсказания параметров последующих кадров на основе параметров предыдущих кадров, приводит к тому, что любая одиночная ошибка канала связи многократно воздействует на кадры восстанавливаемого на приеме изображения. Трек ошибок тянется до следующего опорного кадра.
Проведенные эксперименты показали, что декодер Н.264 при вероятности битовой ошибки 103 не может распаковать битовый поток вследствие системных ошибок. Декодер Н.263 не распаковывает битовый поток уже при вероятности битовой ошибки 10 I Примеры восстановленных изображений при различных вероятностях канальных ошибок приведены на рис. 2-4.
Рекомендация Н.261 на современном этапе развития технологий обработки видеоданных является устаревшей, поэтому для выбора алгоритма сжатия видео остаются рекомендации Н.263 и Н.264.
Предварительная оценка вычислительной сложности позволяет установить, что рекомендация Н.264 требует существенно большей ресурсоемкости при кодировании и декодировании одного кадра, чем рекомендация Н.263. Вычислительная сложность будет расти пропорционально увеличению количества закодированных кадров. Следовательно, при реализации потребуется более быстрый и дорогой цифровой процессор обработки сигналов (ЦПОС).
По качеству восстановления при той же битовой скорости Н.264 лучше, чем Н.263. Однако для большинства приложений качества Н.263 достаточно. При этом существенно, что реализация Н.263 оставляет в ЦПОС ресурс для помехоустойчивого кодирования. Предварительный анализ показывает, что обе рекомендации позволяют реализовать при приемлемом качестве изображения скорости выходного битового потока от 6 до 9,6 кбит/с. Однако еще раз подчеркнем, что ресурсоемкость кодека Н.264 в 4-5 раз больше, чем при реализации рекомендации Н.263.
В отношении битовых ошибок было экспериментально доказано, что реализация рекомендации Н.264 проигрывает Н.263. Учитывая такие факторы, как ресурсоемкость, помехоустойчивость и экономичность для организации видеосвязи по низкоскоростному каналу, подверженному битовым ошибкам, целесообразно использовать рекомендацию Н.263.
Совместными усилиями авторов статьи и их коллег был разработаналгоритм и программная модель видеокодека, включающего в себя алгоритмы видеокодирования на базе рекомендации H.263 и помехоустойчивого канального кодирования, а также была проведена проверка работы данного видеокодека на устойчивость к различным видам ошибок в дискретном канале связи с помощью программной модели имитатора дискретного канала связи. Моделирование проводилось для передачи 1-3 кадров в секунду при канальной скорости 9,6 кбит/с и размере изображения 128х96 пикселей.
Модель ВПУ, разработанная на основе видеоалгоритмов и помехоустойчивого канального кодирования, состоит из двух основных модулей - кодера ВПУ и декодера ВПУ. Кодер ВПУ преобразует входной видеосигнал, представленный в формате YUV4:2:0, в цифровой поток со скоростью, не превышающей 9600 бит/с. Декодер осуществляет обратное преобразование. Кодер ВПУ состоит из двух функциональных блоков - блока видеокодера и блока помехоустойчивого канального кодирования. Декодер ВПУ состоит из блока помехоустойчивого канального декодирования и блока видеодекодера.
При разработке ВПУ было проведено экспериментальное сравнение нескольких вариантов построения ВПУ на основе рекомендаций Н.263 и Н.264 совместно с различными алгоритмами помехоустойчивого канального кодирования. В экспериментальном исследовании были использованы:
При кодировании с помощью СК данные, как правило, не разбиваются на блоки, а кодируются непрерывным потоком [10, 12]. При кодировании с помощью Б К данные разбиваются на блоки по k информационных символов, которые кодируются в n символов кодового слова. При этом кодовые слова не связаны друг с другом [10, 11].
Тестирование исправляющей способности кода происходило по схеме, изображенной на рис. 5. На вход кодера подавался файл с шумоподоб-ным сигналом. Закодированный файл поступал на вход модели дискретного канала связи (ДКС), которая позволяла моделировать заданный коэффициент ошибки в пределах от 104 до 5x10Л С выхода модели ДКС искаженный файл декодировался декодером. Полученный после декодера выходной файл сравнивался с входным файлом и производился расчет коэффициентов ошибок на бит (BER - Bit Error Rate) и коэффициентов ошибок на блок (BLER -Block Error Rate). Расчет параметра BLER проводился для блока данных размером 340 бит.
Результаты испытания канальных кодеков представлены на рис. 6 и 7.
Использование помехоустойчивых кодеков привело к снижению скорости на выходе видеокодека до 4800 бит/с при использовании сверточно-го кода 1/2 и до 6000 бит/с при использовании БЧХ (511,340,41).
Для оценки качества восстановленной картинки на выходе видеодекодера на практике широко используют критерий PSNR (Peak Signal to Noise Ratio) - пиковое соотношение сигнал/шум [13]:
где Pi - значение пикселя исходного изображения;
RMSE - корень среднеквадратиче-ской ошибки, определяется как
где Pi - значение пикселя исходного изображения;
Qi - значение пикселя восстановленного изображения;
n - количество пикселей в изображении.
Результаты сравнения видеокодеков по параметру PSNR для различных скоростей представлены в табл. 5.
Однако лучше всего качество изображения оценивает человеческий глаз, несмотря на то что данная оценка является субъективной. При исследовании использовался метод сравнительных просмотров: группе экспертов демонстрировалось несколько изображений, из которых эксперты выбирали лучшее. По мнению экспертной группы, при скоростях ниже 9600 бит/с качество восстановленной картинки во всех моделях было примерно одинаковым. Предпочтение было отдано моделям 3 и 1 при кадровой скорости входного потока 1 кадр/с и выходной скорости 6000 бит/с.
Проведенные исследования полученной модели ВПУ на устойчивость к ошибкам без группирования в дискретном канале связи позволили сделать следующие выводы:
При передаче изображения размером 128х96 пикселей со скоростью 1-3 кадра в секунду по каналу 9,6 кбит/с удовлетворительное качество изображения было достигнуто при величине битовых ошибок в канале до 4%. На рис. 8-10 для сравнения приведены примеры изображений на выходе декодера Н.263 при передаче по каналам связи с разным количеством ошибок без использования и с использованием помехоустойчивых кодов.
Подобные результаты дают основание для разработки ряда приложений, направленных на совместное использование видеопреобразующих устройств с системами профессиональной радиосвязи.
Опубликовано: Журнал "Технологии и средства связи" #2, 2007
Посещений: 16608
Статьи по теме
Автор
| |||
Автор
| |||
В рубрику "Подвижная связь" | К списку рубрик | К списку авторов | К списку публикаций
