Наши партнеры

Библиотека сайта rus-linux.net

Фреймворк GStreamer. Руководство разработчика плагинов. Создаваемые по запросу и не постоянно доступные точки соединения

Оригинал: GStreamer Plugin Writer's Guide
Авторы: Richard John Boulton, Erik Walthinsen, Steve Baker, Leif Johnson, Ronald S. Bultje, Stefan Kost, Tim-Philipp Muller, Wim Taymans
Дата публикации: 19 июля 2014 г.
Перевод: А.Панин
Дата перевода: 27 июля 2014 г.

Часть III. Сложные концепции фильтров

К текущему моменту вы должны обладать достаточными знаниями для создания простых элементов фильтров, которые могут принимать и передавать данные. Это простая модель, для реализации которой и был создан фреймворк GStreamer. Но фреймворк GStreamer предоставляет гораздо больше возможностей! В данном разделе будут обсуждаться различные сложные темы, такие, как планирование работы плагина, специальные типы точек соединения, методики использования таймеров, событий, интерфейсов, тэгов и другие подобные темы. Эти темы раскрывают суть концепций, которые делают процесс разработки приложений на основе фреймворка GStreamer настолько простым.

Глава 12. Создаваемые по запросу и не постоянно доступные точки соединения

До текущего момента мы имели дело исключительно с точками соединения, которые всегда доступны. Однако, также существуют точки соединения, которые создаются в некоторых случаях или только тогда, когда приложение отправляет запрос создания точки соединения. Первые точки соединения называются не постоянно доступными точками соединения (sometimes pads); вторые - создаваемыми по запросу точками соединения (request pads). Доступность точки соединения (постоянная, не постоянная или по запросу) может быть установлена в процессе создания шаблона точки соединения. В данной главе мы будем обсуждать ситуации, в которых использование описанных типов точек соединения является обоснованным, методику их создания, а также условия, в которых они должны создаваться и уничтожаться.

12.1. Не постоянно доступные точки соединения

"Не постоянно доступная" точка соединения является точкой соединения, создаваемой в определенных условиях не во всех случаях. Ее создание главным образом обуславливается содержимым потока данных: демультиплексоры в общем случае будут осуществлять разбор заголовка потока данных, выяснять, какие элементарные мультимедийные потоки (потоки аудиоданных, видеоданных, данных субтитров, и.т.д.) включены в состав основного потока данных, после чего создавать не постоянно доступные точки соединения для каждого из этих элементарных мультимедийных потоков. По своему усмотрению элемент также может создавать более одной точки соединения для каждого из элементарных мультимедийных потоков. Единственное ограничение состоит в том, что каждая созданная точка соединения должна иметь уникальное имя. Не постоянно доступные точки соединения уничтожаются в момент уничтожения потока данных (т.е., в момент перехода элемента из состояния "пауза" (PAUSED) в состояние "готов к работе" (READY)). Вы не должны уничтожать точку соединения при приеме сообщения об окончании мультимедийного потока (EOS), так как кто-либо может повторно активировать конвейер и осуществить перемещение в мультимедийном потоке в точку, находящуюся перед его конечной точкой. Мультимедийный поток должен быть доступен для обработки с помощью конвейера после достижения окончания (EOS), по крайней мере до того момента, когда данные этого мультимедийного потока будут уничтожены. В любом случае, элемент всегда должен быть владельцем точки соединения описываемого типа.

В коде примера ниже будет осуществляться разбор текстового файла, в первой строке которого записано число (n). Все следующие строки начинаются с чисел (в диапазоне от 0 до n-1), которые являются номерами выходных точек соединения, через которые должны передаваться данные.

3
0: foo
1: bar
0: boo
2: bye

Код для разбора этого файла и создания динамических "не постоянно доступных" точек соединения выглядит следующим образом:

typedef struct _GstMyFilter {
[..]
  gboolean firstrun;
  GList *srcpadlist;
} GstMyFilter;

static GstStaticPadTemplate src_factory =
GST_STATIC_PAD_TEMPLATE (
  "src_%u",
  GST_PAD_SRC,
  GST_PAD_SOMETIMES,
  GST_STATIC_CAPS ("ANY")
);

static void
gst_my_filter_init (GstMyFilter *filter)
{
[..]
  filter->firstrun = TRUE;
  filter->srcpadlist = NULL;
}

/*
 * Получение строки с данными без символа перехода на новую строку.
 */

static GstBuffer *
gst_my_filter_getline (GstMyFilter *filter)
{
  guint8 *data;
  gint n, num;

/* Максимальная длина строки равна 512 символам по соображениям безопасности */
  for (n = 0; n < 512; n++) {
    num = gst_bytestream_peek_bytes (filter->bs, &data, n + 1);
    if (num != n + 1)
      return NULL;

/* Новая строка? */
    if (data[n] == '\n') {
      GstBuffer *buf = gst_buffer_new_allocate (NULL, n + 1, NULL);

gst_bytestream_peek_bytes (filter->bs, &data, n);
      gst_buffer_fill (buf, 0, data, n);
      gst_buffer_memset (buf, n, '\0', 1);
      gst_bytestream_flush_fast (filter->bs, n + 1);

return buf;
    }
  }
}

static void
gst_my_filter_loopfunc (GstElement *element)
{
  GstMyFilter *filter = GST_MY_FILTER (element);
  GstBuffer *buf;
  GstPad *pad;
  GstMapInfo map;
  gint num, n;

/* Разбор заголовка */
  if (filter->firstrun) {
    gchar *padname;
    guint8 id;

if (!(buf = gst_my_filter_getline (filter))) {
      gst_element_error (element, STREAM, READ, (NULL),
			 ("Поток данных не содержит заголовка"));
      return;
    }
    gst_buffer_extract (buf, 0, &id, 1);
    num = atoi (id);
    gst_buffer_unref (buf);

/* Создание точки соединения для каждого из элементарных потоков */
    for (n = 0; n < num; n++) {
      padname = g_strdup_printf ("src_%u", n);
      pad = gst_pad_new_from_static_template (src_factory, padname);
      g_free (padname);

/* Здесь вы должны установить указатели на функции обработки событий и запросов _event () и _query () */

/* Необходимо активировать точку соединения перед добавлением */
      gst_pad_set_active (pad, TRUE);

gst_element_add_pad (element, pad);
      filter->srcpadlist = g_list_append (filter->srcpadlist, pad);
    }
  }

/* А теперь просто разбираем каждую строку и передаем события окончания потока (EOS) */
  if (!(buf = gst_my_filter_getline (filter))) {
    GstEvent *event = gst_event_new (GST_EVENT_EOS);
    GList *padlist;

for (padlist = srcpadlist;
         padlist != NULL; padlist = g_list_next (padlist)) {
      pad = GST_PAD (padlist->data);
      gst_pad_push_event (pad, gst_event_ref (event));
    }
    gst_event_unref (event);
    /* Здесь прерывается выполнение задачи */
    return;
  }

/* Разбор номера потока данных и переход за символ ':' в строке */
  gst_buffer_map (buf, &map, GST_MAP_READ);
  num = atoi (map.data[0]);
  if (num >= 0 && num < g_list_length (filter->srcpadlist)) {
    pad = GST_PAD (g_list_nth_data (filter->srcpadlist, num);

/* Сложный разбор данных буфера */
    for (n = 0; map.data[n] != ':' &&
                map.data[n] != '\0'; n++) ;
    if (map.data[n] != '\0') {
      GstBuffer *sub;

/* Создание копии фрагмента буфера сразу же после символа пробела. Причина, по
       * которой мы просто не передали указатель на данные заключается в том, что
       * указатель на данный момент указывает не на начало зарезервированного блока памяти, 
       * а на позицию где-то в середине этого блока. Память не может быть освобождена после
       * уничтожения буфера, поэтому мы столкнемся либо с аварийным завершением работы 
       * приложения, либо с утечкой памяти. Создание копии фрагмента буфера является простым решением. */
      sub = gst_buffer_copy_region (buf, GST_BUFFER_COPY_ALL,
          n + 1, map.size - n - 1);
      gst_pad_push (pad, sub);
    }
  }
  gst_buffer_unmap (buf, &map);
  gst_buffer_unref (buf);
}

Обратите внимание на то, что мы использовали большое количество проверок для гарантии того, что содержимое файла является корректным. Эти проверки были реализованы по двум причинам: во-первых, при заполнении файла данными может быть допущена ошибка и в этом случае мы сможем предотвратить аварийное завершение приложения. Во-вторых, что наиболее важно, в экстремальных ситуациях, файл может быть использован злоумышленниками с целью эксплуатации особенностей нестандартного поведения плагина, что может привести к проблемам с безопасностью. В любом случае следует рассматривать вариант использования входного файла для проведения различных атак на систему.

12.2. Создаваемые по запросу точки соединения

"Создаваемые по запросу" точки соединения аналогичны обычным точкам соединения, за исключением того, что они создаются по запросу от какого-либо программного компонента, реализованного вне элемента, а не в рамках самого элемента. Эта концепция обычно используется в мультиплексорах, где для каждого элементарного потока, который будет размещаться в общем выходном потоке данных, будет запрашиваться создание одной входной точки соединения. Также она может использоваться в элементах с переменным числом входных или выходных точек соединения, таких, как элемент разделения мультимедийного потока tee (множество выходных точек соединения) или элемент выбора входного мультимедийного потока input-selector (множество входных точек соединения).

Для реализации создаваемых по запросу точек соединения вам придется предоставить шаблон точки соединения с идентификатором режима доступности GST_PAD_REQUEST и реализовать виртуальный метод request_new_pad класса GstElement. Для освобождения ресурсов вам также придется реализовать виртуальный метод release_pad.

static GstPad *	gst_my_filter_request_new_pad	(GstElement     *element,
						 GstPadTemplate *templ,
                                                 const gchar    *name,
                                                 const GstCaps  *caps);

static void gst_my_filter_release_pad (GstElement *element,
                                       GstPad *pad);

static GstStaticPadTemplate sink_factory =
GST_STATIC_PAD_TEMPLATE (
  "sink_%u",
  GST_PAD_SINK,
  GST_PAD_REQUEST,
  GST_STATIC_CAPS ("ANY")
);

static void
gst_my_filter_class_init (GstMyFilterClass *klass)
{
  GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
[..]
  gst_element_class_add_pad_template (klass,
	gst_static_pad_template_get (&sink_factory));
[..]
  element_class->request_new_pad = gst_my_filter_request_new_pad;
  element_class->release_pad = gst_my_filter_release_pad;
}

static GstPad *
gst_my_filter_request_new_pad (GstElement     *element,
			       GstPadTemplate *templ,
			       const gchar    *name,
                               const GstCaps  *caps)
{
  GstPad *pad;
  GstMyFilterInputContext *context;

context = g_new0 (GstMyFilterInputContext, 1);
  pad = gst_pad_new_from_template (templ, name);
  gst_pad_set_element_private (pad, context);

/* В обычных условиях здесь вам придется установить указатели на функции цепочки и обработки событий _chain () и _event () */

gst_element_add_pad (element, pad);

return pad;
}

static void
gst_my_filter_release_pad (GstElement *element,
                           GstPad *pad)
{
  GstMyFilterInputContext *context;

context = gst_pad_get_element_private (pad);
  g_free (context);

gst_element_remove_pad (element, pad);
}

Следующий раздел : Различные режимы планирования работы точек соединения элементов.