Autoria Multimídia Multissensorial

Em linguagens de autoria multimídia, como NCL (Nested Constext Language), uma abordagem usual para definir a sincronização entre mídias é pela criação das chamadas âncoras temporais, indicando partes da mídia que são de interesse para a sincronização da aplicação. Posteriormente são criados relacionamentos que associam a ocorrência de eventos dessas âncoras a eventos em outras mídias na aplicação.

Neste projeto propomos o conceito de âncoras abstratas, que indicam partes de interesse de uma mídia por meio do conteúdo sendo apresentado (por exemplo, uma bola de futebol). A partir de tal definição é feita a geração automática da sincronização por um software de reconhecimento que verifica dentro de cada mídia os momentos de apresentação desses conteúdos.

Redes neurais são utilizadas para realizar o reconhecimento dos conteúdos de interesse indicados na aplicação. De forma a suportar um reconhecimento mais preciso, é parte deste projeto a proposta de uma arquitetura de rede neural bimodal. Tal proposta baseia-se na concepção de que as modalidades de áudio e vídeo podem ser usadas simultaneamente para identificar os momentos em que algum conteúdo é apresentado em uma mídia audiovisual.

Ferramentas de

Execução

Para suportar a criação de aplicações mulsemedia em NCL, foi desenvolvido um módulo de reprodução de efeitos sensoriais em NCL. O módulo, implementado em Lua, é capaz de interpretar eventos gerados pelo interpretador da linguagem NCL e traduzi-los em descrições de comandos de efeitos sensoriais compatíveis com o padrão MPEG-V. Os comandos gerados são enviados pela rede local para que reprodutores compatíveis com o padrão MPEG-V possam recebê-los e renderizar os efeitos descritos. O módulo facilita a autoria e reprodução de uma aplicação mulsemedia interativa ao integrar suas definições em uma linguagem multimídia orientada a eventos.

O simulador de ambientes inteligentes permite que o usuário crie um ambiente virtual 3D e posicione diversos atuadores nesse ambiente. Depois de criado o ambiente, o simulador recebe descrições de efeitos sensoriais e mostra que atuadores seriam ativados pelo efeito.

Dessa forma, alguém criando uma aplicação multissensorial pode verificar o resultado de sua aplicação sem precisar montar todo um ambiente real para testes.

Essa projeto culmina em uma extensão do middleware Ginga para suporte nativo à execução de efeitos sensoriais em aplicações multimídia interativas descritas com a linguagem NCL.

Tal extensão permite que efeitos sejam incluídos na aplicação da mesma forma como uma mídia tradicional. Seus definição é independente de quais atuadores específicos deverão ser ativados para a execução do efeito.

Joel dos Santos

Raphael Abreu

Equipe

Envolvida
Divulgação
IEEE Multimedia 2020
Raphael Abreu, Douglas Mattos, Joel dos Santos, George Ghinea, Débora Saade

Towards content-driven intelligent authoring of mulsemedia applications

WebMedia 2019
Raphael Abreu, Joel dos Santos, Eduardo Bezerra

Prêmio de melhor dissertação de mestrado no Concurso de Teses e Dissertações

IJCNN 2018
Raphael Abreu, Joel dos Santos, Eduardo Bezerra

A Bimodal Learning Approach to Assist Multi-sensory Effects Synchronization

WebMedia 2017
Raphael Abreu, Joel dos Santos

Using Abstract Anchors for Automatic Authoring of Sensory Effects Based on Ambient Sound Recognition

DocEng 2017
Raphael Abreu, Joel dos Santos

Using Abstract Anchors to Aid the Development of Multimedia Applications with Sensory Effects