Em linguagens de autoria multimídia, como NCL (Nested Constext Language), uma abordagem usual para definir a sincronização entre mídias é pela criação das chamadas âncoras temporais, indicando partes da mídia que são de interesse para a sincronização da aplicação. Posteriormente são criados relacionamentos que associam a ocorrência de eventos dessas âncoras a eventos em outras mídias na aplicação.
Neste projeto propomos o conceito de âncoras abstratas, que indicam partes de interesse de uma mídia por meio do conteúdo sendo apresentado (por exemplo, uma bola de futebol). A partir de tal definição é feita a geração automática da sincronização por um software de reconhecimento que verifica dentro de cada mídia os momentos de apresentação desses conteúdos.
Redes neurais são utilizadas para realizar o reconhecimento dos conteúdos de interesse indicados na aplicação. De forma a suportar um reconhecimento mais preciso, é parte deste projeto a proposta de uma arquitetura de rede neural bimodal. Tal proposta baseia-se na concepção de que as modalidades de áudio e vídeo podem ser usadas simultaneamente para identificar os momentos em que algum conteúdo é apresentado em uma mídia audiovisual.
Para suportar a criação de aplicações mulsemedia em NCL, foi desenvolvido um módulo de reprodução de efeitos sensoriais em NCL. O módulo, implementado em Lua, é capaz de interpretar eventos gerados pelo interpretador da linguagem NCL e traduzi-los em descrições de comandos de efeitos sensoriais compatíveis com o padrão MPEG-V. Os comandos gerados são enviados pela rede local para que reprodutores compatíveis com o padrão MPEG-V possam recebê-los e renderizar os efeitos descritos. O módulo facilita a autoria e reprodução de uma aplicação mulsemedia interativa ao integrar suas definições em uma linguagem multimídia orientada a eventos.
O simulador de ambientes inteligentes permite que o usuário crie um ambiente virtual 3D e posicione diversos atuadores nesse ambiente. Depois de criado o ambiente, o simulador recebe descrições de efeitos sensoriais e mostra que atuadores seriam ativados pelo efeito.
Dessa forma, alguém criando uma aplicação multissensorial pode verificar o resultado de sua aplicação sem precisar montar todo um ambiente real para testes.
Essa projeto culmina em uma extensão do middleware Ginga para suporte nativo à execução de efeitos sensoriais em aplicações multimídia interativas descritas com a linguagem NCL.
Tal extensão permite que efeitos sejam incluídos na aplicação da mesma forma como uma mídia tradicional. Seus definição é independente de quais atuadores específicos deverão ser ativados para a execução do efeito.
Towards content-driven intelligent authoring of mulsemedia applications
Prêmio de melhor dissertação de mestrado no Concurso de Teses e Dissertações
A Bimodal Learning Approach to Assist Multi-sensory Effects Synchronization
Using Abstract Anchors for Automatic Authoring of Sensory Effects Based on Ambient Sound Recognition
Using Abstract Anchors to Aid the Development of Multimedia Applications with Sensory Effects
