Defesa de dissertação: Raphael Silva de Abreu

Discente: Raphael Silva de Abreu

Título: Autoria de Documentos Multimídia Interativos Baseada na Sincronização de Efeitos Sensoriais em Relação ao Conteúdo Audiovisual

Orientadores: Joel A. F. dos Santos, Eduardo Bezerra da Silva (coorientador)

Banca: Joel A. F. dos Santos (CEFET/RJ) (presidente), Eduardo Bezerra da Silva (CEFET/RJ), Gustavo Paiva Guedes e Silva (CEFET/RJ), Glauco Fiorott Amorim (CEFET/RJ), Débora Christina Muchaluat Saade (UFF)

Dia/Hora: 20 de julho / 10h

Sala: Auditório V

Resumo:

Avanços da computação ubíqua têm se mostrado importantes para aumentar os níveis de imersão de usuários em ambientes virtuais. Tais avanços impulsionam diversas pesquisas visando aumentar a imersão do usuário em aplicações multimídia. Uma delas é a adição de efeitos sensoriais, possibilitando as aplicações mulsemedia. Tais aplicações realizam interface com outros sentidos humanos além da visão e audição. Entretanto, o desenvolvimento destas aplicações necessita de um esforço de autoria para sincronizar efeitos sensoriais com conteúdo audiovisual. Além disso, aplicações interativas carecem de abstrações para facilitar a autoria de efeitos sensoriais. Portanto, este trabalho apresenta uma abordagem para facilitar a autoria de aplicações mulsemedia interativas. Para resolver essas questões, este trabalho se concentrou em três frentes. A primeira é o conceito de âncoras abstratas, que realiza a sincronização de efeitos sensoriais com um objeto de mídia de forma semiautomática. Neste contexto, é apresentado um processador para a linguagem NCL que utiliza redes neurais para identificar quando conteúdos são apresentados para realizar a sincronização. A segunda frente é uma arquitetura de rede neural bimodal, visando melhorar a identificação de conteúdo presentes em objeto audiovisual ao levar em consideração as modalidades de áudio e vídeo. A terceira frente é permitir a definição de efeitos sensoriais em linguagens multimídia declarativas, tornando possível a autoria de aplicações interativas com efeitos sensoriais de acordo com o padrão MPEG-V. Ainda este trabalho apresenta uma extensão do sistema de posicionamento do MPEG-V, permitindo o uso de coordenadas esféricas. Por fim, um simulador 3D de um ambiente mulsemedia interativo é apresentado. Como resultado, este trabalho facilita a autoria das seguintes formas. Primeiramente ao abstrair a sincronização de efeitos sensoriais. Em seguida por aprimorar o método de identificação do conteúdo de um objeto audiovisual. Por fim, permitindo uma definição mais genérica de efeitos sensoriais junto com seu posicionamento em aplicações multimídia interativas e, por meio do simulador 3D, dar suporte ao autor visualizar a execução destes efeitos.