Objetos de mídia comuns em aplicações multimídia são vídeo, áudio, imagem e texto. Destes, são consideradas mídias contínuas aquelas cujas unidades de informação são dependentes do tempo (vídeo e áudio), enquanto são consideradas mídias estáticas aquelas onde essa dependência não é observada.
Mídias contínuas são comumente utilizadas como base para sincronização em uma aplicação multimídia. Dessa forma, conforme a apresentação dessas mídias se desenrola (ou de parte delas), a apresentação das demais mídias são disparadas.
Mídias textuais são mídias estáticas que, quando usadas em uma aplicação, devem ter seu tempo de início e fim definidos em função de outras mídias. Levando isso em consideração, não é possível utilizar eventos de apresentação internos a uma mídia textual para a definição da sincronização da aplicação.
A possibilidade de sincronizar mídias textuais com outros objetos de mídia ao longo do tempo abre a possibilidade do autor de uma aplicação multimídia definir a sincronização da aplicação com base na posição de leitura do usuário. Por exemplo, ao longo da leitura, conforme um determinado ponto do texto é alcançado, outros objetos de mídia podem ser executados. Nesse sentido, a velocidade de leitura do usuário, e não um tempo específico, disparam a exibição de conteúdos.
Em particular, esse conceito foi utilizado para a construção de uma aplicação chamada MBook para permitir a leitura de uma história acompanhada de efeitos sensoriais.
Nessa ferramenta, usamos um eye-tracker como base para determinar a posição de leitura do usuário. Conforme a leitura se desenrola, eventos informam quando terminadas partes do texto são alcançadas. Dessa forma, diferentes efeitos sensoriais podem ser disparados ao longo da leitura.
A dislexia é uma deficiência de aprendizagem que prejudica a capacidade de leitura. Pesquisas publicadas na literatura indicam que o uso de conteúdos multimídia melhoram o desempenho de leitura de escolares com dislexia.
Na forma de um livro multissensorial, este projeto propõe o uso de elementos de multimídias multissensoriais sincronizados automaticamente com o conteúdo sendo lido, buscando um aumento no estímulo ao tratamento para crianças e jovens com dislexia e que os prejuízos causados por esse transtorno sejam minimizados.
Experimentação com o MBook
Adding Temporal Semantic to Textual Media Objects with Eye Tracking Technology
