Plataforma de an��lise de grandes volumes de dados no sector da sa��de com a estrutura Hadoop/MapReduce

A análise de grandes volumes de dados (BDA) é importante para reduzir os custos dos cuidados de saúde. No entanto em muitos sistemas hospitalares as novas tecnologias que influenciam os dados dos doentes requerem testes técnicos extensivos e rigorosos de usabilidade antes de serem implementadas na produção. Por conseguinte para a implementação foram utilizados externamente clusters de nós Linux de Computação de Alto Desempenho (HPC) existentes e a simulação de dados de doentes foi comparada e cruzada com os perfis de metadados actuais em sistemas hospitalares operacionais na Autoridade de Saúde da Ilha de Vancouver (VIHA) Victoria Canadá. Na plataforma testada os dados foram gerados indexados e armazenados num sistema de ficheiros distribuídos Hadoop (HDFS) para uma base de dados noSQL (HBase) que representava três mil milhões de registos de doentes. A estrutura Hadoop/MapReduce formou a plataforma BDA com a HBase (base de dados NoSQL) utilizando metadados específicos do hospital e a ingestão de ficheiros. As consultas revelaram um elevado desempenho com uma variedade de ferramentas Apache no ecossistema do Hadoop. A plataforma BDA do HBase distribuída pelo Hadoop foi bem sucedida sob alto desempenho em grandes volumes e em todo o arquivo de dados.