Piattaforma di analisi dei big data del settore sanitario con framework Hadoop/MapReduce

L'analisi dei big data (BDA) è importante per ridurre i costi dell'assistenza sanitaria. Tuttavia in molti sistemi ospedalieri le nuove tecnologie che influenzano i dati dei pazienti richiedono test tecnici approfonditi e rigorosi di usabilità prima di essere implementate nella produzione. Pertanto per l'implementazione sono stati utilizzati cluster di nodi Linux ad alte prestazioni (HPC) e la simulazione dei dati dei pazienti è stata sottoposta a benchmark e a riferimenti incrociati con gli attuali profili di metadati nei sistemi ospedalieri operativi della Vancouver Island Health Authority (VIHA) Victoria Canada. Sulla piattaforma testata i dati sono stati generati indicizzati e archiviati su un Hadoop Distributed File System (HDFS) e su un database noSQL (HBase) che rappresentava tre miliardi di record di pazienti. Il framework Hadoop/MapReduce ha formato la piattaforma BDA con HBase (database NoSQL) utilizzando metadati specifici dell'ospedale e ingestione di file. Le query hanno mostrato prestazioni elevate con una serie di strumenti Apache dell'ecosistema Hadoop. La piattaforma BDA di HBase distribuita da Hadoop è riuscita a ottenere prestazioni elevate su grandi volumi e sull'intero archivio di dati. Viene discussa l'importanza della rappresentazione dell'informatica sanitaria utilizzando le tecnologie per i big data nella sanità.