IBM разработала высокоскоростной алгоритм анализа данных

01.03.2010 Специалисты IBM Research в Цюрихе (Швейцария) предложили новый метод анализа больших объемов случайных данных. В отличие от традиционных алгоритмов, которые выполняют индивидуальную обработку каждого набора данных из множества, новый метод сравнивает их между собой. Для этого используются модели статистического анализа и калибровки данных, которые выявляют нужные модели измерения и скрытые взаимосвязи между наборами данных. 

Алгоритм  создавался в течение двух лет, его исходный код состоит менее чем из тысячи строк. По мнению разработчиков, новый метод сможет успешно применяться в таких сферах, как метеорология, мониторинг уровня загрязнений воздуха или воды, отслеживание тенденций на финансовых рынках, имитационное моделирование и пр.

Новый алгоритм был протестирован в исследовательском центре Forschungszentrum Julich (Юлих, Германия) где проводятся фундаментальные исследования в областях информатизации, защиты окружающей среды, биотехнологий и нейробиологии. Суперкомпьютер научного центра объединяет 72 стойки IBM Blue Gene/P, 294912 процессоров, достигает пиковой производительности в 1 петафлопс и занимает 4-е место в мировом рейтинге. В ходе эксперимента на обработку 9 ТБ данных по новой методике ушло всего 20 минут, в то время как при использовании стандартных алгоритмов для этого потребовался бы целый день. 

Предложенный алгоритм обеспечивает не только высокую точность выполняемых задач, но и позволяет почти в 100 понизить энергопотребление – за день работы суперкомпьютер исследовательского центра в Юлихе потребляет 52800 кВт, в то время как на выполнение экспериментальной задачи потребовалось всего 700 кВт.