Обработка информации или “Дата майнинг”
0 Дата майнинг – это простой поиск полезной информации среди огромного количества данных, которая даёт бизнесу конкурентное преимущество. Эта информация содержит важные правила и тенденции, которые уже были в наборе данных, но до сих пор не были выявлены. Наиболее известный инструмент, который используют для дата майнинга – это искусственный интеллект. Технология искусственного интеллекта работает как человеческий мозг, то есть делают логические выводы, учатся на примерах, и рассуждают от общего к частному. Наиболее известные методы, которые используются в дата майнинге – это нейронные сети, кластеризация, и дерево решений.
Нейронные сети проверяют правила использования данных, которые основаны на найденных связях между данными или на простом наборе данных. В результате, программное обеспечение последовательно анализирует значения и сопоставляет их с другими факторами до тех пор, пока не найдёт новое правило. Затем программа ищет другие правила, основанные на предыдущих правилах, или оповещает систему, когда проходит время ожидания. Кластеризация разделяет данные на группы, основываясь на похожих свойствах или ограниченных наборах данных. Кластеры используются, когда данные не промаркированы для дата майнинга. Например, страховая компания хочет найти примеры мошенничества, но её данные не помечены как “мошенничество” или “не мошенничество”. Но после анализа связей между данными, содержащимися в кластерах, программа дата майнинга будет проверять правила, которые определят, является ли иск верным или нет.
Дерево решений, также как и кластеры, разделяет данные на подмножества, а затем анализирует полученные подмножества, чтобы разделить их на следующие подмножества и так далее. Конечные подмножества достаточно малы, для того чтобы программа в процессе дата майнинга могла найти интересные закономерности и взаимосвязи между данными.
После того, как данные будут распознаны, их необходимо очистить. Очистка освобождает данные от повторяющейся информации и ошибочных данных. Затем данные должны храниться в едином формате в нужных категориях или полях. Инструменты дата майнинга могут работать со всеми типами хранилищ данных, начиная от огромных хранилищ данных и баз данных меньшего объёма, и заканчивая одноуровневыми базами данных. Хранилища данных и витрины данных – это методы хранения данных, которые архивируют большие объёмы информации таким способом, чтобы к ним можно было легко получить доступ, когда это необходимо.
После окончания обработки, программное обеспечение для дата майнинга формирует отчёт. Аналитики просматривают эти отчёты, для того чтобы выяснить нужно ли ещё обрабатывать данные, очищать параметры, используя другие инструменты для анализа данных, или эти данные вообще нужно удалить, потому что они бесполезные. Если данные не требуют последующей обработки, то отчёт переходит к специалистам, принимающим решения.
Эффективность дата майнинга может быть использована во многих областях, таких как принятие решений в Верховном Суде, исследование закономерностей в медицине, отбор новостей о конкурентах из новостных лент, разрешение трудностей в производственных процессах, и анализ последовательностей в человеческом наборе генов. Таким образом, дата майнинг может быть полезен в любом типе бизнеса или в любой сфере обучения.
Комментарии (0)