Неиспользованный потенциал в неструктурированном тексте

Вы когда-нибудь наблюдали сверху за оживленными улицами? Или за тем, как люди «общаются» в переполненных кофейнях? В наши дни невозможно не заметить, как все постоянно что-то строчат в своих телефонах, планшетах и ноутбуках.

Наблюдая за людьми, поглощенными собственными устройствами, я представляю, как набираются символы (разговорные сокращения, аббревиатуры, смайлики) и используется автозамена.

Это процесс переноса мыслей в цифровой мир. Наши исследования, мнения, факты, отзывы и призывы к действию преобразуются из человеческого языка в данные через клавиатуру. Но что мы делаем со всеми этими данными?

Неструктурированный текст - крупнейший источник данных, созданный человеком, и этот источник с каждым днем увеличивается в геометрической прогрессии. Текст произвольной формы, который мы печатаем на клавиатуре или мобильном устройстве, является важным средством передачи наших мыслей и способом фиксирования нашей деятельности. Тем не менее, многие компании не используют потенциал своих неструктурированных текстовых данных, будь то внутренние отчеты, взаимодействия с клиентами, журналы обслуживания или другие деловые файлы. Таким образом лица, принимающие решения, упускают возможность принять действенные меры в отношении существующих и возникающих проблем.

Революционный подход с использованием обработки естественного языка

Обработка естественного языка (NLP) - это область искусственного интеллекта (ИИ), которая помогает компьютерам понимать, интерпретировать и манипулировать человеческим языком. В общем смысле, в задачи NLP входит разделение текста или речи на элементарные частицы. - Например, в медицинских учреждениях постоянно растет массив данных в формате электронных медицинских записей. Так можно понять отношения между этими частицами, чтобы изучить, как они работают вместе, а затем создают смысл. Сочетание NLP , машинного обучения и человеческой экспертизы дает возможность революционизировать подход к новым и существующим проблемам.

Применения NLP невероятно разнообразны и идеально подходят практически для любой ситуации, требующей быстрого и неутомимого анализа неструктурированного текста. Например, в медицинских учреждениях постоянно растет массив данных в форме электронных медицинских карт. Человеку почти невозможно обнаружить закономерность симптомов и анализ первопричин, просматривая каждую отдельную запись. Но ИИ-система может работать круглосуточно, чтобы проанализировать результаты анализов, отчеты пациентов, перечисленные симптомы и многое другое. NLP доказала свою эффективность в прогнозировании действий и оповещении больниц, когда данные в электронных медицинских записях указывали на наличие сепсиса.

Остановка убийцы с помощью данных и NLP

По данным Sepsis Alliance, сепсис является основной причиной смерти в больницах. Ранняя диагностика и быстрое вмешательство имеют решающее значение при лечении сепсиса, но симптомы не всегда очевидны на ранних стадиях его возникновения. Показатели смертности увеличиваются на 8 % за каждый час отсрочки лечения. Человеческий глаз может не заметить корреляции между данными в медицинских записях и ранними признаками смертельного состояния при большой рабочей нагрузке и у пациентов с бессимптомным течением болезни на ранних стадиях. Но применение NLP к данным в электронных медицинских записях является основой для прогностических моделей, которые запускают системы оповещения, уведомляя врачей и медсестер о том, что пациент может нуждаться в медицинском вмешательстве. Исследования показали, что предоставление полного медицинского лечения сепсиса в первые 180 минут от начала заболевания может спасти 80 % жизней, которые в противном случае могли бы быть потеряны.

Применения NLP выходят за рамки медицины. Её можно использовать для анализа материалов судебных дел, каналов социальных сетей, журналов колл-центра, исследовательских документов, требований исполнений гарантийных обязательств и многого другого. Большая часть данных, хранящихся в организациях, представлена в виде неструктурированного текста.

Чтобы разобраться в своих неструктурированных текстах, необходимо сочетание трех возможностей:

• Обработка естественного языка. NLP выполняет лингвистический анализ, который существенно помогает машине читать текст. NLP анализирует и преобразует текст в формы для обработки и понимания текста. Это включает в себя такие методы, как токенизация, частеречная разметка, определение происхождения, распознавание именованных объектов и многое другое.
• Машинное обучение. После применения NLP к тексту машинное обучение использует выходные данные для глубинного анализа данных и алгоритмов машинного обучения, чтобы автоматизировать выявление ценной информации и описательную аналитику.
• Человеческий вклад. Когда дело касается анализа текста, человеческий вклад все еще невероятно важен. Предметная экспертиза применяется в форме лингвистических правил, чтобы помочь машине уловить сленг, обнаружить сарказм и предоставить соответствующий контекст.

Технология анализа неструктурированного текста активно учится на данных по мере их поступления, комбинируя машинное обучение с человеческим руководством, чтобы генерировать новые инсайты. Конечная цель заключается в создании и развертывании моделей текстовой аналитики для оперативного воздействия, обеспечивая понимание с помощью тематического анализа, извлечения контекста, категоризации документов и анализа тональности текста.

Обработка естественного языка позволяет улучшить жизнь и работу. Она может помочь добиться прогресса в областях, которые трудно изменить без сотрудничества между людьми и технологиями. Изучите неструктурированные тексты в вашей компании, которые вы собираете, и, возможно, вы откроете для себя что-то новое. Эти данные отражают голоса тех, для кого вы работаете, и обладают потенциалом, который поможет вам улучшить качество обслуживания и привлечь еще больше клиентов. Ваши неструктурированные текстовые данные могут рассказать вам впечатляющие истории. Вы их слушаете?

Эта статья первоначально появилась в insideBIGDATA .

Об авторе

Мэри Бет Мур - стратегический специалист по искусственному интеллекту и языковой аналитике в SAS. Она отвечает за стратегическое маркетинговое направление и руководит глобальным обменом сообщениями SAS для искусственного интеллекта и текстовой аналитики. Она часто пишет на широкий спектр технологических тем, включая инициативы ИИ, NLP и SAS Data for Good. До прихода в SAS Мур служила в Корпусе морской пехоты США и несколько лет работала аналитиком разведки и старшим инструктором в Министерстве обороны и разведки США, в основном поддерживая экспедиционные подразделения и специальные операции. Она также является пропагандистом специального образования, консультантом по правам инвалидов и сторонником интеграции в общество людей всех способностей.