Обзор методов чистки данных от MTS AI

fgfg Picture

Зачем чистить данные, какие методы чистки существуют и какие алгоритмы чистки используются подробно рассказывает NLP-разработчик MTS AI Игорь Буянов.

Что? Зачем? Как? Чистим данные и тестируем алгоритмы в MTS AI

В работе над проектами группы обработки естественного языка Игорь Буянов, NLP-разработчик MTS AI, занимается подготовкой и обработкой датасетов. Ввиду случайных и неслучайных ошибок возникают различные источники шума, которые препятствуют получению желаемого результата.

Picture

В статье для Habr Игорь разобрал значение и применение чистки данных, а также подробно рассмотрел варианты алгоритмов, применяемых для очистки этих шумов, и результаты их тестирования.

В подборку вошли шесть алгоритмов:

  • averaged representation 1: основывается на гипотезе, что шумные и редкие примеры лежат далеко от усредненного по каждой метке отдельно центра в пространстве признаков;
  • hybrid 2: модель может предсказывать истинный класс примера за счет генерализации;
  • plainILI или Iterative Label Improvement 3 с гипотезой о модели предсказать истинный класс примера за счет генерализации;
  • NBSVM 4 с более сложной иерархической структурой и использующий SVM для нахождения наиболее значимых примеров для классификации;
  • Leitner system 5 с имитацией естественных процессов;
  • TraceIn 6, главной задачей которого является определить влияние тренировочных примеров на предсказание примера тестовой выборки.

Какие концепции используют алгоритмы, из каких шагов состоят, при каких условиях проводилось их тестирование и какой из алгоритмов стал лидером по результатам тестирования, читайте в оригинальной статье на Habr.

Новости
Главное за последнее время
Смотреть все

Инвестиции

MTS AI в медиа

Новости команды

Партнерство

Кейсы

Решения

ВобъективеИИ

События

Технологии

Без рубрики

События
ВЕБИНАР: Возможности генеративного ИИ для бизнеса
События
Конкурс для фанатов «Битвы роботов» от MTS AI
MTS AI в медиа
MTS AI внедрила аналитику для ритейлеров в «МТС Видеонаблюдение»
ВобъективеИИ
Документалисты против GenAI и тест LLM на безвредность
Новости команды
Инженер-исследователь MTS AI одержал тройную победу на соревнованиях AI Journey
ВобъективеИИ
Успехи ИИ в тесте Тьюринга и прогнозе погоды
Технологии
Как аспектный анализ коммуникаций помогает лучше понять своего клиента
Кейсы
Как автоматизировать сбор информации о клиентах в рекрутинговой компании
Audiogram
Как сделать кастомный голос за 5 шагов
События
Лекция Дмитрия Маркова в рамках марафона «Знание.Первые»
ВобъективеИИ
Чипы нового поколения и ИИ для ESG-инвестирования
События
Команда MTS AI приняла участие в «Битве роботов»