План лекций по обработке естественного языка

Материал из LUWRAIN Wiki
Версия от 05:37, 15 ноября 2021; MSP (обсуждение | вклад) (План лекций по обработке естественного языка)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск

План лекций по обработке естественного языка[править]

Лекция 1: введение

  1. Классификация задач обработки естественного языка.
  2. Численные оценки качества обработки.
  3. Классификация методов обработки языка.

Лекция 2: Вспомогательные задачи и формальные грамматики

  1. Токенизация и сегментация.
  2. Формальные грамматики и Tomita-parser.
  3. Лемматизация и стемминг.

Лекция 3: Вероятностные алгоритмы

  1. Скрытые марковские модели и алгоритм Витерби.
  2. EM-алгоритм.
  3. Тематическое моделирование.

Лекция 4: введение в ИНС и полносвязные сети

  1. Общая идея многослойных ИНС и функции активации.
  2. Полносвязные сети и перцептрон.
  3. Векторное представление слов.
  4. Word2vec.

Лекция 5: инструменты интеллектуальной обработки

  1. TensorFlow и Keras.
  2. PyTorch.

Лекция6: построение методов трансляции

  1. Рекуррентные ИНС и и Seq2seq.
  2. Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
  3. Seq2seq + Attention.

Лекция 7: self-attention и трансформер

  1. Self-attention.
  2. Multi-head attention.
  3. Transformer.

Лекция 8: лингвистические модели глубокого обучения

  1. Введение в masked language modelling.
  2. BERT.
  3. GPT-3.