План лекций по обработке естественного языка — различия между версиями

Материал из LUWRAIN Wiki
Перейти к: навигация, поиск
(План лекций по обработке естественного языка)
(План лекций по обработке естественного языка)
Строка 7: Строка 7:
 
# Классификация методов обработки языка.
 
# Классификация методов обработки языка.
  
Лекция 2: традиционные методы обработки естественного языка и вспомогательные задачи
+
Лекция 2: Вспомогательные задачи и формальные грамматики
 
# Токенизация и сегментация.
 
# Токенизация и сегментация.
 
# Формальные грамматики и Tomita-parser.
 
# Формальные грамматики и Tomita-parser.
# Скрытые марковские модели.
 
 
# Лемматизация и стемминг.
 
# Лемматизация и стемминг.
 +
Лекция 3: Вероятностные алгоритмы
 +
# Скрытые марковские модели и алгоритм Витерби.
 +
# EM-алгоритм
 +
# Тематическое моделирование
  
Лекция 3: введение в ИНС и полносвязные сети
+
Лекция 4: введение в ИНС и полносвязные сети
 
# Общая идея многослойных ИНС и функции активации.
 
# Общая идея многослойных ИНС и функции активации.
 
# Полносвязные сети и перцептрон.
 
# Полносвязные сети и перцептрон.
Строка 19: Строка 22:
 
# Word2vec.
 
# Word2vec.
  
Лекция 4: инструменты интеллектуальной обработки
+
Лекция 5: инструменты интеллектуальной обработки
 
# TensorFlow и Keras.
 
# TensorFlow и Keras.
 
# PyTorch.
 
# PyTorch.
  
Лекция5: построение методов трансляции
+
Лекция6: построение методов трансляции
# Рекуррентные ИНС.
+
# Рекуррентные ИНС и и Seq2seq.
# Seq2seq.
+
# Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
 
 
Лекция 6: проблема обработки длинных последовательностей
 
# Длинная краткосрочная память (LSTM).
 
# Управляемый рекуррентный блок (GRU).
 
 
# Seq2seq + Attention.
 
# Seq2seq + Attention.
  

Версия 05:36, 15 ноября 2021

План лекций по обработке естественного языка

Лекция 1: введение

  1. Классификация задач обработки естественного языка.
  2. Численные оценки качества обработки.
  3. Классификация методов обработки языка.

Лекция 2: Вспомогательные задачи и формальные грамматики

  1. Токенизация и сегментация.
  2. Формальные грамматики и Tomita-parser.
  3. Лемматизация и стемминг.

Лекция 3: Вероятностные алгоритмы

  1. Скрытые марковские модели и алгоритм Витерби.
  2. EM-алгоритм
  3. Тематическое моделирование

Лекция 4: введение в ИНС и полносвязные сети

  1. Общая идея многослойных ИНС и функции активации.
  2. Полносвязные сети и перцептрон.
  3. Векторное представление слов.
  4. Word2vec.

Лекция 5: инструменты интеллектуальной обработки

  1. TensorFlow и Keras.
  2. PyTorch.

Лекция6: построение методов трансляции

  1. Рекуррентные ИНС и и Seq2seq.
  2. Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
  3. Seq2seq + Attention.

Лекция 7: self-attention и трансформер

  1. Self-attention.
  2. Multi-head attention.
  3. Transformer.

Лекция 8: лингвистические модели глубокого обучения

  1. Введение в masked language modelling.
  2. BERT.
  3. GPT-3.