План лекций по обработке естественного языка

План лекций по обработке естественного языка

Лекция 1: введение

1. Классификация задач обработки естественного языка.
2. Численные оценки качества обработки.
3. Классификация методов обработки языка.

Лекция 2: традиционные методы обработки естественного языка и вспомогательные задачи

1. Токенизация и сегментация.
2. Формальные грамматики и Tomita-parser.
3. Скрытые марковские модели.
4. Лемматизация и стемминг.

Лекция 3: введение в ИНС и полносвязные сети

1. Общая идея многослойных ИНС и функции активации.
2. Полносвязные сети и перцептрон.
3. Векторное представление слов.
4. Word2vec.

Лекция 4: инструменты интеллектуальной обработки

1. TensorFlow и Keras.
2. PyTorch.

Лекция5: построение методов трансляции

1. Рекуррентные ИНС.
2. Seq2seq.

Лекция 6: проблема обработки длинных последовательностей

1. Длинная краткосрочная память (LSTM).
2. Управляемый рекуррентный блок (GRU).
3. Seq2seq + Attention.

Лекция 7: self-attention и трансформер

1. Self-attention.
2. Multi-head attention.
3. Transformer.

Лекция 8: лингвистические модели глубокого обучения

1. Введение в masked language modelling.
2. BERT.
3. GPT-3.