План лекций по обработке естественного языка
План лекций по обработке естественного языка
Лекция 1: введение
- Классификация задач обработки естественного языка.
- Численные оценки качества обработки.
- Классификация методов обработки языка.
Лекция 2: традиционные методы обработки естественного языка и вспомогательные задачи 1. Токенизация и сегментация. 2. Формальные грамматики и Tomita-parser. 3. Скрытые марковские модели. 4. Лемматизация и стемминг.
Лекция 3: введение в ИНС и полносвязные сети 1. Общая идея многослойных ИНС и функции активации. 2. Полносвязные сети и перцептрон. 3. Векторное представление слов. 4. Word2vec.
Лекция 4: инструменты интеллектуальной обработки 1. TensorFlow и Keras. 2. PyTorch.
Лекция5: построение методов трансляции 1. Рекуррентные ИНС. 2. Seq2seq.
Лекция 6: проблема обработки длинных последовательностей 1. Длинная краткосрочная память (LSTM). 2. Управляемый рекуррентный блок (GRU). 3. Seq2seq + Attention.
Лекция 7: self-attention и трансформер 1. Self-attention. 2. Multi-head attention. 3. Transformer.
Лекция 8: лингвистические модели глубокого обучения 1. Введение в masked language modelling. 2. BERT. 3. GPT-3.
