Редактирование: План лекций по обработке естественного языка


= План лекций по обработке естественного языка =

Лекция 1: введение
# Классификация задач обработки естественного языка.
# Численные оценки качества обработки.
# Классификация методов обработки языка.

Лекция 2: Вспомогательные задачи и формальные грамматики
# Токенизация и сегментация.
# Формальные грамматики и Tomita-parser.
# Лемматизация и стемминг.
Лекция 3: Вероятностные алгоритмы 
# Скрытые марковские модели и алгоритм Витерби.
# EM-алгоритм
# Тематическое моделирование

Лекция 4: введение в ИНС и полносвязные сети
# Общая идея многослойных ИНС и функции активации.
# Полносвязные сети и перцептрон.
# Векторное представление слов.
# Word2vec.

Лекция 5: инструменты интеллектуальной обработки
# TensorFlow и Keras.
# PyTorch.

Лекция6: построение методов трансляции
# Рекуррентные ИНС и и Seq2seq.
# Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
# Seq2seq + Attention.

Лекция 7: self-attention  и трансформер
# Self-attention.
# Multi-head attention.
# Transformer.

Лекция 8: лингвистические модели глубокого обучения
# Введение в masked language modelling.
# BERT.
# GPT-3.