План лекций по обработке естественного языка — различия между версиями
MSP (обсуждение | вклад) (→План лекций по обработке естественного языка) |
MSP (обсуждение | вклад) (→План лекций по обработке естественного языка) |
||
Строка 7: | Строка 7: | ||
# Классификация методов обработки языка. | # Классификация методов обработки языка. | ||
− | Лекция 2: | + | Лекция 2: Вспомогательные задачи и формальные грамматики |
# Токенизация и сегментация. | # Токенизация и сегментация. | ||
# Формальные грамматики и Tomita-parser. | # Формальные грамматики и Tomita-parser. | ||
− | |||
# Лемматизация и стемминг. | # Лемматизация и стемминг. | ||
+ | Лекция 3: Вероятностные алгоритмы | ||
+ | # Скрытые марковские модели и алгоритм Витерби. | ||
+ | # EM-алгоритм | ||
+ | # Тематическое моделирование | ||
− | Лекция | + | Лекция 4: введение в ИНС и полносвязные сети |
# Общая идея многослойных ИНС и функции активации. | # Общая идея многослойных ИНС и функции активации. | ||
# Полносвязные сети и перцептрон. | # Полносвязные сети и перцептрон. | ||
Строка 19: | Строка 22: | ||
# Word2vec. | # Word2vec. | ||
− | Лекция | + | Лекция 5: инструменты интеллектуальной обработки |
# TensorFlow и Keras. | # TensorFlow и Keras. | ||
# PyTorch. | # PyTorch. | ||
− | + | Лекция6: построение методов трансляции | |
− | # Рекуррентные ИНС | + | # Рекуррентные ИНС и и Seq2seq. |
− | + | # Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU). | |
− | |||
− | |||
− | # | ||
− | |||
# Seq2seq + Attention. | # Seq2seq + Attention. | ||
Версия 05:36, 15 ноября 2021
План лекций по обработке естественного языка
Лекция 1: введение
- Классификация задач обработки естественного языка.
- Численные оценки качества обработки.
- Классификация методов обработки языка.
Лекция 2: Вспомогательные задачи и формальные грамматики
- Токенизация и сегментация.
- Формальные грамматики и Tomita-parser.
- Лемматизация и стемминг.
Лекция 3: Вероятностные алгоритмы
- Скрытые марковские модели и алгоритм Витерби.
- EM-алгоритм
- Тематическое моделирование
Лекция 4: введение в ИНС и полносвязные сети
- Общая идея многослойных ИНС и функции активации.
- Полносвязные сети и перцептрон.
- Векторное представление слов.
- Word2vec.
Лекция 5: инструменты интеллектуальной обработки
- TensorFlow и Keras.
- PyTorch.
Лекция6: построение методов трансляции
- Рекуррентные ИНС и и Seq2seq.
- Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
- Seq2seq + Attention.
Лекция 7: self-attention и трансформер
- Self-attention.
- Multi-head attention.
- Transformer.
Лекция 8: лингвистические модели глубокого обучения
- Введение в masked language modelling.
- BERT.
- GPT-3.