План лекций по обработке естественного языка — различия между версиями

Материал из LUWRAIN Wiki
Перейти к: навигация, поиск
(Новая страница: « = План лекций по обработке естественного языка = Лекция 1: введение # Классификация задач…»)
 
(→‎План лекций по обработке естественного языка)
 
(не показаны 2 промежуточные версии этого же участника)
Строка 7: Строка 7:
 
# Классификация методов обработки языка.
 
# Классификация методов обработки языка.
  
−
Лекция 2: традиционные методы обработки естественного языка и вспомогательные задачи
+
Лекция 2: Вспомогательные задачи и формальные грамматики
−
1. Токенизация и сегментация.
+
# Токенизация и сегментация.
−
2. Формальные грамматики и Tomita-parser.
+
# Формальные грамматики и Tomita-parser.
−
3. Скрытые марковские модели.
+
# Лемматизация и стемминг.
−
4. Лемматизация и стемминг.
 
  
−
Лекция 3: введение в ИНС и полносвязные сети
+
Лекция 3: Вероятностные алгоритмы
−
1. Общая идея многослойных ИНС и функции активации.
+
# Скрытые марковские модели и алгоритм Витерби.
−
2. Полносвязные сети и перцептрон.
+
# EM-алгоритм.
−
3. Векторное представление слов.
+
# Тематическое моделирование.
−
4. Word2vec.
 
  
−
Лекция 4: инструменты интеллектуальной обработки
+
Лекция 4: введение в ИНС и полносвязные сети
−
1. TensorFlow и Keras.
+
# Общая идея многослойных ИНС и функции активации.
−
2. PyTorch.
+
# Полносвязные сети и перцептрон.
 +
# Векторное представление слов.
 +
# Word2vec.
  
−
Лекция5: построение методов трансляции
+
Лекция 5: инструменты интеллектуальной обработки
−
1. Рекуррентные ИНС.
+
# TensorFlow и Keras.
−
2. Seq2seq.
+
# PyTorch.
  
−
Лекция 6: проблема обработки длинных последовательностей
+
Лекция6: построение методов трансляции
−
1. Длинная краткосрочная память (LSTM).
+
# Рекуррентные ИНС и и Seq2seq.
−
2. Управляемый рекуррентный блок (GRU).
+
# Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
−
3. Seq2seq + Attention.
+
# Seq2seq + Attention.
  
 
Лекция 7: self-attention  и трансформер
 
Лекция 7: self-attention  и трансформер
−
1. Self-attention.
+
# Self-attention.
−
2. Multi-head attention.
+
# Multi-head attention.
−
3. Transformer.
+
# Transformer.
  
 
Лекция 8: лингвистические модели глубокого обучения
 
Лекция 8: лингвистические модели глубокого обучения
−
1. Введение в masked language modelling.
+
# Введение в masked language modelling.
−
2. BERT.
+
# BERT.
−
3. GPT-3.
+
# GPT-3.

Текущая версия на 05:37, 15 ноября 2021

План лекций по обработке естественного языка[править]

Лекция 1: введение

  1. Классификация задач обработки естественного языка.
  2. Численные оценки качества обработки.
  3. Классификация методов обработки языка.

Лекция 2: Вспомогательные задачи и формальные грамматики

  1. Токенизация и сегментация.
  2. Формальные грамматики и Tomita-parser.
  3. Лемматизация и стемминг.

Лекция 3: Вероятностные алгоритмы

  1. Скрытые марковские модели и алгоритм Витерби.
  2. EM-алгоритм.
  3. Тематическое моделирование.

Лекция 4: введение в ИНС и полносвязные сети

  1. Общая идея многослойных ИНС и функции активации.
  2. Полносвязные сети и перцептрон.
  3. Векторное представление слов.
  4. Word2vec.

Лекция 5: инструменты интеллектуальной обработки

  1. TensorFlow и Keras.
  2. PyTorch.

Лекция6: построение методов трансляции

  1. Рекуррентные ИНС и и Seq2seq.
  2. Долгая краткосрочная память (LSTM) и управляемый рекуррентный блок (GRU).
  3. Seq2seq + Attention.

Лекция 7: self-attention и трансформер

  1. Self-attention.
  2. Multi-head attention.
  3. Transformer.

Лекция 8: лингвистические модели глубокого обучения

  1. Введение в masked language modelling.
  2. BERT.
  3. GPT-3.
Источник — «https://wiki.luwrain.org/wiki/index.php?title=План_лекций_по_обработке_естественного_языка&oldid=4628»