Разбор статьи · · 3 мин чтения

«Attention Is All You Need» простыми словами: как трансформер читает текст

В 2017 году восемь исследователей, большинство из Google, опубликовали научную статью с дерзким названием «Attention Is All You Need» — «Внимание — это всё, что вам нужно». Речь в ней шла о машинном переводе. Сегодня на описанной там схеме, трансформере, построены самые известные чат-боты. Буква T в названии GPT — это как раз Transformer.

Попробую объяснить, что придумали авторы, без единой формулы.

Как машины читали раньше

До трансформера популярные модели читали текст так же, как мы слушаем длинный рассказ по телефону: слово за словом, по порядку, держа в голове краткое впечатление от уже услышанного.

У такого способа два недостатка. К концу длинной фразы начало помнится смутно. И ускорить чтение нельзя: пока не обработано пятое слово, за шестое не взяться.

Идея: смотреть на всё сразу

Авторы предложили отказаться от чтения по очереди. Трансформер кладёт на стол всё предложение целиком и для каждого слова решает, какие другие слова важны для его понимания. Этот механизм и называется вниманием.

Вот пример. «Кошка не перешла улицу, потому что она слишком устала». Кто «она»? Кошка. А теперь: «Кошка не перешла улицу, потому что она слишком широкая». Теперь «она» — улица. Грамматика одинаковая, смысл решает одно слово в конце.

Человек справляется с этим не задумываясь. Трансформер делает похожее: слово «она» как бы оглядывает всех соседей и берёт больше смысла у тех, кто ему подходит, — в первом случае у «кошки», во втором у «улицы». И так поступает каждое слово предложения, причём все одновременно.

Таких «взглядов» у модели несколько, и работают они параллельно: каждый может улавливать свой тип связи между словами. А сама процедура повторяется слой за слоем, и с каждым слоем понимание фразы уточняется.

А как же порядок слов?

Если смотреть на все слова сразу, теряется их порядок. А он важен: «собака укусила человека» и «человек укусил собаку» — разные новости.

Решение простое: к каждому слову добавляют метку с его местом в предложении. Что-то вроде номера на билете в кинотеатре: зрители могут заходить в зал одновременно, но каждый знает свой ряд и место.

Почему это изменило всё

Главное следствие оказалось почти бытовым: раз слова обрабатываются одновременно, а не по очереди, работу можно раздать на множество параллельных вычислений. Современные видеокарты именно это и умеют.

Модели стало возможно обучать быстрее и на гораздо больших объёмах текста. А потом выяснилось, что схема годится не только для перевода. На её основе стали делать модели, которые пишут тексты и программы, а позже — работают с картинками и звуком.

Чего трансформер не умеет

«Внимание» здесь — технический термин, а не сознание. Модель не понимает текст так, как человек: она вычисляет, какие слова связаны, и предсказывает продолжение. Отсюда и её способность уверенно ошибаться.

Кроме того, у неё ограничено «поле зрения»: за один раз она видит текст только определённой длины.

Что запомнить

Трансформер читает не по строчке, а всё сразу, и для каждого слова решает, на какие другие слова опереться. Эта идея из статьи о переводе стала фундаментом для нынешних языковых моделей.

Оригинал открыт для всех: arxiv.org/abs/1706.03762. Это тот редкий случай, когда название научной работы знают и за пределами лабораторий.

Автор — Геворг Оганнисян, ML-инженер из Еревана. Пишу об ИИ так, чтобы было понятно без словаря. Вопросы и темы — в Telegram: @hovhannisyan77
← Все статьи