Deep Learning произвел революции в Computer Vision, NLP и RL. Но есть направление которое только наберает пассажиров на свой хайп трейн это program Induction. Для настоящего AGI нам не хватает таких компонент как long-term memory, reasoning, procedural execution. Program Induction как раз сфокусирован на этих компонентах.

Напишу подробный гайд как вкатиться:

Differentiable data structures
Первым был прорыв в differentiable data structures. Это метод когда сама архитектура сети представляет из себя memory abstraction.

Differentiable Neural Computers
Neural Turig Machine (2014)
Differential neural computer (2016)

Memory Networks
Memory Networks (2014)
End-To-End Memory Networks (2015)

Neural Stacks
Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets (2015)
Learning to Transduce with Unbounded Memory (2015)

HAM
Learning Efficient Algorithms with Hierarchical Attentive Memory

Neural Programmer
Вторым стал прорыв Neural Programmer. Это когда у сети есть базовый набор каких то простых операции, например арифмитические или логические, и сеть учиться строить уже сложные программы основанные на них с помощью gradient descent.

Neural Programmer: Inducing Latent Programs with Gradient Descent

DeepCoder: Learning to Write Programs
Neural Programmer-Interpreters

Differentiable Interpreters
Паралельно вышли интересные статьи сфокусированные на differentiable interpreters. Это когда у нас сам интерпретатор дифиринцируемый. Таким образом сеть учиться и program induction и program execution. Пока такие архитектуры были предложены для простых языков как Форт и DSL для probabilistic programming.

Programming with a Differentiable Forth Interpreter

TerpreT: A Probabilistic Programming Language for Program Induction

Всем этим статьям 2-3 года.
В следующем посте я расскажу про последние достижения в этой области!