мое собеседование с openAI
да да я не опечатался, седня утром я собеседовался с openAI на фуллтайм позицию... (и всрал)
началось все позавчера когда на имейл пришло письмо с темой - hi from openAI! - сказать что я ахирел это ничего не сказать
когда я увидел что отправитель сам Джон Шульман то я ахирел^2, один из самых топовых RL резерчеров на сегодняшний день в мире и в openAI
Потом настроение резко упало - я ведь не готовился вообще к подобному роду интервью, и никогда не планировал где либо работать по найму, а тем более в резерч сфере. (Я не учился даже в универе) Плюс самое обидное стало что второй раз они скорее всего не напишут. А свою DL/RL библиотеку я планирую закончить в лучшем случае через 6 месяцев, для нее я уже разрабатываю очень продуманную growth hacking стратегию и думаю получить звезд как минимум не меньше чем у кераса. Сейчас же мне нечем похвастаться в DL/RL.
Началось интервью очень хорошо. Шульман похвалил качество моего кода. Мы быстро пробежали по разным направлениям RL как exploration и model-based + model-free. Обсудили последние беркли пейперы как temporal difference models и universal planning networks. Про то что в model-free методах мы не юзаем полезную информацию находящиюся в transitions модели. Потом речь зашла про meta-learning, Шульман пожаловался что рептайл не работает на сонике и быстро переобучается, обсудили не много другие виды мета алгоритмов как метрические, snail/rl^2, maml, что простота этих алгоритмов и увеличение компьютерных мощностей делает их очень перспективными методами в DL/RL. Зашла речь про request for research, я рассказал что пытался сделать progressive transformer для задачи где надо в supervised режиме обучить модель на 10 играх атари и трансфер на 11ую игру. Что меня очень удивило что Шульман не знал подробности этого реквеста и сказал что его придумал Илья Сутскевер. Потом он спросил меня какого заниматься reinforcement learning в Казахстане, я ответил прикольно, и что люди здесь еще не понимают что deep learning eats the world, что с помощью DL мы сможем строить совершенно новые продукты с новым user experience. Он абсолютно согласился и сказал что так же так думает. (Это был первый человек с кем я общался на эту тему и понял что я имею виду, когда общался на эту тему с ребятами с России и Казахстана никто не понимал про что я вообще). Он похвалил начинания что делать конечные продукты это очень круто и спросил что я делал. Я начал рассказывать про мою работу с NLP и что я пытаюсь заюзать HRL для language modeling и QA. Аналогия с maze navigation - у агента есть абстрактный гол - пойти в такой то state, дальше политика на нижнем уровне генерит конкретные шаги. В NLP точь так же - абстрактный гол это агент хочет что то сказать - выразить какуюто мысль, дальше уже построение последовательности слов это тоже самое что шаги робота в лабиринте. Дальше мы начали говорить про HRL, Шульман сказал что до сих пор не хватает последнего ингредиента чтобы HRL заработал. И тут я начал рассказывать про свою идею с action sequences. И это место где я всрал, так как не смог правильно выразить свои мысли и мне кажется он не понял вообще что я имел виду. Моя идея что можно хранить последовательности actions в memory networks и MN будет естественным регулизатором, например последовательность go right, go right, go right, go right - очень простая в запоминании чем случайная последовательность go left/go right. Так в память мы сможем запоминать какие то простые последовательности и запрашивать их по инкодингу стейта когда находимся в похожих ситуациях. Далее мы сможем строить композиции из таких последовательностей что приближает нас близко к HRL. Мне на русском сложно про это рассказать, а теперь представьте как я рассказывал на английском😂
Вторая моя идея которую я тоже не смог нормально выразить это идея unsupervised RL, например для задачи сегментации я пытался учить GMM+RNN которая рисует поверх картинок границы масок, дальше я подумал что можно хранить эти паттерны в памяти похожей на DND - дифференцируемые нейро-словари которые могут быть очень большими, потому что мы може
да да я не опечатался, седня утром я собеседовался с openAI на фуллтайм позицию... (и всрал)
началось все позавчера когда на имейл пришло письмо с темой - hi from openAI! - сказать что я ахирел это ничего не сказать
когда я увидел что отправитель сам Джон Шульман то я ахирел^2, один из самых топовых RL резерчеров на сегодняшний день в мире и в openAI
Потом настроение резко упало - я ведь не готовился вообще к подобному роду интервью, и никогда не планировал где либо работать по найму, а тем более в резерч сфере. (Я не учился даже в универе) Плюс самое обидное стало что второй раз они скорее всего не напишут. А свою DL/RL библиотеку я планирую закончить в лучшем случае через 6 месяцев, для нее я уже разрабатываю очень продуманную growth hacking стратегию и думаю получить звезд как минимум не меньше чем у кераса. Сейчас же мне нечем похвастаться в DL/RL.
Началось интервью очень хорошо. Шульман похвалил качество моего кода. Мы быстро пробежали по разным направлениям RL как exploration и model-based + model-free. Обсудили последние беркли пейперы как temporal difference models и universal planning networks. Про то что в model-free методах мы не юзаем полезную информацию находящиюся в transitions модели. Потом речь зашла про meta-learning, Шульман пожаловался что рептайл не работает на сонике и быстро переобучается, обсудили не много другие виды мета алгоритмов как метрические, snail/rl^2, maml, что простота этих алгоритмов и увеличение компьютерных мощностей делает их очень перспективными методами в DL/RL. Зашла речь про request for research, я рассказал что пытался сделать progressive transformer для задачи где надо в supervised режиме обучить модель на 10 играх атари и трансфер на 11ую игру. Что меня очень удивило что Шульман не знал подробности этого реквеста и сказал что его придумал Илья Сутскевер. Потом он спросил меня какого заниматься reinforcement learning в Казахстане, я ответил прикольно, и что люди здесь еще не понимают что deep learning eats the world, что с помощью DL мы сможем строить совершенно новые продукты с новым user experience. Он абсолютно согласился и сказал что так же так думает. (Это был первый человек с кем я общался на эту тему и понял что я имею виду, когда общался на эту тему с ребятами с России и Казахстана никто не понимал про что я вообще). Он похвалил начинания что делать конечные продукты это очень круто и спросил что я делал. Я начал рассказывать про мою работу с NLP и что я пытаюсь заюзать HRL для language modeling и QA. Аналогия с maze navigation - у агента есть абстрактный гол - пойти в такой то state, дальше политика на нижнем уровне генерит конкретные шаги. В NLP точь так же - абстрактный гол это агент хочет что то сказать - выразить какуюто мысль, дальше уже построение последовательности слов это тоже самое что шаги робота в лабиринте. Дальше мы начали говорить про HRL, Шульман сказал что до сих пор не хватает последнего ингредиента чтобы HRL заработал. И тут я начал рассказывать про свою идею с action sequences. И это место где я всрал, так как не смог правильно выразить свои мысли и мне кажется он не понял вообще что я имел виду. Моя идея что можно хранить последовательности actions в memory networks и MN будет естественным регулизатором, например последовательность go right, go right, go right, go right - очень простая в запоминании чем случайная последовательность go left/go right. Так в память мы сможем запоминать какие то простые последовательности и запрашивать их по инкодингу стейта когда находимся в похожих ситуациях. Далее мы сможем строить композиции из таких последовательностей что приближает нас близко к HRL. Мне на русском сложно про это рассказать, а теперь представьте как я рассказывал на английском😂
Вторая моя идея которую я тоже не смог нормально выразить это идея unsupervised RL, например для задачи сегментации я пытался учить GMM+RNN которая рисует поверх картинок границы масок, дальше я подумал что можно хранить эти паттерны в памяти похожей на DND - дифференцируемые нейро-словари которые могут быть очень большими, потому что мы може