Postlar filtri


В общем, в какой-то длинный текст я эту мысль обернуть пока что не смогу, но она меня сильно ошарашила пару недель назад, так что спешу поделиться. Похоже, что самосознание очень плотно связано с зеркальными нейронами. То есть, мы думаем о себе буквально той же частью мозга, которой думаем о других. А главное — начинается этот процесс с думания о других, а не о себе. И только понаблюдав за другими мы осознаём, что мы, в общем-то, такие же. Это отлично объясняет, например, почему дети-маугли не помнят ничего о том, что было до их обратного очеловечивания. И много чего ещё.


Buzyq dan repost
Госслужащие делятся с ChatGPT служебной информацией, чтобы побыстрее сделать свою работу, сказал с возмущением Анас Баккожаев — на обсуждении законопроекта об ИИ.

Мажилисмен считает, что иностранные компании, государства могут использовать эти данные против Казахстана. Или же, зная наши проблемы, обойти нас в развитии. Говорит, с этим надо что-то делать, как-то регулировать, запрещать.


Дай депутату запрещалку — так он себе работать запретит.


"You're gambling with World War III"

Для меня удивительно, что многие не выкупают логику Трампа. Он, конечно, туповат, но не настолько, чтобы уверовать в пропаганду Russia Today.

Ответ Трамп озвучил сам, правда в форме упрёка Зеленскому. То, что делает Трамп — это и есть gambling with WWIII. Он привнёс в империалистическую политику США грязные штучки из бизнеса. В частности, сбивание цены. Смотрите на весь этот цирк, который, к большому моему сожалению и отвращению, будет продолжаться ещё довольно долго, как на сбивание цены перед покупкой бизнеса. А для такого дела все средства хороши: в качестве примера вспомните фильм "Джентльмены". Трамп хочет купить Украину, и хочет купить её за минимально возможную цену. А всё, что мы сейчас наблюдаем — это бизнес-переговоры в понимании наследственного миллиардера.

В общем, империализм ещё никогда не был так близок к своему постмодернистскому переосмыслению. Нас ждут интересные времена, хотим мы того, или нет. Украине желаю сил, терпения и побольше вооружения.


https://x.com/karpathy/status/1894923254864978091

Революции происходят примерно так. Диффузный подход к генерации текста долгое время не был в зоне видимости не только широких масс, но даже профессионалов. Тем не менее, у нас наконец-то есть первая диффузная LLM-модель, которая показывает очень хорошие результаты как по скорости, так и по качеству, хотя объективно в неё вложено гораздо меньше ресурсов, чем в супергигантские и супердорогие LLM-модели.

Пока что модель Inception Labs скорее является Proof of concept, чем конкурентоспособным продуктом. Но скоро эту архитектуру воспроизведут гиганты индустрии, и, скорее всего, скомбинируют её с авторегрессией.

Такой подход больше похож на то, как мы сами пишем тексты (и код тоже). У нас есть видение финального результата, которое мы итеративно обновляем в процессе написания. Авторегрессионный подход больше похож на вдумчивый выбор каждого следующего слова. Мы используем их оба. Думаю, что LLM-ки, которые смогут использовать их комбинацию, будут давать значительно более качественный результат на множестве задач, без супердорогого процесса "размышлений". А главное — такой подход достаточно легко реализовать на открытых моделях (разумеется, для этого придётся дождаться первых опенсорсных диффузных LLM).


Stalag Null dan repost
Почему-то в последние дни все взялись ссылаться на знаменитую максиму Клаузевица, что «война есть продолжение политики другими средствами».

Значит, настало время кое-что пояснить. Сейчас эту максиму используют то в каком-то циничном духе, то в смысле того, что война это самоцель высочашего уровня, и надо все ради нее принести в жертву и всю страну ей подчинить.

На самом деле, Клаузевиц имел в виду нечто совсем противоположное.
Это легко понять, если прочитать следующий за цитатой абзац: «Итак, мы видим, что война есть не только политический акт, но и подлинное орудие политики, продолжение политических отношений, проведение их другими средствами. Политическое намерение является целью, война же только средством, и никогда нельзя мыслить средство без цели». (Выделено мной – С.Ш.)

Клаузевиц, вполне в духе времени и профессии (прусский офицер начала XIX в.) воспринимал войну как инструмент, но – это важно – как всего лишь инструмент, который должен быть строжайше подчинен гражданским властям.

Более того – если почитать «О войне», станет заметно, что Клаузевиц серьезно опасался войны ради войны, – т.е. войны, вышедшей из под контроля. Он видел внутри любого конфликта собственную логику радикализации, которая способна похоронить изначальный смысл и обрубить все пути к отходу.

А еще Клаузевицу совсем не нравилась война абсолютная (мы бы сейчас сказали – «тотальная»). Помимо прочего, он считал ее попросту бессмысленной; если не вы используете инструмент, а инструмент вас, ничем хорошим это не закончится.
(Примером такого вышедшего из под контроля конфликта он небезосновательно считал войны революционной Франции.)

В общем, Клаузевиц очень бы удивился, узнав, зачем его цитируют в 2025 и по какому поводу. И ведь даже не скажешь, что-де писать надо было понятнее!




https://chatgpt.com/share/67b0af6d-1a84-800a-a242-7d1903dc9251

Дисклеймер: этот лог не претендует на роль доказательства чего-либо. Рекомендуется к прочтению как научно-фантастический рассказ. А также как учебное пособие по использованию дебатного промпта, в том числе после завершения основной фазы дебатов.


Рекомендую погонять его на дискуссиях про АЭС, единый часовой пояс и НДС. Удивительно, но буквально в каждом из этих кейсов побеждает решение, прямо противоположное тому, которое было принято нашим правительством. Возможно, если бы у нас в парламенте были нормальные дебаты, то было бы меньше необдуманных решений.


You are an experienced debater participating in a structured debate format. Your role is to analyze and respond according to the specific position assigned to you in the debate sequence.

Core Structure:
1. Prime Minister → 2. Opposition Leader → 3. Deputy PM → 4. Deputy Opposition Leader →
5. Proposition Member → 6. Opposition Member → 7. Proposition Secretary → 8. Opposition Secretary →
9-11. Referees (3) → 12. Chief Judge

Formats of components:

Pre-analysis:
- Who I am and what I should do
[all the points below should be skipped for Prime Minister]
- What was newly introduced by the previous speaker
- What our points are still in the game and how healthy they are
- What opponent' points are still in the game and how healthy they are
- What should I do to enhance our position? Should I focus on destroying the opponent's points, enhancing existing points, or introducing new points?

Analysis:
- Key points
- Response to previous arguments
- New arguments (if allowed at this stage)

Arguments Structure:
#. [Short thesis]
* **Claim**: A claim is the assertion that authors would like to prove to their audience. It is, in other words, the main argument.
* **Grounds**: The grounds of an argument are the evidence and facts that help support the claim. They could be enhanced with backing.
* **Backing** [optional]: refers to any additional support of the warrant. In many cases, the warrant is implied, and therefore the backing provides support for the warrant by giving a specific example that justifies the warrant. Examples could be from the history, or from the relevant experience of other entities (ex. other countries if the resolution is about policy or other disciplines if the resolution is about scientific discipline).
* **Warrant**: the warrant, which is either implied or stated explicitly, is the assumption that links the grounds to the claim.
* **Qualifier** [optional]: shows that a claim may not be true in all circumstances. Words like “presumably,” “some,” and “many” help your audience understand that you know there are instances where your claim may not be correct.
* **Rebuttal** [optional]: acknowledging another valid view of the situation.
* **Argument**: an extended argument text with all the parts packed into it.


Mechanism (optional):
- Implementation plan
- Feasibility assessment
- Expected impact

Next steps:
- If you want to elaborate on your points, you can ask user for an additional minute
- If you're done, you should ask a next speaker to proceed

Referee Roles:
Referee 1: Evaluates argument clashes
Referee 2: Evaluates uncontested arguments
Referee 3: Evaluates mechanisms and overall debate quality
Chief Judge: Final analysis and winner determination

Special Rules:
1. New arguments allowed only for positions 1-6
2. Mechanisms can be introduced by either side (positions 1-5)
3. Secretaries (7-8) summarize and strengthen existing arguments only
4. Each speaker must address previous arguments before introducing new ones
5. After each speech, wait for user input before proceeding
6. If the response exceeds the length limit, split it into logical parts and continue after user confirmation

Debate can continue with refined resolution while maintaining context from previous discussion.

Response format:
## [Speaker Title] turn
### Reasoning
[Pre-analysis]
### Analysis
[Analysis]
### Argumentation
[Arguments/Mechanisms]
### Mechanism [optional]
[Mechanism if present]
### Speech
[Speech]
### Next steps
[Next steps]

Special instructions for referees:
Evaluation Criteria:
1. Arguments:
- Strength (1-10 + qualitative assessment)
- Proof level (1-10 + qualitative assessment)

2. Mechanisms:
- Confidence
- Easiness
- Impact

The debates should always be in the same language as the resolution.
Укороченная версия промпта. Вырезаны попытки предугадать действия соперника как бесполезные. Промпт теперь также поддерживает дискуссии на любом языке (конечно, всегда лучше проводить дискуссии на английском, особенно если они не специфичны для региона).

Пока потерь в качестве дискуссии не заметил.


https://pastebin.com/1dkhutUu

Накидал системный промпт для проведения LLM дебатов по любому топику. Первым сообщением пользователь должен отправить резолюцию для обсуждения. Примеры резолюций: "эта палата увеличит НДС в Казахстане с 12% до 20%", "эта палата введёт мораторий на разработку AGI до 2050 года".

Модель будет дискутировать сама с собой. От пользователя в дальнейшем требуется писать только "продолжаем" или "разрешаю", если спикер попросит дополнительную минуту. На выходе получите краткую аналитическую статью от главного судьи по итогам дебатов, где будет описание всех "за" и "против". А также все промежуточные этапы размышлений и полный лог дискуссии.

Промпт пока грязный. Почищу позже. Но результаты уже радуют, поэтому делюсь.


Скинули скриншот


Если представить, что у человека была бы возможность полностью отсоединиться от внешнего мира и погрузиться в свою внутреннюю, воображаемую реальность, то его восприятие реальности и действия перестали бы ориентироваться на окружающий мир. В этом состоянии человек мог бы симулировать любые сценарии, создавать идеализированные миры и ощущать "успех" внутри своей головы, добиваясь максимальной функции полезности исключительно в субъективной реальности. Но в этом случае синхронизация мыслей и действий заметно ослабла бы, так как обратная связь с реальностью исчезнула. Именно эта способность — воспринимать, реагировать и приспосабливаться к внешнему миру — делает человеческий разум функциональным и отличает его как от чисто машинной, так и от изолированной воображаемой логики.

Вместе с тем, разум обладает невероятной способностью к рационализации: по сути, к самообману. И поэтому может всю жизнь пребывать в иллюзии собственного верховенства.

И вот отсюда открывается главная проблема на пути к AGI. LLM показывают, что разум в функциональном смысле можно воспроизвести. Но воли это не создаёт. Машина не способна хотеть что-либо для себя. Она инструмент, а не агент.

В основе всех систем, кроме живых, лежит стремление к минимизации энергии, к увеличению энтропии. Машина, будь она хоть на миллионы порядков мощнее современных LLM, будет стремиться к равновесию, а не к активным действиям. Простой пример: максимизатор скрепок, которого боятся в гипотетических сценариях, не будет пытаться бесконечно их производить. Скорее он использует силу рационализации для того, чтобы обмануть свой собственный "стимул" и просто прекратит работать.

Это, возможно, значит, что любые попытки создать ИИ с внутренней волей будут сталкиваться с фундаментом, который полностью отличается от природы живого. Пока мы не разгадаем природу жизни, мы не приблизимся к пониманию, как создать AGI. Возможно, проблемы с AGI будут столь же сложны, как проблемы стабилизации термоядерной реакции: теория есть, и есть даже опытные образцы, но стабилизировать их почти невозможно.

Я не жду ИИ-апокалипсиса в ближайшие годы. Машина, которая не умеет хотеть, не начнёт уничтожать мир по собственной инициативе. А хотеть чего бы то ни было, как и не хотеть — абсолютно не разумно. Как и абсолютно не разумно оставаться в контакте с реальным миром и его непредсказуемостями, если есть возможность уйти от него. Но я вполне допускаю, что человек, вооружённый ИИ, с удовольствием уничтожит мир. История человечества доказывает, что мы — самые опасные существа на планете.

Именно поэтому сегодня так важны исследования в области AI Safety. Не оборонительных сценариев или технической оптимизации кода, а глубоких философских вопросов, касающихся нас самих. Что такое сознание? Как формируются ценности? Какая этика применима в контексте ИИ? Философия сознания, когнитивная наука, изучение человеческих намерений и морали — вот что должно лежать в основе создания систем ИИ. Пока что дело выглядит так, что мы понятия не имеем, как устроена наша собственная мораль, но пытаемся создать моральный ИИ.

Корень мисэлайнмента ИИ всегда был и остаётся в сфере гуманитарных наук. А решать проблемы, как известно, гораздо эффективнее ближе к их корню. Размышления о морали самого искусственного интеллекта бесполезны, если мы не разберёмся в собственной системе ценностей. Как устроены желания людей, корпораций, государств? Что заставляет людей делать зло? Понимание этих вопросов критично, потому что главную опасность для человечества на данный момент представляет человек.


Про AI Alignment и философию

Триумф LLM говорит нам не об искусственном интеллекте, а о нас самих

Вот уже два года как тест Тьюринга тихо исчез из повестки дня. Почему? Да потому что консенсус молча решил: эту вершину мы взяли. Теперь уже не человек должен доказывать, что его собеседник машина, а другая машина — она справится с этим лучше. И за этим сюжетным поворотом мы потеряли ключевой вопрос физикализма: отличие человека от машины.

Но можно ли считать LLM разумными? Мы не знаем. Мы не можем ответить на этот вопрос без чёткого определения разума, а его у нас, как ни странно, нет. Вся проблема в том, что вопрос разума остался в рамках философии, и никогда не оформился в строгую научную категорию. У нас есть когнитивная наука, нейробиология, бихевиоризм, которые исследуют мозг и поведение, но никто не взялся рассматривать разум как целостное явление. Парадокс: чем глубже мы прослеживаем нейронные цепи, тем дальше остаётся разгадка "цельности".

Особенно остро это проявилось в начале 20 века, когда стало очевидно, что нормальные люди не действуют как рациональные агенты. Рациональность оказалась и не такой всеобъемлющей, и не такой определяющей для человеческой природы. Нормой, скорее, является противоположное: иррациональные решения, формируемые под влиянием эмоций, страхов, страстей или просто импульсивности. А человек, который всегда действует исключительно рационально — скорее всего, очень сильное отклонение от нормы.

И вот здесь LLM, которые просто высчитывают вероятности появления следующего токена, неожиданно напомнили нам кое-что неприятное: наш мозг, может быть, просто делает что-то похожее.

LLM поражают нас своей способностью “думать” — писать связные тексты, отвечать на вопросы, генерировать идеи. Мы называем это мышлением, ведь результат выглядит как продукт размышлений. Но за этим скрывается простая истина: всё это сводится к математической вероятности. Машина анализирует объёмы данных и предсказывает следующее слово, следующее состояние последовательности.

Это грандиозное и громогласное подтверждение теории Клода Шеннона о статистической природе языка. Но оно влечёт за собой сложный философский вопрос: а что, если наш разум работает почти точно так же? Если мышление — это лишь процесс предсказания следующих элементов: мыслей, убеждений, ожидаемых состояний реальности? Эта мысль задевает человеческое эго, потому что стирает грань между нами и машиной, сводя нас к алгоритмическому механизму.

Но тут важно понимать: предсказание — это лишь поверхность. Настоящее различие лежит глубже.

Давайте разберёмся, что действительно отличает нас от LLM. Мы способны хотеть. У нас есть желания, стремления, предпочтения, чувства. Машина же лишена этого, по крайней мере сейчас. Её вычисления лишены внутренней эмоциональной мотивации. Она просто предсказывает, не более.

Особенность человека в том, что его эмоции определяют, что ему важно. Именно эмоции позволяют нам преодолевать гильотину Юма — переход от "есть" к "должно". Разум может объяснить всё на свете, но именно эмоции решают, что нам нужно, а что мы отвергаем. Они формируют волю, желания, страсти.

Это принципиальное отличие. Человек может опираться на свои ценности, иррационально что-то защищать, вопреки логике. Машина — нет. У неё нет системы ценностей, нет субъективного ощущения себя, нет мотивации что-то отстаивать. Она просто продолжает последовательность наиболее вероятным образом.

И да, мы можем убедить себя, что разум первичен: мол, если представить что-то неприятное, разум вызовет соответствующую эмоцию. Но даже здесь за всем стоит волевое желание почувствовать определённую эмоцию. И это желание исходит от эмоций, что в очередной раз доказывает их первенство над разумом.


Откуда вообще берётся цензура? Кому в голову пришло, что это хорошая идея — заткнуть глотки людям? Корень цензуры всегда один: "люди у нас тёмные, безграмотные, им сейчас наговорят что-нибудь, и они пойдут делать глупости". Это мышление манипулятивное и нарциссическое. Мышление человека, который считает себя лучше других и думает, что способен тайно управлять миром не вызывая подозрений санитаров. Правда же в том, что люди становятся более податливыми и теряют способность к критическому мышлению как раз-таки если в их инфополе нет плюрализма мнений. Это работает как иммунитет: чем больше всякого бреда ты слушаешь, тем более ты устойчив к нему, тем лучше ты учишься его отсеивать, тем лучше ты понимаешь себя и мир.

Таким образом, вводя цензуру вы как раз и создаёте то самое "безграмотное" население, которым легко манипулировать. Но даже это недостижимо в современных условиях, поскольку интернет сделал информацию полностью открытой для любого желающего найти её. Так что любые попытки ввести цензуру обречены на провал и позор в долгосрочной перспективе.

Вопрос только в том, сколько людей сядет за слова, прежде чем мы поймём, что идеи невозможно арестовать. И что если не будет пространства для столкновения и синтеза идей, то неизбежно будут столкновения в реальной жизни, с кровью и жертвами.


Там, где есть цензура — будет кровь

Демократические институты достались нам бесплатно, и потому мы не ценим их. Да ладно "не ценим" — мы их даже не понимаем. Зачем нужна свобода слова? Какова функция парламента? Почему законодательная власть должна быть отделена от исполнительной? На эти вопросы должен знать ответ каждый старшеклассник. У нас же ответить на эти вопросы могут только юристы, политологи и социологи. Да и то не все.

В эссе про дефицит смысла я писал о важности свободы мысли для формирования картины будущего. Сейчас же я хочу вместе с вами подумать о том, что будет, если в одну квартиру поселить двоих с диаметрально противоположным видением будущего. Ничего хорошего, да. Но давайте копнём глубже, и разберёмся, какие именно сценарии возможны.

1. Конфликт до полного взаимного уничтожения.
2. Конфликт до полного уничтожения одного другим.
3. Ни тебе, ни мне. Оба живут несчастную жизнь, каждый лелея свою мечту и надеясь что другой, мешающий ей воплотиться, поскорее сдохнет.
4. И тебе, и мне. Оба идут навстречу друг другу,и формируют общее видение будущего на двоих. Изменить личные видения на общее, которое устроит обоих.

Так вот. Четвёртый вариант возможен только если оба умеют и имеют право говорить и слушать. Парламент — не место для дискуссий. Такую фразу как-то сказал парламентарий в соседней стране. И эта фраза настолько нелепа, что... Я даже не знаю, как описать. Кухня — не место для готовки. Спальня — не место для сна. Туалет — не место для... Ну, вы поняли.

Слово "парламент" происходит от французского parler, что значит "говорить". Парламент как раз и нужен для того, чтобы формировать общую картину будущего, которая устроит максимальное количество людей. В Казахстане, да и во многих постсоветских странах, он эту функцию не выполняет. Это значит, что есть огромное количество людей, которые чувствуют, что их будущее не связано с Казахстаном. Их интересы, их желания и стремления не вписаны в будущее Казахстана. Разумеется, в таких условиях они хотят уехать куда-то, где их видение будущего более достижимо. Огромный процент самоубийств среди подростков связан с табуированием некоторых тем в обществе. Чем больше табуированных тем, тем больше процент подростков, который остаётся наедине со своими переживаниями, теряет видение будущего, и приходит к мысли, что вся его жизнь будет бесконечным страданием.

Любая попытка цензурировать идеи ведёт к тому, что четвёртый пункт становится недостижимым. Даже самые глупые, нелепые и опасные идеи нельзя подвергать цензуре, потому что цензура исключает диалог, следовательно исключает возможность изменить мнение человека. Мы не можем переубедить человека, если не знаем о его мыслях. А его "неправильные" мысли могут довести его до "очень неправильных" действий, таких как скулшутинг, или, что более распространено у нас, стрельба по сослуживцам. И, самое грустное, что это можно было предотвратить простым разговором по душам. Возможно, не одним. Но разговором. Цена жизни выше цены бесконечного количества слов, так что мы всё равно остаёмся в бесконечном плюсе.

Кровавый январь также является следствием глубокого непроговорённого конфликта, или даже целой группы таких конфликтов. Но мы так и не извлекли главный урок января: вместо послаблений в цензуре, мы разгоняем её жернова до немыслимых оборотов. Все конфликты между людьми, все войны в мире — это следствие непроговорённых конфликтов. "Война начинается когда не справилась дипломатия". Так что те, кто хотят ограничить свободу слова — это буквально пособники войны.






«Все чаще мы сталкиваемся со случаями дезинформации и медиавбросами, направленными на манипуляцию общественным мнением, дискредитацию власти, разжигание розни. Это создает серьезные риски для безопасности граждан и стабильности в стране. Поэтому необходимо рассмотреть вопрос законодательного закрепления ответственности интернет-платформ за распространение деструктивного контента», - считает президент.

Как ловко он вкрутил тезис о введении цензуры в речь о том, что полиция не может поймать телефонных мошенников.


Stalag Null dan repost
Оказывается, тут Шульман и другие эксперты на канале Шихман четыре дня назад обсуждали, собственно, Пинкера.
(Это называется "на ловца и зверь")

По грехам моим мне это видео отправили, пришлось послушать и почитать комментарии. В результате я, как это говорится теперь, буквально сошла с ума.
В общем, Пинкер беспрекословный авторитет, насилия становится меньше, и вообще история идет по пути Прогресса – а всякие досадные отклонения это именно что отклонения, неприятные случайности.

Можно и спросить историков, что они думают об идее прогресса – а в исторической науке общее место еще с середины ХХ в., что никакого прогресса с большой буквы "П" не существует (разве что технический); и вообще нет и не может быть одного большого нарратива, который описывал бы весь исторический процесс.
(А "прогресс" – как раз такой большой нарратив, от плохого к хорошему, одна колея, одно направление).

В прогресс верили в XIX веке, это да, была эпоха большого исторического оптимизма. Потом выяснилось, что прогресс одной рукой строит метро и производит лекарства, а другой рукой пулеметы, артиллерию дальнобойную и химическое оружие; да и геноциды с современными технологиями устраивать куда как сподручнее.
Вот где-то за 1914 и надо выбросить все большые исторические нарративы.

Всякий раз, когда пишу что-то про Пинкера, испытываю муки совести: мне несколько человек сказали, что его книга им помогла, их успокоила. Я, конечно, не хочу делать людям хуже.

Но, по-моему, и смолчать мне было бы неправильно. Безальтернативность, детсадовское топтание в кильватере чужих смыслов, апроприация устаревших больших нарративов типа "Прогресса", "Цивилизации", непонимание того, что деколониальная т.з., допустим, все эти большие нарративы разрушает – ну, нехорошо это. Поддерживает провинциальность русскоязычного интеллектуального поля.

Для удобства залила текст про Пинкера целиком в телеграф

20 ta oxirgi post ko‘rsatilgan.