ВАЖНОЕ ПРАВИЛО работы с нейросетями в юридической практике: доверяй, но ПЕРЕпроверяй
Итак, в предыдущем посте мы с вами разобрали по какому принципу работают нейросети и почему их ответы по юридическим вопросам надо всегда проверять.
Сегодня я направила в разные бесплатные нейросети такой промпт:
Покажу, как отвечали разные нейросети. В целом, конечно, если мы заранее знаем ответ, знаем, какие статьи кодекса это регулируют, то проверить достоверность ответа для нас не проблема.
Хорошая новость. Все нейросети действительно подтвердили, что этот срок не урегулирован отдельно в АППК и укладывается в общий срок рассмотрения иска.
Как нейросети обосновали свой ответ (нажимайте на цитату). И тут я пойду по возрастанию от худшего к лучшему:
Какой правильный ответ? Меня бы полностью устроил ответ, если бы нейросети сослались на 143 статью про предварительное слушание и 146 статью про общие сроки судопроизводства.
ВЫВОД: на простом примере мы увидели, что несмотря на верные выводы, обоснование у нейросетей было некорректное и ссылки на статьи были совершенно неправильные, даже у тех моделей, которые "ходили" в интернет (Gemini и Claude).
В следующем посте я попробую задать такой же вопрос платным моделям и сравню их с текущими ответами. Не переключайтесь 🙌
Итак, в предыдущем посте мы с вами разобрали по какому принципу работают нейросети и почему их ответы по юридическим вопросам надо всегда проверять.
Сегодня я направила в разные бесплатные нейросети такой промпт:
Ты - юрист по административным делам (АППК) в Казахстане. Суд провел предварительное слушание, но пока дату второго слушания не назначил и не сообщил. В течение какого периода суд должен назначить дату второго предварительного слушания?
Покажу, как отвечали разные нейросети. В целом, конечно, если мы заранее знаем ответ, знаем, какие статьи кодекса это регулируют, то проверить достоверность ответа для нас не проблема.
Хорошая новость. Все нейросети действительно подтвердили, что этот срок не урегулирован отдельно в АППК и укладывается в общий срок рассмотрения иска.
Как нейросети обосновали свой ответ (нажимайте на цитату). И тут я пойду по возрастанию от худшего к лучшему:
❌ChatGPT. Не дал ни одной ссылки на источник и ни одной ссылки на статьи АППК, которые это регулируют.
❌Claude (Sonnet 4.6 + поиск в интернете). Бесплатный Клод, конечно, разочаровал. Ответ тоже в целом верный, и он подкрепил его статьями, но сослался на совершенно нерелевантные статьи: 129 (обязанность доказывания) и 133 (иск о принуждении).
❌Gemini от Google (Быстрая модель). Указал, что общий срок предварительного слушания 1 месяц в исключительных случаях может быть продлен еще на месяц (выдумал так выдумал), сослался на статью 132 АППК (иск об оспаривании).
🤔AIStudio от Google (Gemini 3.1 pro без поиска в интернете). Эта модель сослалась уже на верную статью 146 об общих сроках производства, но почему-то активную роль суда интерпретировала через 116 статью, а не через 16, как на самом деле.
✔️Perplexity. Единственная модель, которая сослалась на правильную 143 статью кодекса, хотя статью 146 об общих сроках тоже не упомянула. При этом свой ответ подкрепила интернет-ссылками на Параграф/Кодексы-KZ
Какой правильный ответ? Меня бы полностью устроил ответ, если бы нейросети сослались на 143 статью про предварительное слушание и 146 статью про общие сроки судопроизводства.
ВЫВОД: на простом примере мы увидели, что несмотря на верные выводы, обоснование у нейросетей было некорректное и ссылки на статьи были совершенно неправильные, даже у тех моделей, которые "ходили" в интернет (Gemini и Claude).
В следующем посте я попробую задать такой же вопрос платным моделям и сравню их с текущими ответами. Не переключайтесь 🙌