Қазақ тілі мен ЖИ саласындағы керемет жаңалық!
⚜️ Жасанды интеллектіге негізделген «Tilqazyna» қазақ тілін оқыту моделі» жарияланды
Өздеріңіз білесіздер, ҚР Ғылым және жоғары білім министрлігі Тіл саясаты комитетіне қарасты Ш. Шаяхметов атындағы "Тіл-Қазына" ұлттық ғылыми-практикалық орталығы қазақ тілінің ғылыми һәм негіздемелік тұрғыдан дамуына жұмыс істейді. Әрине, қазіргі заманның талабы - жасанды интеллект болғаннан кейін, орталықтың басым бағыттарының бірі де осы технологиялық тұрғыдан ана тіліміздің тынысын ашу боп саналады.
Сол бағыттағы іргелі жұмыстардың бірі туралы бүгін қуана жариялаймыз!
Яғни, жасанды интеллектіге негізделген Tilqazyna қазақ тілін оқыту моделін жариялауға рұқсат етіңіздер!
Бұл Tilqazyna моделінің қолынан не келеді?
Қазақ тілінің лексика, морфология және семантика салаларындағы:
- мәтінді генерациялау,
- перифраз жасау,
- контекстпен жұмыс істеу,
- ықшамдау, сонымен қатар
- грамматикалық және
- пунктуациялық қателерді түзету,
- фразеологизмдердің мәнін ашу,
- терминдерді аудару сияқты тапсырмаларды орындай алады.
Модельді жасау барысында «Тіл-Қазына» орталығының ЖИ мамандары табиғи тілді өңдеу алгоритмі арқылы
● қазақ тілінің 35 ГБ өңделген корпусы;
● сөздерді тексеру мақсатына 684 876 сөзқолданысы (лексикалық бірлік);
● сөз тіркестерін тексеру жүйесін жетілдіру үшін 20 212 қатар сөз тіркесінің дұрыс және қате нұсқалары;
● пунктуациялық қателерді түзету мақсатында 5 558 мәтін;
● мәтін құрылымын түзету үшін 3 000 мәтіннің дұрыс/бұрыс нұсқасы;
● сөйлемді ықшамдау функциясы үшін 6 000 сөйлемнің толық және ықшамдалған нұсқасы;
● перифраз функциясы үшін 14 790 синонимдік қатар қолданылды.
🚀Қазақ тілінің дамуаны серпін беретін бұл салалық LLM моделі бүгінде HuggingFace платформасына жүктелді.
Яғни, ол барлық қолданушыға ашық. Осы модельдің негізінде көптеген қазақша IT өнімдер дайындауға болады. Сілтеме:
https://huggingface.co/TilQazyna/llama-kaz-instruct-8B-1Осы жерде бұл жұмыстың ҚР Президенті Қ-Ж Тоқаевтың Жолдауында баса айтқанындай, “жасанды интеллектіні кеңінен қолданатын және цифрлық технологияларды дамытып жатқан елге айналу” бағытындағы алғашқы нәтиже деуге болады.
Орталығымыздың трансформацияланып, ЖИ технологияларын дамытатын жетекші ұйымға айналуына сенім және қолдау білдірген министр Саясат Нұрбекұлына және Тіл комитетіне, сондай-ақ Мақпал ханымға өз атымнан алғысымды білдіремін!