Original size 960x1568

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM

PROTECT STATUS: not protected

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM от соотношения мультиязычных данных

Основная суть проекта

В этом проекте мы рассмотрим галлюцинации LLM на разных языках в зависимости от соотношения мультиязычных данных при обучении модели, а также от специфичности обсуждаемой информации для языка генерации

Суть в том, чтобы оценить уровень галлюцинаций для каждого языка на данных, специфичных для этого языка.

big
Original size 1132x542

Различные LLM укомплектованы данными на разных языках в разном соотношении. Обычно в большой языковой модели преобладает один язык, являющийся основным. Это нужно чтобы модель могла успешно производить генерализацию знаний на одном языке средствами другого языка.

Однако, у такого подхода есть свои минусы. И один из них — это то, что знания генерализируются не идеально.

В частности, было замечено, что большие языковые модели испытывают сложности с ответами на литературные вопросы…

big
Original size 910x701

Но помимо запросов, заведомо нелогичных, существуют совершенно нормальные вопросы, на которые модели с трудом отвечают.

Это может касаться не только литературных произведений, но и в целом культурно-обусловленных знаний, которые могут содержаться в данных на одном языке, но отсутствовать в другом.

Галлюцинации, которые возникают в результате такой асимметрии, как и в целом способность отвечать на вопросы, содержащие культурно-специфичные знания, это фокус исследования нашей команды в рамках практики.

Фокус проекта

Цель исследования — оценить при помощи методов NLP степень галлюцинированности LLM при работе с данными, специфичными для конкретного языка.

Предполагаемый метод оценки: сопоставление правильных онтологических данных с неправильными (оценка правильности знания в соотношении верно — не верно).

Original size 1904x730

Предполагается, что в рамках нашего исследования мы рассмотрим и сравним работу LLM, отобранных по принципу их мультиязычности (способности понимать вопросы на различных языках и отвечать на них).

Конкретно моя часть работы будет заключаться в оценке галлюцинаций моделей. Мы предполагаем, что чем больше языков присутствует в модели, тем более сильными будут галлюцинации. Мы также предполагаем, что дело может быть в «культурно-языковой дистанции» между данными, загруженными в языковую модель на разных языках

Основные сложности, с которыми можно столкнуться в рамках моего исследования: — Классификация верных и неверных ответов LLM по отношению к индивидуальным знаниям — Количественная оценка галлюцинаций модели — Разработка универсального пайплайна для разных оцениваемых моделей

Основные задачи: - Сбор данных о знаниях, специфичных для языка/культуры - Разработка пайплайна для работы с оцениваемыми LLM - Оценка степени «галлюцинированности» LLM - Анализ количественных оценок и выводы

Анализ зависимости уровня лингвистически-специфичных галлюцинаций LLM
Ярослав Литвинов провёл анализ влияния соотношения мультиязычных данных на уровень лингвистически-специфичных галлюцинаций в больших языковых моделях. Проект включает оценку галлюцинаций LLM при работе с культурно-специфичными знаниями, полученными из данных, специфичных для конкретного языка.
Project description created with AI
Project created at 05.12.2024
More projects in artificial intelligence
Олеся Жакова создала 2D игру на ПК в жанре adventure под названием «Проводница». Проект включает в себя игровые локации, выполненные в ярких осенних тонах с чёрными контурами и атмосферой славянской сказки.
Автор создала визуальный проект бренда фарфоровой посуды Flower Dreams, вдохновленной цветочными и древесными мотивами. Проект включает фотореалистичные генерации посуды, созданные с помощью ChatGPT и Leonardo Phoenix, с акцентом на контраст между гладкими и шероховатыми текстурами.
Роман Багаутдинов создал серию визуальных работ, посвящённых идее, что движение — это жизнь, в формате постов и графических проектов. Проект включает в себя абстрактные изображения, где чёрные и белые блоки символизируют активность и бездействие на протяжении жизни человека.
Алина Матвеева создала проект Yōkai — японскую доставку еды с яркой иллюстрированной упаковкой, вдохновлённой ёкаями и мифологией Японии. Упаковка и визуальные элементы проекта разработаны с использованием нейросетей Leonardo AI, Piclumen и Bing Image generator по детальным промтам, созданным в чате GPT.
We use cookies to improve the operation of the HSE website and to enhance its usability. More detailed information on the use of cookies can be fou...
Show more