Генеративные нейросети и оценка качества перевода. С таким докладом команда АКМ-Вест выступила в Высшей школе экономики в Санкт-Петербурге на конференции "Язык, текст, культура через призму цифровых технологий"

16 и 17 декабря 2024 года в Санкт-Петербургском кампусе Высшей школы экономики Лаборатория языковой конвергенции ВШЭ провела Всероссийскую конференцию с международным участием "Язык, текст, культура через призму цифровых технологий". 

На конференции обсуждались вопросы, касающиеся применения цифровых методов в гуманитарных исследованиях:

1.  Корпусная лингвистика и цифровые методы в лексикографии.
2.  Большие языковые модели для работы с текстовыми коллекциями.
3.  ИИ для решения прикладных задач в гуманитарных науках и социально значимых проектах.
4.  Молодежная наука. 

Команда АКМ-Вест в составе операционного директора Берендяева М.В. и заведущей базовой кафедры в САФУ Кокановой Е. С. выступили с докладом "Генеративные нейросети и оценка качества перевода".

Вместе с Михаилом Гилиным из МИСИС была подготовлена статья с предложениями новых подходов к метрикам оценки качества в професиональном переводе.

"...В настоящий момент становится все более острой необходимость новых подходов к оценке качества выдачи систем МП и АГТ, что заставляет разработчиков современных стандартов в области АГТ четче понимать, с какой целью измерять качество:

• для выбора и сравнения систем АГТ (в том числе МП) между собой;
• для сравнения конкретных переводчиков, редакторов, специалистов по постобработке автоматически сгенерированных текстов, переводческих предприятий между собой;
• для выявления пользы или вреда от обучения систем МП и АГТ;
• для принятия корректирующих мер и обратной связи, претензий переводчикам, редакторам, переводческим компаниям;
• для дидактических целей и т. п.

Чем сложнее и обширнее данные, на которых обучаются нейросетевые модели, тем менее предсказуемы результаты их дальнейшей работы. В свете стремительного развития технологий генеративного искусственного интеллекта (ИИ) попытки участников рынка лингвистических услуг сохранить баланс между качеством и итоговой стоимостью перевода должны быть более оптимизированными и генерализованными. В этих условиях создание индивидуальных метрик оценки трудоемкости и качества выдачи систем МП и АГТ в профессиональном переводе до осуществления собственно постобработки автоматически сгенерированных текстов, равно как и оценка успешности такой постобработки, могут быть в будущем переданы современным высокопроизводительным инструментам – нейросетевым языковым моделям и генеративному ИИ. В связи с этим необходима совместная с участниками рынка разработка правил, принципов и запросов (промптов), которые позволяли бы поручать ИИ работу по формированию метрик оценки качества in vivo для конкретного проекта и текста (контента), коммуникативной ситуации и уровня обученности других систем.

Неясной (но крайне желанной) перспективой остается делегирование искусственному интеллекту задачи по оценке уместности изменений, исправлений, редактирования результата АГТ в ходе постобработки автоматически сгенерированного текста (контента) в профессиональном переводческом процессе, а также генерацию ответа на ключевой вопрос: изменился ли смысл после обработки автоматически сгенерированного текста (контента) и были ли оправданны временные и трудовые затраты на выполнение такой работы по контролю и редактированию текста перевода.

Предлагаемая исследователями метрика «прогнозируемое время постобработки автоматически сгенерированного текста» – это проектоориентированная метрика оценки качества выдачи систем МП и АГТ, которая учитывает не «стоимость» ошибки, а время, которое может занять ее исправление. В качестве продолжения исследования видится добавление третьего измерения вероятности возникновения ошибки помимо длины исправления ошибки и риска, поскольку вероятность возникновения ошибки в автоматически сгенерированном тексте может разительно отличаться от вероятности ее возникновения в переводе, выполненном человеком..."