Насколько точен машинный перевод в медицине: анализ исследований и последствий

Статья является частью анализа научного обзора «Understanding the societal impacts of machine translation: a critical review of the literature on medical and legal use cases» (оригинал: https://www.tandfonline.com/doi/full/10.1080/1369118X.2020.1776370#abstract). В подготовке материала принимали участие питерские специалисты из бюро переводов «ТранЭкспресс».

Несмотря на то, что врачи вынужденно прибегают к машинному переводу (МП), ключевым вопросом остается его реальная точность и безопасность для пациентов. Проводимые исследования пытаются дать ответ, однако их результаты часто неоднозначны, а методология вызывает вопросы, что порождает еще большие риски.

Оценка машинного перевода

В рамках недавнего исследования рассматривалось использование Google Переводчика для перевода указаний при выписке из отделения неотложной помощи с английского на китайский и испанский языки. Результаты показали, что только 2% переводов на испанский язык и 8% переводов на китайский оказались неточными и потенциально могли принести значительный вред. В аналогичном исследовании авторы исследования оценивали использование инструментов машинного перевода для перевода предварительных инструкций для родителей (например, советов по здоровью и развитию ребенка). Они протестировали перевод с английского языка на двадцать других языков и пришли к выводу, что Google Переводчик выдал «наиболее точные результаты» только для испанского и португальского языков.

Другие исследователи (Чень и соавторы) сравнили аудиозаписи «человеческого» и машинного перевода медицинской информации о диабете с английского языка на испанский и китайский. Их основным выводом было то, что машинный и «человеческий» перевод были сравнимы при переводе более простых вопросов, но машинный перевод проявил себя хуже при переводе более сложных вопросов. В еще одном исследовании Google Переводчик оценивался как инструмент для перевода в рамках устной коммуникации между врачом и пациентом. Несмотря на то, что в этом исследовании был сделан вывод о том, что Google Переводчик не обеспечивает достаточной точности, чтобы рекомендовать его широкое использование, в нем говорится, что технология потенциально может быть полезна в ситуациях, когда нет возможности обратиться к профессиональному переводчику.

Несмотря на то, что упоминаемые выше исследования указывают на пользу машинного перевода в медицинской сфере на определенном уровне, стоит отметить, что в таких исследованиях часто возникают значительные методические сложности. Например, Чен и соавторы оценивают перевод всего трех предложений, и более простые из них необязательно имеют отношение к диабету или даже в принципе к медицине. Хун и соавторы и Дас и соавторы используют оценку на основе обратного перевода текста, выданного Google Переводчиком, на английский язык. Это проблематичный метод. Исследования, посвященные использованию обратного перевода как диагностического инструмента, который может применяться для оценки качества машинного перевода, показали, что некоторая корреляция точности изначального и обратного перевода существует, но уровень точности обратного перевода ниже, что неудивительно. Обратный перевод может исказить характер ошибок и сделать сложным определение их первопричин, поэтому, если позволяют обстоятельства, этого метода следует избегать.

Типы тестировавшихся технологий

Обзор также показал, что в медицинской сфере более предпочтительным представляется использование интерактивных устройств, а не машинного перевода. Исследование, выполненное в больницах Университета Женевы, показало, что так называемый «phraselator» — система, использующая метод дерева решений для упрощения вопросов на языке оригинала и их перевода — может давать лучшие результаты при общении врача и пациента по сравнению с Google Переводчиком в плане качества перевода, удовлетворенности пользователя и пользы при постановке диагноза. Другие исследовательские группы тестировали специализированные инструменты для пациентов с контролируемой диетой или для использования в неотложных ситуациях. Во всех случаях участники предпочитали систему фиксированных вопросов использованию Google Переводчика. Однако исследователи делают акцент на том, что ни один из инструментов не подходит для заявленной цели и что для безопасного внедрения технологии все еще требуется ее усовершенствование в плане точности и удобства пользования.

Последствия

Несмотря на то, что потенциальные последствия ошибок машинного перевода и неправильного использования технологии в медицинской сфере значительны, не удалось найти случаи, когда машинный перевод стал бы документированной причиной неверных медицинских рекомендаций или других серьезных медицинских проблем. Однако рекомендации по использованию машинного перевода в этой сфере иногда не содержат объективной информации. Кроме того результаты оценок качества МП часто показывают лучшие результаты для языковых пар, включающих английский и другие западноевропейские языки. Если врачи будут использовать машинный перевод при отсутствии лучших альтернатив, неодинаковое качество перевода для разных языков может поставить определенные группы пациентов в ситуацию более высокого риска. Это серьезная проблема, создающая значительную нагрузку как на пациентов, так и на медицинских работников, от которых требуются навыки межкультурной коммуникации, чтобы распознать несоответствие. Чтобы избежать таких рисков, важна не только точность, но и профессиональная вычитка текстов.