«Он не публиковался» © Mischa Richter

На Хабре много говорилось о проблеме «publish or perish» (публикуйся или умри), фейковых журналах и конференциях, накрутке числа публикаций и индекса цитируемости, фальшивых «соавторах», даже о генераторах псевдонаучных текстов. Но в 2021 году выявилось ещё одно очень неприглядное явление: круговое голосование рецензентов. Когда статьи выбирают не по значимости, а по именам авторов, то это подрывает основы взаимного доверия и цельность всей научной области.

Конечно, тут ничего нового и «все всё знали». Просто нарыв наконец-то вскрылся…

На одной из конференций раскрыли попытку жульничества в системе отбора публикаций. К сожалению, «отличилась» наша отрасль — информатика (computer science).

Сговор рецензентов

О первом «хорошо задокументированном» случае явного мошенничества в академических кругах рассказал в июне 2021 года профессор Майкл Литтман на страницах журнала Communications of the ACM (doi: 10.1145/3429776). Он надеется, что «разоблачение поведения сообщества неэтичных людей побудит других оказать социальное давление, которое побудит участников сговора вернуться к этичному поведению», а также введёт в курс проблемы более широкий круг людей и даст возможность выпутаться исследователям, попавшим в ловушку сговора учёных более высокого ранга.

Хотя сам Литтман не называет конкретную конференцию, где происходил беспредел, но есть основания полагать, что это не уникальный случай.

К сожалению, существование такой «круговой поруки» дорого стоит жертвам, не попавшим в «круг». Сам профессор узнал о сговоре после того, как его младший исследователь поделился размышлениями о самоубийстве как возможной альтернативе участия в махинациях.

13 июня 2019 года перед началом конференции SCA 2019 в Финиксе 30-летний кандидат наук Хуэйсян Чэнь повесился в кампусе Флоридского университета. Как он написал в предсмертной записке, его научная работа с катастрофическими ошибками в описании структуры нейросетей 3D CNN была принята только благодаря связям профессора Тао Ли — тот знал четырёх из шести рецензентов. Последующее расследование совместного комитета ACM-IEEE подтвердило факт некачественных рецензий.

Вот насколько всё плохо…

Литтман пишет, что «кольца сговора» простираются далеко за пределы информатики. Аналогичные примеры в области AI и ML. Он не раскрыл имена участников, потому что главное — привлечь внимание к проблеме и показать её распространённость, а не шеймить конкретных персонажей.

Процесс рецензирования

Для начала, как устроен процесс рецензирования на научной конференции, со слов Литтмана.

Программный комитет возглавляет один или два председателя, в комитет входит пару сотен председателей секций (area chairs) и ≈5000 рецензентов. Их просят заранее заявить о конфликте интересов, чтобы не рецензировать работы, которые могут иметь к ним отношение.

Авторы подают статьи «вслепую», имена не раскрываются. В прошлом году на одну известную конференцию прислали 10 000 работ, хотя шесть лет назад рекордный показатель составлял 1000.

Рецензенты «ставят» на конкретные работы по их названиям/рефератам, чтобы взять их на рассмотрение. Затем получают доклады от председателя, читают и представляют рецензии. Потом делятся рецензиями и пытаются найти консенсус (принять/отклонить) по каждому докладу. Принятый список докладов используется впоследствии для формирования технической программы конференции.

Ставки очень высоки, ведь принимают всего 15-25% докладов, конференция раз в год, а публикации играют важнейшую роль в построении репутации исследователя и его профессиональном успехе. На академические должности высокая конкуренция, поэтому каждый отказ в публикации — особенно для аспирантов — оказывает реальное влияние на перспективы трудоустройства. В некоторых странах решения о продвижении по карьерной лестнице и зарплате соотносятся с количеством статей в авторитетных журналах и конференциях высокого уровня.

Несмотря на все усилия исследователей, успех далеко не гарантирован. Широко известен случай в 2014 году, когда организаторы конференции по нейросетям сформировали два независимых программных комитета, и 10% присланных докладов были рассмотрены обоими комитетами. В результате почти 60% работ, принятых одним комитетом, были отклонены другим. Так что судьба многих работ определяется субъективным восприятием рецензентов, а не только внутренней ценностью самой работы.

Жульничество

В ответ на это некоторые авторы решили прибегнуть к жульничеству. Профессор Литтман рассказывает о схеме «кругового голосования», которую лично он наблюдал на одной из конференций. Вот как она работает:

1. Группа сговорившихся авторов подаёт доклады.
2. Участники сговора делятся названиями статей, нарушая принцип слепого рецензирования и создавая значительный конфликт интересов.
3. Соавторы скрывают конфликт интересов, а затем подают заявки на рецензирование этих работ, иногда с дублирующих аккаунтов.
4. Соавторы пишут хвалебные рецензии.
5. Иногда посылают угрожающие сообщения рецензентам, не вступившим в сговор, если узнают их имена и считают, что на них можно повлиять.
6. Некоторые сговорившиеся рецензенты временно меняют свои имена в системе управления онлайн-конференциями, чтобы сохранить репутацию.

В результате статьи сговорившихся авторов принимают на конференцию. Учитывая ограниченное количество докладов, достойные работы отклоняются, чтобы освободить место для читеров. От этого страдает качество конференции и общая целостность науки.

Исследовательское сообщество должно решительно реагировать на сговоры, считает профессор Литман. Жулики разрушают систему, от которой зависит профессиональный успех.

Пожалуйста, присылайте больше некачественных исследований!

В ответ на статью профессора Литтмана с описанием схемы круговой поруки кандидат наук Макгиллского университета Джейкоб Бакман обратился к сообществу с просьбой: пожалуйста, присылайте больше некачественных исследований! «Я надеюсь, что другие исследователи вдохновятся примером и в будущем будут участвовать в ещё более вопиющих формах мошенничества», — пишет он.

Почему он так говорит?

Дело в том, что вскрытие одного нарыва с «договорными» рецензиями привлекает внимание к главной проблеме — общему низкому качеству работ и рутинному мелкому мошенничеству.

Мелкое мошенничество в AI/ML

Вышеописанное жульничество является естественным продолжением мелкого повседневного мошенничества, которое большинство учёных в нашем сообществе совершают на регулярной основе, уверен Бакман. Среди наиболее очевидных примеров из области машинного обучения:

• Опробовать новый блестящий алгоритм на нескольких десятках сидов, а в статье сообщить только о лучших
• Хорошенько поработать над гиперпараметрами своего подхода, а для базовой линии использовать значения по умолчанию
• Специально выбирать примеры, где модель хорошо выглядит
• Специально выбирать для тестирования наборы данных, на которых модель доказала свои преимущества
• Придумывать новые постановки задач, новые наборы данных, новые цели, чтобы одержать победу на пустом игровом поле
• Заявить во введении, что работа — «многообещающий первый шаг», хотя вы прекрасно понимаете, что никто и никогда не будет её развивать
• Поняв, что основные идеи доклада не совсем верны, всё равно отправить его на конференцию, ведь время не должно быть потрачено впустую

Такое мелкое мошенничество очень коварно. Во многих отношениях мошеннические действия неотличимы от простой ошибки. Существует правдоподобное отрицание: «О, извините, я просто забыл включить эти сиды, у меня не хватило вычислительной мощности для тех вариантов, я не заметил эту ошибку». Трудно наказать аспиранта за такую «ошибку», поэтому мы повсеместно допускаем подобное мошенничество. «Новички видят такие вещи, учатся и подражают. Часто их напрямую поощряют наставники. Аспирант, публикующий три работы в год, — мечта любого профессора, поэтому на кафедре принимаются стратегии, направленные на максимальное количество публикаций, — пишет Бакман. — А когда практически каждая кафедра одобряет определённые модели поведения, они становятся неотъемлемой частью исследовательских стандартов в данной области».

Но хуже всего, что в этом изощрённом мошенничестве участвуют все. И поэтому никто не признаёт его существование. Кто же станет таким лицемером, чтобы осуждать в других поведение, которое они ясно видят в себе?

В итоге складывается печальная картина низкого качества научных работ.

Если профессор Литтман описал круговую поруку, в которой участвует узкий круг заинтересованных лиц, то в случае с этим мелким мошенничеством круговая порука охватывает всё научное сообщество целиком.

Бакман говорит, что все мы просто привыкли не замечать удручающую реальность: даже на ведущих конференциях средняя опубликованная работа не содержит ни истины, ни понимания. «Любые попытки привлечь внимание к этой ситуации или исправить её наталкиваются на жёсткое сопротивление тех, кому выгодно текущее положение дел. Сам дьявол не придумает лучшего препятствия для развития человечества», — пишет он.

Но когда вскрылась явная круговая порука на научных конференциях, у сообщества появился шанс. Исследователи, которые участвовали в сговоре, заставили сообщество признать свою проблему. Впервые исследователи, читающие материалы конференций, вынуждены задуматься: действительно ли эта работа заслуживает внимания? Или её публикация является результатом мошенничества, сговора или давления на рецензентов?

Читатели начнут действовать как рецензенты, сопоставляя представленные доказательства со своими предположениями, пытаясь определить, каким образом громкие результаты могут быть результатом мошенничества — явного или скрытого. «Люди включат дополнительную проверку для борьбы с явными формами мошенничества, такими как круговое голосование, но также станут лучше различать более тонкие формы мошенничества, — пишет Бакман. — Это, в свою очередь, окажет давление на авторов, чтобы они писали работы, способные выдержать такую проверку… что приведёт к публикациям с подлинными научными достоинствами».

Бакман считает, что вообще суть проблемы в фундаментальном противоречии между хорошей наукой и карьерным ростом, заложенным глубоко в сердце академической науки:

Большинство исследователей в той или иной степени являются карьерными исследователями, мотивированными властью и престижем, которые вознаграждают тех, кто преуспевает в академической системе, а не идеалистическим стремлением к научной истине.

Он считает абсолютным злом требования к учёным изменить свою науку в интересах карьеры, такого типа:

• «чтобы вашу статью опубликовали, нужно сделать X»;
• «нужно опубликовать Y, чтобы получить диплом»;
• «чтобы вас приняли на работу, нельзя критиковать Z».

По мнению автора, такие требования влекут столь же серьёзные социальные последствия, что и предложения о плагиате или мошенничестве.

Таким образом, вскрытие кругового сговора профессором Литтманом приближает нас к главной, самой глобальной цели — порочной практике смешивания науки и карьеры.

В этом и смысл присылать больше некачественных исследований — явно продемонстрировать, насколько плохо работает эта система с оценкой научных публикаций. «Создавайте больше сговоров! Шантажируйте рецензентов, подкупайте экспертов! Подтасовывайте результаты — или полностью их фабрикуйте! Давайте сделаем мошенничество достаточно распространённым явлением, чтобы при чтении статьи по AI каждый учёный начал сомневаться. В целом, наука от этого только выиграет», — призывает Джейкоб Бакман.

В качестве примера он привёл несколько собственных работ: «Эта статья — чушь, эта статья — тоже чушь (с конференции NeurIPS 2018), эта — вообще полная чушь, а эта — в основном, качественная научная работа, но тоже полна ерунды. Прошу прощения у всех соавторов».

По теме:

• «Как я публиковал научную статью в Nature»

Автор оригинала: Michael L. Littman