Как решать проблемы научных публикаций?

В первой части статьи мы рассмотрели проблемы системы научных публикаций, которые затрудняют исследования и распространение данных. Я очень рад, что эта тема оказалась интересной и привлекла множество интересных идей и комментариев.

В этот раз обсудим, какие решения уже придуманы, внедряются и разрабатываются. А в конце я опишу свое видение оптимальной системы обмена научной информацией.

Системы поиска научной информации

Тем, что сейчас можно найти любую научную статью онлайн, уже никого не удивишь. Однако всего пару десятков лет назад все было далеко не так просто.

Сейчас вы можете найти любую статью по авторам, названию, году публикации или ключевым словам из аннотации. Достаточно открыть Scopus, PubMed, Google Scholar или другую систему.

Однако, несомненно, есть куда расти. Большая часть систем ищет только по аннотации, хотя поиск по всему тексту даст доступ к гораздо большему объему информации. Здесь возникает проблема, что нередко полного текста нет в открытом доступе (из-за paywall). Кроме того, были бы полезны возможности поиска по методам, использованным в работе, и отдельным экспериментам.

Использование систем поиска — важный фактор в создании новых журналов или архивов препринтов. Часто популярным поисковым сервисом пользуются многие ученые в определенной области (например, в биологии и медицине это PubMed). В этом случае, статьи, опубликованные на ресурсах, неиндексируемых такими поисковиками, оказываются практически незаметными для научного сообщества.

Открытый доступ

Одна из самых важных проблем современных научных журналов — ограничения доступа к статьям по подписке (paywall). Любой, кто хоть раз работал со статьями, обязательно сталкивался с этим.

Проблема доступа к статьям общепризнанная, и научное сообщество прилагает большие усилия, чтобы перевести все статьи в открытый доступ.

Решение проблемы известно уже давно: при подаче статьи для публикации авторы оплачивают однократный взнос, а статья свободно распространяется. Любой желающий может свободно скачать статью. Стоимость публикации — тема отдельного обсуждения, но даже по нынешним ценам публикация всех статей в открытом доступе обойдется дешевле подписки для всех университетов.

Самое интересное, что журналам это тоже выгодно, — им не нужно обслуживать систему подписки, они просто берут деньги с авторов.

Кроме того, у статей в открытом доступе может быть гораздо больше читателей (так как доступ к таким статьям ничем не ограничен), а значит, им проще набрать цитирования. Это опять же выгодно всем — и авторам, и даже журналам, ведь это поднимает импакт-фактор.

Presubmission

У многих журналов свои стандарты оформления текста, иллюстраций и других частей статьи. Из-за этого может возникнуть весьма неприятная проблема. С этой проблемой сталкиваются не все, но если вам очень не повезёт, можно потерять полгода на совершенно непродуктивную работу и ожидание без какого-либо улучшения самого исследования. Речь идет о необходимости полностью переделать оформление для журнала, если в предыдущем журнале редактор отверг статью. Часто изменения могут быть весьма значительными и занимать немало времени. А также статья может быть отклонена не один раз.

Для того чтобы избежать полного переделывания всей статьи, журналы предлагают авторам предварительная подача presubmission. Авторы лишь отправляют краткое описание своей статьи редактору, а тот выносит предварительное решение. Если статья журналу не подходит, то можно отправить ее в другой журнал, не тратя время на подготовку всего оформления. Если редактор заинтересовался вашей работой, то дальше начинается обычная подача полного текста на рецензию. В данный момент многие издательства предоставляют авторам такую возможность.

Presubmission может показаться незначительным улучшением, но в современной ситуации с огромным числом журналов она может заметно упростить жизнь авторам и сэкономить немало времени.

Предварительная регистрация исследования (preregistration)

Довольно интересный пилотный проект запустило издательство PLoS. Можно в самом начале работы зарегистрировать свой проект в журнале. В этом случае речь идет только о концепции, при регистрации нет ни финальных результатов, ни готового текста. Такая предварительная регистрация — это интересная возможность получить обратную связь от других ученых и возможных рецензентов в самом начале работы. Такой подход помогает оптимизировать работу и ускорить рецензию уже при подаче в журнал.

Другой плюс предварительной регистрации — публикация результатов независимо от того, получилось подтвердить заявленную гипотезу или нет. Дело в том, что сейчас опубликовать отрицательные результаты практически невозможно. Это приводит к перекосу восприятия научных фактов: публикуются только гипотезы, которые удалось подтвердить, те гипотезы, которые не удалось, публикуется крайне редко. Предварительная регистрация может решить эту проблему. Если вы с самого начала зарегистрировали свой проект, итоговый результат будет опубликован независимо от того, положительный он или отрицательный.

У предварительной регистрации проектов есть и очевидные отрицательные стороны. Некоторые ученые считают, что так можно будет «занимать» интересные темы и затем неторопливо их исследовать. Да и в целом вопрос приоритета в такой системе становится очень неоднозначным. Во многих областях науки важна не столько первоначальная идея, сколько ее экспериментальная проверка. То есть предложить проект просто, а реализовать гораздо сложнее. Предварительная регистрация может поощрять предлагать больше проектов, чем группа сможет исследовать.

Но есть и более наглядный минус этой системы. Журналы, которые используют предварительную регистрацию, оказываются в менее выгодном положении по сравнению с традиционными журналами. Ведь предварительная регистрация требует открыть подробности вашего проекта, а также с самого начала выбрать журнал, в котором вы будете публиковать свое исследование. Другие ученые могут использовать идеи вашего проекта и опубликовать свое исследование в традиционном журнале. То есть система предварительной регистрации может эффективно работать, только если в ней участвуют все журналы.

Рецензирование статей

Рецензия — самая главная часть процесса публикации, без нее нельзя быть уверенным в том, что информация была проверена. Однако, это долгий и трудоемкий процесс. Вот некоторые пути оптимизации рецензии.

Препринты

Препринт — это авторский научный текст, который еще не был проверен рецензентами. Авторы могут выложить свое исследование на специальных сайтах, например, arxiv.org и biorxiv.org.

Сервисы препринтов стали очень популярны в последнее время. С точки зрения распространения научной информации они ничем не уступают обычным статьям — любой может скачать манускрипт и прочитать его. Основные отличие — препринт не был проверен. Но если его читает специалист, эта проблема не слишком существенна — читатель сам для себя выступает в роли рецензента. Зато препринт можно выложить гораздо раньше, ускоряя обмен информацией.

Чаще всего препринты в то же время отправляют в обычный научный журнал. То есть через некоторое время препринт становится обычной рецензированной статьей. В некоторых случаях препринты помогают решить проблему закрытого доступа, а также получить комментарии от коллег к статье пока она еще находится на ревизии.

F1000Research

В журнале F1000Research совместили обе возможности — манускрипт сначала публикуется в виде препринта, а после рецензии получает статус проверенной статьи. На мой взгляд, это перспективное направление, но пока совсем немного журналов его используют.

Этот журнал также позволяет публиковать постеры и слайды с присвоением doi. То есть эти материалы становится легче искать и при необходимости цитировать.

Мне очень близка позиция этого журнала, указанная на их главной странице:

Publish all your findings including null results, data notes and more.
Engage with your reviewers openly and transparently.
Accelerate the impact of your research.

Интересно, что похожую модель выбрали для JMIRx — журналов, ассоциированных с biorxiv, medrxiv и psiarxiv. Авторы загружают статью в архив, а редакторы JMIRx выбирают некоторые статьи и предлагают их для рецензии. Авторы и сами могут подать заявку своей статьи на ревизию. Правки предложенные рецензентами также выкладываются в архив.

Вот как описывают идею в JMIRx:

Researchers could submit type-1 electronic papers [non peer-reviewed preprints] to preprint servers for discussion and peer-review, and journal editors and publishers would pick and bid for the best papers they want to see as ‘type-2 papers’ [version of record] in their journal.

На мой взгляд, это отличный пример нового подхода к публикации результатов. Я не со всем согласен в их решениях, например, рецензентов приглашают в основном по предложениям авторов статьи, но принцип внедрения инноваций считаю очень правильным.

Независимая рецензия до подачи в журнал

Недавно несколько журналов объединились, чтобы ученые подавали свою статью не в конкретный журнал, а на общую для всех рецензию. Уже после прохождения рецензии, будет подобран оптимальный журнал для публикации. В этом процессе также участвует редактор, который в данном случае представляет все объединение.

Такой формат рецензии дает уверенность, что статья не будет отвергнута конкретным журналом в процессе. А значит авторы не будут терять время на повторную подачу, ведь выбор конкретного журнала для публикации происходит уже после рецензии.

Очевидным развитием такой схемы будет объединение все большего числа журналов. Однако конкуренция издательств может стать преградой для этого процесса. В рамках же одного издательства подобрать нужный журнал по теме не очень сложно. Кроме того, у разных издательств есть журналы похожей тематики, да и по импакт-фактору они часто близки.

Публикация рецензий

Некоторые журналы (например, eLife и Nature) публикуют рецензии. Я считаю это правильным, ведь рецензия — это важная часть научного процесса. Если рецензент предложил хорошие эксперименты и заметил важные неточности — он внес вклад в развитие исследования. С другой стороны иногда требования рецензентов могут быть совсем нелогичны, тогда тоже полезно видеть рецензии, чтобы понимать что было добавлено, а что исходно предлагали авторы. При этом публикация рецензии не мешает рецензентам оставаться анонимными.

Вопрос необходимости анонимных рецензий не имеет однозначного ответа. В большинстве случаев используется полуслепой метод, когда фамилии авторов известны, а ревьюеры анонимны. В Nature был предложен вариант двойных слепых рецензий, когда ни авторы, ни рецензенты не раскрывают своих имен (после рецензии имена авторов открывают, разумеется). При этом задача обеспечения анонимности статьи ложится на авторов, и это далеко не так просто. Часто по теме, объекту и методам работы можно точно установить лабораторию, выполнившую исследование.

А уже упоминавшийся F1000Research наоборот поддерживает противоположный подход — рецензия там полностью открытая. И авторы, и рецензенты знают имена друг друга. У меня нет однозначного мнения, какой подход лучше. Свои преимущества есть у каждого из них. В одном многие участники дискуссии сходятся — анонимная рецензия, вероятно, более критическая.

Оплата труда рецензентов

Одна из очевидных проблем, на мой взгляд — труд рецензентов не оплачивается.

Понятно, что журналы совсем не заинтересованы в изменении такой системы. Но несмотря на это небольшие подвижки происходят. Некоторые журналы, как минимум, обсуждают возможность бесплатных публикаций для активных рецензентов. Шаги в этом направлении очень небольшие, но кажется, сообщество начинает всерьез задумываться о порочности существующей модели.

Импакт-фактор, как мера крутости

Очень важная проблема современного научного процесса в целом — как оценить успех и эффективность научной работы. Это вечная тема, которую можно обсуждать со всевозможных сторон, но сегодня для нас важно, как на это влияют научные публикации.

Дело в том, что статьи — это основная мера успешности ученого. Подавляющее большинство метрик успеха используют те или иные показатели, связанные с публикациями. Все, кто хоть немного был связан с наукой, слышали про индекс Хирша, число цитирования и импакт-фактор. Последний чаще всего используются при отчетах по грантам и при получении новых (то есть определяет сколько у ученого будет денег). А значит импакт-фактор наиболее явно влияет на успех научных сотрудников.

Impact factor is a serious business

Импакт-фактор — это сумма цитирования за год, всех статей, которые вышли за два предыдущих года. То есть это средняя мера цитирования статей в журнале. Отсюда следует самый главный недостаток этого параметра — импакт-фактор — это характеристика журнала, а не отдельной статьи. В какой-то степени эти величины скоррелированы — плохую статью не опубликуют в заметном журнале. Проблема в том, что это очень косвенная оценка. Мы не знаем, в какие журналы авторы отправляли свою статью, нам также неизвестно чем руководствовался редактор, когда принимал или отвергал статью. Это может быть как качество или новизна статьи, так и хайповая тема или известный ученый в авторах. Мы не знаем, почему статья оказалась в хорошем журнале — это кумулятивная мера, объединяющая все достоинства и недостатки статьи. Кроме того, окончательное решение принимает всего один человек — редактор, и именно от его решения зависит оценка качества научной статьи. Все это делает импакт-фактор очень непрозрачной и непростой для анализа мерой качества отдельной статьи.

Сам вопрос о качестве научных работ весьма сложен. Что важнее, высокое качество экспериментов или новизна? А может быть сиюминутная популярность темы? Но импакт-фактор скрывает все эти параметры (и многие другие) в одну цифру, рассчитанную по всем статьям за два года.

А что если импакт-фактор бесполезен?

Многие ученые выступают против использования импакт-фактора — вот для примера объединения DORA и ASAPbio, которые выступают за отмену импакт-факторов. Нобелевский лауреат Рэнди Шекман, один из основателей журнала eLife, также призывает отказаться от такой метрики. Интересно, что в eLife изначально не хотели индексировать свой журнал в этом рейтинге. Но составители списка импакт-факторов, агентство Thomson Reuters, не учли их мнение.

Однако самое главное — принципы оценки, которые используют крупные грантодатели. Если они решат отказаться от импакт-фактора в пользу другого способа оценки — это может очень быстро изменить существующее положение вещей.

Воспроизводимость

Это важнейшая проблема, которая стоит сейчас перед всем научным сообществом. Единственного пути решения этой проблемы не существует, и грантодатели, и журналы, и сами ученые должны совместными усилиями бороться за повышение достоверности данных. Однако научные публикации играют важную роль в этом процессе. Более строгая рецензия статей по проверке методов исследования и доступности данных должна стать безусловной отправной точкой для повышения воспроизводимости.

Одним из способов упорядочить описание методов, материалов и данных являются различные стандартные формы. Сейчас не существует единого стандарта описания методов, но некоторые журналы предлагают свои руководства по оформлению. Так например, Cell press использует так называемые STAR methods и key resources table. Это перечень критериев для описания методов и точного указания всех использованных материалов. Эти критерии не идеальны, но это большой шаг вперед. Также Cell не разрешает более переносить методы в Supplementary, что также помогает стандартизировать описание.

Стоит также отметить появление большого числа ресурсов исключительно для обмена протоколами исследований (например, protocols.io). Для этого делают специальные журналы с очень подробным описанием процедур. А например журнал JoVE (Journal of Visualized Experiments) публикует не только текстовое описание процедур, но и видео, показывающее подробности процесса, что может быть очень полезно для воспроизведения сложных экспериментов.

Если речь идет о воспроизводимости, то конечно необходимо упомянуть Retraction Watch. Это попытка решать проблему с другой стороны. Они занимаются поиском модификаций изображений, нарушений экспериментов и других фальсификаций в уже опубликованных статьях. Важно понимать, что даже самые внимательные и ответственные рецензенты могут пропустить ошибку или неточность. И здесь помогает сообщество, которое отмечает подозрительные статьи.

Нередко в результате действий Retraction Watch журнал отзывает статьи с фальсификациями. Здесь надо отметить, что следующий шаг в современной системе почти никогда не делают. Никто не проверяет другие статьи, которые проверяли эти же рецензенты, например. Даже если редактор в одном журнале обнаружит систематически недобросовестного рецензента, в других журналах об этом не узнают.

Взаимодействие ученых

В прошлый раз оживленную реакцию вызвала возможность комментирования научных статей. Раньше был распространен особый жанр публикаций — «Комментарий к статье». То есть один ученый писал небольшую заметку в журнал, где обсуждал статью других авторов. Это неплохая возможность научной дискуссии, но довольно медленная.

Сейчас я таких заметок почти не встречаю. На сайтах журналов бывает раздел с комментариями, но им почти никто не пользуется. Меня очень вдохновляет в этом отношении Хабр, так как здесь комментарии служат ценным источником дополнительной информации, развивающим идеи статьи. Понятно, что комментарии в научном журнале должны работать по-другому, но сама возможность публикации небольших экспериментальных статей или дискуссий востребована.

Здесь надо учитывать, что большинство читателей статьи являются специалистами в той же области. Многие из них хотят использовать данные или экспериментальные подходы из статьи. То есть их мнение может быть ценным и для авторов, и для других читателей статьи. И сейчас ученые пользуются разными инструментами, чтобы обеспечить такую коммуникацию.

Как ни удивительно, одной из самых популярных платформ остается Twitter. Ученые не только делятся ссылками на свои статьи, но и устраивают довольно большие обсуждения. Мне кажется, это не очень удобно (хотя бы из-за лимита числа символов), но платформа уже стала своеобразной соцсетью для ученых.

Но развиваются и более специализированные платформы. Наверно, самая известная социальная сеть для ученых — ResearchGate. Это довольно удобный сайт с широким функционалом. Здесь можно выкладывать статьи и препринты, подписываться на обновления интересных вам ученых, создавать WIP проекты с еще не опубликованными экспериментами, писать комментарии к статьям. Есть также и система рейтинга, который складывается из публикаций, вопросов, ответов и числа подписчиков.

У Elsevier есть своя соцсеть для ученых на основе программы для работы со списками литературы Mendeley. На удивление, даже после покупки Elsevier программа остается бесплатной. Это достаточно удобный reference manager, но как социальной сетью я им не пользовался.

Каким я вижу журнал будущего

На самом деле, в названии этого раздела я вас обманул. Ничего особенно футуристичного в такой концепции нет. Я не предлагаю заменить ученых роботами для автоматического сбора данных или использовать блокчейн для защиты от фальсификации. Все, что я предлагаю использовать, уже существует и используется. Я лишь предлагаю объединить вместе работающие концепции.

Основная идея

Идея состоит в том, чтобы создать единый архив информации, куда авторы смогут выложить исследование на любую тему. При этом сочетающий достоинства научных журналов, но работающий (почти) автоматически!

Основой для системы будет служить программа такая, как JANE. Если вы не знакомы с подобными программами, а под рукой у вас есть короткий научный текст биомедицинской тематики, то рекомендую пройти по ссылке и попробовать ее. JANE ищет похожие статьи, а на основании этого подбирает подходящие журналы и указывает авторов, работающих по этой теме. Подробности описаны вот в этой статье.

Мне кажется, что такая программа идеально подходит на роль автоматического редактора. Она сможет проверить тематические категории и ключевые слова, а также найти ревьюеров.

Автор статьи загружает манускрипт на сервер, программа находит подходящих рецензентов, отправляет им электронные письма. Рецензенты проверяют статью, выносят решение, отмечают статус статьи на сайте, а необходимые комментарии отправляют авторам. По результатам исправлений рецензенты разрешают публикацию статьи и выставляют ей оценку.

Таким образом, мы по цене архива препринтов получаем рецензируемый журнал!

Это не все функции, которые я бы хотел предложить, но это самая основная идея. К ней легко добавить дополнительный необходимый функционал. Давайте посмотрим, как может такой сервис выглядеть в подробностях.

Подробности

Замечания по формату

Сервис должен быть доступен всем, любые документы должны быть в открытом доступе.

Мне очень нравится концепция журнала F1000Research, которую я уже упоминал ранее. Поэтому сразу после загрузки текст становится доступен в виде препринта. При этом специально указывается, что рецензия еще не прошла. После рецензии статус статьи меняется на рецензированную статью.

Обычно, статья состоит из нескольких разделов, часто представляющих собой разные гипотезы, эксперименты или части работы. Мне кажется полезным добавить ключевые слова к таким разделам и даже отдельным экспериментам, чтобы упростить поиск по ним. Также стоит указывать авторов, которые этот эксперимент проводили и анализировали.

К каждому эксперименту указывается ссылка на использованные методы, которые описываются со ссылками на полные протоколы. Такие протоколы можно публиковать отдельно на специальных сайтах (например, protocols.io).

Все данные обязательно выкладываются на независимые сервисы. Ссылки связывают каждый эксперимент с конкретными файлами результатов.

Для большего контроля и воспроизводимости можно добавить требование открывать доступ к электронному лабораторному журналу по проекту (примером такого журнала может служить benchling). Сейчас это не требует никаких усилий, но может значительно уменьшить фальсификации, улучшить описание экспериментов. Однако электронные лабораторные журналы еще не стали стандартом, поэтому в данный момент требование может быть слишком строгим.

Указывать ссылки на другие статьи разных типов. То есть теперь не просто будут считаться цитирования статьи, а некоторые цитирования будут указаны как упоминания, некоторые как основа для исследования, а некоторые цитируются, чтобы указать на противоречия. Разные типы цитирования будут давать разный вклад в оценку цитируемой статьи. Упоминания и основные ссылки можно определять автоматически (по числу цитат в статье). Интересный подход к различным типам ссылок описан вот в этой статье, а я более подробно обсужу это ниже.

Добавить цитирование конкретных разделов статей (хотя бы для внутренних ссылок). То есть когда вы цитируете другую статью вы указываете, в каком разделе этой статьи находится нужная информация. Это значительно упростит поиск фактов в статье и верификацию источников литературы.

Регистрация

Читать статьи и комментарии могут все желающие. Но загружать статьи, писать комментарии и рецензии могут только зарегистрированные пользователи.

Для регистрации надо быть автором статьи в рецензируемом журнале или получить рекомендацию от ученого с публикациями. Такая система служит некоторой гарантией специалистов для возможности публикации.

Каждому участнику присваивается рейтинг. При регистрации рейтинг определяется на основе библиометрических показателей (число статей, цитирование, индекс Хирша).

Автоматический редактор и рецензия

Когда авторы загружают свою статью на сервер, система анализирует абстракт и подбирает ключевые слова и рецензентов. При подборе рецензентов учитываются их соавторы и аффилиации, чтобы избежать конфликта интересов.

Подбираются рецензенты с разным рейтингом, но не слишком низким. То есть система будет пытаться найти рецензента с высоким рейтингом и со средним. Поиск рецензентов проводится не только среди зарегистрированных пользователей, а среди всех ученых, имеющих публикации в базе данных.

Выбранные рецензенты получают электронные письма от журнала с предложением провести рецензию манускрипта. В письме приводится абстракт, ссылка на полный текст и ссылка на анонимный канал общения с авторами. Если рецензент принимает предложение, он читает статью и пишет свой отзыв авторам. Если отказывается, система ищет дальше.

Работа рецензента в данном случае отличается лишь выставлением оценки манускрипту по нескольким показателям. В остальном рецензент также описывает достоинства и недостатки статьи, предлагает дополнительные эксперименты. Отзыв рецензента сразу становится доступен авторам, они могут исправить статью и провести дополнительные эксперименты. В этом случае не нужно ждать ответов всех рецензентов, сразу авторы получают ответ сразу.

Все зарегистрированные пользователи могут писать «пользовательские» рецензии и оценивать статью. Эту оценку можно считать независимо от оценки выбранных ревьюеров, либо объединять их учитывая возможный конфликт интересов и рейтинг.

Рейтинг

Все зарегистрированные пользователи имеют рейтинг. Рейтинг набирается за статьи, в том числе в других журналах, за рецензии, за комментарии. В идеале, рейтинг должен быть полуавтоматический.

Важно, что все действия пользователей логируются и за каждое действие рейтинг пользователя может быть повышен или понижен. Например, рецензент получает баллы за каждую рецензию. Если рецензия оказалась необъективной или если была пропущена очевидная ошибка, рецензент получит минус в рейтинг. За хорошую рецензию получит дополнительные баллы в плюс. Как разбираются спорные случаи, возникающие при оценке статей, я опишу ниже.

Комментарии

Рецензия и ответы авторов на нее становятся первым уровнем комментариев. При этом рецензенты могут остаться анонимными или по своему желанию открыть свое имя.

Все зарегистрированные пользователи могут оставлять комментарии к любой статье. Это могут быть «пользовательские» рецензии, ветки свободной дискуссии, воспроизведение экспериментов (как успешные, так и неудачные), жалобы на недостаточно подробные методы и недоступные данные.

Такие жалобы могут быть полуавтоматическими — оставить жалобу можно нажав кнопку и описав суть претензии. Авторы могут сами исправить такую ошибку, тогда их рейтинг не снижается. Если авторы не отвечают на жалобу, назначается дополнительный рецензент, а авторы и первоначальные рецензенты статьи теряют рейтинг.

Комментарии с отдельными экспериментами получают собственный идентификатор (doi) и могут быть проверены рецензентом. Авторы тоже могут публиковать дополнительные эксперименты к своей статье в виде комментариев. Это достаточно часто бывает полезно, так как эксперименты, не вписывающиеся в линию статьи, обычно не включают в манускрипт. Такая возможность позволит делать небольшие работы на основе статьи, которые не тянут на полноценную публикацию. Например, это может быть полезно для студенческих проектов.

Сеть

В таком варианте сервиса можно использовать все преимущества сетей с большим числом пользователей. Например вы сможете получать рекомендации о статьях, которые читают люди с такой же историей поиска.

Или подписаться на известного ученого. Тогда только пользуясь его оценками статей можно получить срез его мнения о опубликованных работах. То есть каждый ученый становится в некотором смысле редактором, но отбирает статьи после их публикации, а не до.

Кроме того, такая сеть взаимодействий позволяет находить конфликты интересов.

Разрешение конфликтов

Понятно, что в любой системе могу могут возникать конфликты. Это можно видеть и на примере войн правок в Википедии, и на других ресурсах. Для выявления и разрешения конфликтов можно использовать алгоритмы, но в некоторых случаях необходимо решение человека. Модераторы могут работать как на постоянной основе, так и быть волонтерами. Во втором случае активные пользователи с хорошим рейтингом могут получать сообщения с просьбой проверить определенную статью или комментарий. То есть они могут работать как рецензенты, но для решения конкретного вопроса.

Поиск конфликтов во многих случаях может быть автоматизирован. Можно рассмотреть несколько типичных вариантов возможного нарушения добропорядочности.

Противоборствующие школы — бывают случаи, когда несколько групп придерживаются разных теорий и пытаются понизить оценку противоположной точки зрения.

Определить такую ситуацию можно по графу связей — цитирований, оценок и аффилиаций. Противоборствующие группы будут представлены изолированными кликами в графе, а оценки статей друг друга будут противоположными. В таком случае можно помечать оценки, комментарии и рецензии от другой группы специальной меткой — просто так отбрасывать их нельзя, они могут содержать ценную информацию. Но и учитывать такие отзывы как беспристрастные тоже нельзя.

«Друзья» — иногда бывает и обратная ситуация, коллеги или знакомые завышают оценки друг другу. Это тоже можно вычислить по графу связей и цитирований. Такие оценки также можно помечтать специальным тегом.

Жалобы. Как я уже писал в разделе про комментарии, на статью можно пожаловаться, если вы нашли в ней серьезный недочет. Это может быть недостаточно подробное описание методов, отсутствующий код или ссылки на данные, а может быть и более серьезная проблема — манипуляция изображениями, фальсификации или лженаучные теории. Небольшая жалоба может быть исправлена автором без привлечения модератора. Серьезное нарушение рассматривается независимым модератором (или несколькими), которые выносят решение. В зависимости от этого решения меняется рейтинг авторов, рецензентов и комментатора.

Продвижение

В своем комментарии к первой части darksnake описал похожую систему. Он также поделился идеей способа продвижения такого журнала.

Именно как препринт архив. Их сейчас очень не много. На основе архива препринтов можно делать формальных журнал. Делать свой журнал с нуля не реально. А вот делать журнал на основе готовой базы публикаций вполне реально.

Мне кажется, что такая модель продвижения подходит и для описанной системы. Ведь с точки зрения пользователя от архива препринтов она отличается несильно. Дополнительных расходов на штат редакторов в этом случае тоже нет.

Оплата работы рецензентов

Я описал вариант бесплатного сервиса и для читателей, и для авторов. Конечно, он требует некоторой суммы денег на поддержание и развитие инфраструктуры и прочие необходимые расходы. Однако за цену сервиса препринтов мы получим рецензируемый журнал.

В будущем можно добавить оплату труда рецензентов, например 100-200 евро за рецензию. Даже в таком случае общая стоимость для авторов будет сльно ниже средней цены публикации с открытым доступом. Возможны различные варианты: рецензенты могут получать оплату в зависимости от качества их рецензии и рейтинга. Оплата публикации в журнале может быть по схеме «плати сколько можешь» или любой другой, но в любом случае за гораздо меньшие деньги, чем сейчас стоит open access.

Проблемы

В обсуждениях данной системы, я встречал несколько потенциальных проблем. Давайте обсудим некоторые из них (я уверен, в комментариях напишут еще).

Слишком большая нагрузка на рецензентов

Существуют опасения, что без предварительного отбора редактором, рецензентам будет приходить слишком много статей. Мне кажется, что это решаемая задача.

Во-первых, несложно отслеживать сколько статей было отправлено каждому рецензенту и не отправлять новые, если их уже слишком много.

Во-вторых, есть достаточно большой резерв ученых, которым обычно не направляют статьи на рецензию — постдоки и аспиранты. Часто, именно они рецензируют статьи в не очень крутые журналы, но они получают предложение от своего руководителя, который формально считается рецензентом статьи. Многие скептически относятся к рецензии статей учеными на начальных ступеньках карьеры, но мне кажется, что многие из них способны справиться с задачей не хуже, чем их старшие коллеги.

В-третьих, по моему опыту, далеко не все рецензенты полностью читают статьи перед тем, как отправить ее на рецензию. В таком случае, потенциальный рецензент и сам может принять решение брать статью или нет, прочитав абстракт и посмотрев картинки. Рецензент всегда может отказаться брать статью, если она ему неинтересна, если он не считает себя достаточно компетентным в нужной области или если у него нет времени.

В-четвертых, с решением этой проблемы должна помочь система рейтинга. Так, ученые с большим рейтингом могут получать преимущество в поисках рецензента. А рейтинг может отображаться даже при анонимном общении. И наоборот, пользователи с низким рейтингом будут ограничены в возможности отправки статей (например, не чаще одного раза в несколько месяцев), так как ранее они были замечены в подаче некачественных данных.

Затачивание статей «под лайки»

Это означает, что ученые будут максимально подстраивать свои статьи под любую введенную систему оценки. И если предложить оценивать статью условными «лайками» от других ученых, то статьи будут оптимизированы, чтобы больше этих лайков набрать. Это извечная проблема, она возникает в любой системе оценки. В комментарии к предыдущей части jungeschwili упомянула эффект кобры и закон Гудхарта, которые очень хорошо описывают суть проблемы. Тем не менее, можно предложить несколько путей компенсации этого эффекта.

Во-первых, рейтинг не предполагается единственной мерой качества качества статьи. Я предлагаю лишь уйти от оценки с помощью импакт-фактора, а также добавить очевидную оценку рецензентов.

Во-вторых, автоматический поиск конфликтов интересов позволяет обойти заметную долю «лайков» от «друзей» или «врагов» автора, которые могут быть менее объективны.

В-третьих, оптимально иметь обратную связь — если ученый недобросовестно оценивает статьи, то цена его оценки падает.

We need to go deeper

Микростатьи

Проблему, являющуюся предпосылкой этого пункта, я не разбирал в прошлый раз. Состоит она в том, как оценивать всех авторов статьи. В биологии принято считать первого автора самым важным, внесшим наибольший вклад в работу. Но градаций может быть очень много, разделить степень участия между большим числом авторов может быть непросто. Некоторые журналы просят прямо указать в конце статьи вклад авторов.

Однако есть более интересное решение. Если статью публиковать не как единое целое, а как набор отдельных экспериментов, то к каждому можно давать отдельный список авторов. А кроме того, можно цитировать не всю статью целиком, а только интересующие вас части.

Такая концепция дает еще ряд интересных преимуществ. Петр Лидский очень подробно описал концепцию и даже процесс перехода к ней вот в этой статье. Если вам интересен взгляд на один из вариантов развития журналов будущего, то очень рекомендую ознакомиться.

Интеграция полученной информации

Одна из самых важных проблем — это даже не то, как лучше опубликовать научную статью, организация научного знания в целом. Ведь каждая статья — это лишь крохотный кусочек огромного пазла, который мы пытается собирать без схемы.

Сейчас одним из немногих способов объединять разрозненные исследования служат обзоры. Их пишут ученые на основе разных экспериментальных работ. Однако, даже самые хорошие обзоры достаточно быстро устаревают, ведь новые статьи выходят каждую неделю.

В комментариях (раз, два) к предыдущей статье предлагали использовать формат wiki для постоянного обновления обзоров силами сообщества. На мой взгляд, это достаточно интересная идея. Более того, она в немного других вариантах уже применяется в различных базах данных. Однако и здесь есть куда развиваться.

Вот так моя коллега, Зоя Червонцева, описывает свой взгляд на проблемы научных публикаций:

Мне кажется, самая большая проблема с биологическими публикациями сейчас — это бардак в смысловой части, а не в организационной. Есть много частных утверждений (белок А делает то-то в таких-то условиях), которые никак друг с другом не соотносятся. Обзоры пытаются закрывать эту потребность, но их не хватает. Идеальная система публикаций имхо должна в явном виде вписывать свои новые утверждения в некоторую структуру (граф?) предыдущего знания.

Отдельная сложность заключается в том, что многие утверждения сейчас вероятностные — не белок А делает что-то, а белок А, возможно, согласно результатам нашего нового супер-навороченного протокола, с таким-то p-value связывается с этим сайтом в ДНК — и так для тысячи сайтов в геноме. То есть получается даже не единица информации, а плотность вероятности информации)). Плюс, конечно, батч-эффект и баги в программах анализа — это да, — но кажется, что невоспроизводимость тут не так страшна, как то, что мы в принципе не умеем сейчас этот тип информации нормально интегрировать.

Сейчас подобную функцию выполняют различные базы данных. Но им еще далеко до идеала. Не говоря уж о том, чтобы создать структуру данных, описывающих сразу большой раздел науки. Однако я уверен, что это направление продолжить активно развиваться в ближайшем будущем.

Роль классических журналов в будущем

Понятно, что классические журналы не исчезнут в одночасье. Но это и не нужно. Они вполне могут работать параллельно с системой открытого доступа.

Например, они могут выбирать выдающихся ученых и заказывать им обзоры по различным областям знаний. Или заниматься научной журналистикой. Или более доступно излагать исследования для неспециалистов.

Небольшое заключение

Вот такие направления развития публикаций кажутся мне перспективными. Я думаю, что в ближайшем будущем даже такие прогнозы могут оказаться достаточно скромными — в этой области огромный потенциал для развития, и кто знает, какой формат представления информации окажется самым эффективным. Я лишь уверен, что нам необходимо развивать научные публикации и использовать доступные возможности.

Больше форматов хороших и разных

А вас я бы хотел поблагодарить за то, что вы дочитали эту статью, и пригласить к дискуссии в комментариях. Я уверен, что у вас есть интересные идеи, и буду рад их обсудить.

Благодарности

Большое спасибо Ольге Золотаревой за дискуссии и идеи для этой статьи. Спасибо Софье Камалян за помощь в проверке текста. Спасибо всем, кто принял участие в дискуссии по первой части статьи, особенно: Петру Лидскому, Надежде Воробьевой, Омару Кантидзе, Зое Червонцевой, Алексею Савчику. Пользователям Хабра: rg_software, Jerf, CactusKnight, qvan, technic, darksnake, nnseva, damewigit и многим другим. А также всем коллегам, с которыми обсуждали проблемы научных публикаций.

Первая часть статьи.
Оригинал  Как решать проблемы научных публикаций? NikolayZolotarev