Научный прогресс, несмотря на невоспроизводимость: кажущийся парадокс

Научныйпрогресснесмотрянаневоспроизводимостькажущийсяпарадокс

Работа для коллоквиума

Ричард М. Шиффрин , Просмотреть профиль ORCID Кэти Бёрнер , а также Стивен М. Стиглер


    1. a Департамент психологических наук и наук о мозге, Университет Индианы, Блумингтон , Блумингтон, В

;


  • b Департамент разработки интеллектуальных систем, Университет Индианы, Блумингтон , Блумингтон, В 799898;
    1. c Департамент Статистика, Чикагский университет , Чикаго, Иллинойс

    Увидеть всеСкрывать авторы и принадлежность

    1. Отредактировано Дэвидом Б. Эллисоном, Университет Индианы, Блумингтон, Блумингтон, Индиана, и принято членом редакционной коллегии Сьюзан Т. Фиск 5 ноября, г. 60637 (получено на рассмотрение в июне 35, 47405)

    Абстрактный

    Это Кажется парадоксальным, что наука производит выдающиеся новые результаты и теории быстрыми темпами, в то же время, когда исследователи выявляют серьезные проблемы в практике науки, из-за которых многие отчеты становятся невоспроизводимыми и недействительными. Безусловно, практика науки нуждается в улучшении, и ученые сейчас преследуют эту цель. Однако с этой точки зрения мы утверждаем, что этот кажущийся парадокс не нов, всегда был частью того, как работает наука, и, вероятно, останется таковой. Сначала представим парадокс. Затем мы рассматриваем широкий круг проблем, которые, по-видимому, затрудняют научный успех. Далее мы описываем факторы, заставляющие науку работать – в прошлом, настоящем и, предположительно, также и в будущем. Затем мы предлагаем, чтобы средства правовой защиты современной научной практики применялись выборочно, чтобы не замедлять прогресс, и проиллюстрируем их несколькими примерами. В заключение мы приводим аргументы в пользу того, что коммуникация науки должна подчеркивать не только проблемы, но и огромные успехи и преимущества, которые наука принесла и теперь приносит всем элементам современного общества.

  • наукометрия
  • история науки
  • научный прогресс
  • воспроизводимость
  • научное общение
  • Кажущийся научный парадокс: прогресс и проблемы

    То, что кажется парадоксом, очевидно при оценке науки сегодня: она производит с головокружительной скоростью открытия, которые имеют фундаментальное значение для теории и чрезвычайно полезны для общества. Тем не менее, ученые прилагают большие усилия для самооценки, выявления и решения проблем в научной практике, которые могут привести к созданию отчетов, которые являются недействительными или не могут быть воспроизведены.

    Эта статья, представляющая собой смесь точки зрения, мнения и редакционной статьи, направлена ​​на то, чтобы пролить свет на этот кажущийся парадокс успеха перед лицом серьезных проблемы. Он помещает нынешнюю практику науки в историческую перспективу, подчеркивая, как наука работала исторически и работает сегодня.

    Потребовалось бы много книг, чтобы изложить огромное количество последних и важных научных достижений в теории, понимании и приложениях. Фактически, в стольких разнообразных областях так быстро происходит так много достижений, что трудно найти источник, который смог бы отследить их все, даже в рамках данной области. Разнообразные журналы и газеты освещают лишь небольшую часть наиболее интересных достижений для широкой публики. Ключевые примеры приведены в

    Время 344 Новые научные открытия: захватывающие, исторические и умопомрачительные открытия

    ( 1 ), Новый Йорк Таймс

    ‘Вторник, «Science Times»,

    Wall Street Journal

    – сводка лучших научных статей года Christian Science Monitor

    список выдающихся научных открытий, или

    ПРОВОДНАЯ

    выделение основных достижений. Несколько больший и более подробный список достижений можно найти в отчетах Национальных академий наук, инженерии и медицины; Национальный научный фонд (NSF); Национальные институты здоровья (NIH); и Американская ассоциация развития науки (AAAS). В них публикуются некоторые подробные сведения об основных достижениях науки, здравоохранения и техники для того, что, вероятно, является целевой аудиторией ученых. Никто, осведомленный о современном состоянии науки, не сомневается во многих важных достижениях, которые происходят почти ежедневно.

    Хотя есть веские основания верить в скорость научного прогресса, мы не знаем реальных методов получения количественной метрики ни в науке, ни в данной области. Доказать утверждения о быстром прогрессе было бы необычайно сложно, и это выходит за рамки этого вклада. Если сказать 21% публикаций этого года были действительными, важными и полезными, такое доказательство может потребоваться первый анализ некоторых 2, 15, 17 публикаций (в различных областях), чтобы получить набор кандидатов 590, 13, после чего путем детального анализа отобранных. Попытка уменьшить этот объем путем выборки потребует общего согласия относительно структуры науки (например, наибольший прогресс, вероятно, будет вызван относительно небольшой долей публикаций). Даже если бы такую ​​процедуру можно было провести, она все равно была бы неадекватной, потому что часто требуется много лет, чтобы обоснованность, важность и полезность вкладов стали очевидными. Кроме того, какую бы метрику ни можно было представить, она наверняка будет зависеть от дисциплины. Отчасти по этим причинам ученые и общественность не должны полагать, что прогресс ограничен одними областями, а не другими. Отчеты о воспроизводимости, как правило, сосредоточены на определенных областях (например, некоторых социальных науках, потому что отчеты резонируют с интуицией читателей, и некоторых биологических науках из-за их важности для здоровья), но такой выбор не следует рассматривать как подразумевающий отсутствие прогресса или даже дифференциальный прогресс по сравнению с другими полями.

    Учитывая, что Успехи в науке обычно подтверждаются отчетами о нескольких ярких случаях, и, учитывая сложность измерения прогресса в целом, есть ли способ получить представление о масштабах достижений? Если даже небольшая часть отчетов действительно достоверна и способствует научному прогрессу, цифра очень велика. Рассмотрим только отчеты, сделанные на ежегодном собрании одного научного подразделения, Общества нейробиологии: Если бы только 19% примерно от 6, 16 презентации исследований были действительными и важными , что приравнивается к одному-двум действительным и важным результатам в день только в этом подполе. Цифры одинаковы во всем научном спектре. Конечно, 20% оценка не поддается проверке, но почти все ученые думают, что это быть недооцененным, и даже если немного переоценить, количество хороших исследований будет огромным. Общественность – и в значительной степени сами ученые (за исключением узких областей их знаний) – обычно не осведомлены о научных достижениях, а скорее о преобразовании развивающейся сети научных достижений в приложения, которые все больше помогают людям в их повседневной жизни. Примеры особенно очевидны в области технологий и здравоохранения: компьютеры, мобильные телефоны, спутники, GPS, доступность информации, антибиотики, операции на сердце, возрастная смертность, удобрения, генетически улучшенные культуры, минимально инвазивные операции на суставах и замены суставов, контактные линзы и лазерная хирургия, магнитно-резонансная томография, робототехника, электромобили, подушки безопасности, солнечная энергия, энергия ветра, более точное прогнозирование погоды и так далее, почти без конца.

    В то же время никто не может отрицать собранные самими учеными свидетельства того, что в практике науки существуют серьезные проблемы. Ученые знают, что многие из этих проблем можно исправить или, по крайней мере, улучшить, и работают в этом направлении. Ключевые проблемы были освещены в презентациях на коллоквиуме Саклера «Воспроизводимость результатов исследований: проблемы и предлагаемые средства правовой защиты» и обсуждаются в других статьях этого специального выпуска (

    2 ). Целью этой точки зрения не является оправдание плохой практики – мы полностью согласны с нашими коллегами в том, что такую ​​практику необходимо исправлять, имея в виду необходимость гарантировать, что лекарство не принесет большего вреда, чем болезнь. Тем не менее, несмотря на проблемы, происходит быстрый научный прогресс, и в этой статье мы стремимся разрешить кажущийся парадокс путем обзора того, как научная практика развивалась и работает в настоящее время. В последующих разделах выявляются ключевые проблемы научного прогресса, обсуждаются самокорректирующиеся внутренние механизмы науки и обсуждаются плюсы и минусы некоторых предлагаемых средств. В заключение мы обсудим необходимость более четко сообщать о научном прогрессе и пользе науки для общества.

    Проблемы научного прогресса

    В то время как невоспроизводимые и недействительные результаты являются основной темой этой статьи и обсуждаются далее, мы также описываем другие проблемы, которые представляют собой серьезные препятствия на пути научного прогресса. Все эти проблемы делают успехи науки парадоксальными.

    Проблемы воспроизводимости и достоверности.

    Там Существуют серьезные проблемы в практике науки, которые приводят к публикации невоспроизводимых и недействительных результатов. Одна из проблем – это структура стимулов, которая поощряет количество публикаций выше качества, поспешную, а не продуманную публикацию, сообщение о маловероятных результатах и ​​исследования, ориентированные на текущие области финансирования. Другие проблемы включают сокрытие соответствующих данных; выборочное сообщение о положительных, а не отрицательных результатах; терпимость к слишком слабым статистическим критериям для публикации; подверженный ошибкам статистический анализ; неадекватная отчетность о дизайне, анализе, данных, компьютерных программах и кодах; бессознательные предубеждения, искажающие эмпирический план, анализ данных и отчеты; последующий отбор результатов для отчета; и ненадлежащее рассмотрение.

    Независимо от того, следует ли характеризовать проблемы воспроизводимости как кризис (отчет о научном прогрессе может предлагать другую терминологию), мы отмечаем, что нынешнее внимание к воспроизводимости упускает из виду то, что, вероятно, является еще более важной проблемой: достоверность отчетов. Во-первых, мы знаем, что воспроизводимость не гарантирует достоверности: всем ученым известно множество примеров неверных результатов и выводов, которые воспроизводятся много раз, в основном из-за повторения проблем, упомянутых в предыдущем абзаце (исследования экстрасенсорного восприятия предоставляют только один пример). Во-вторых, недействительные отчеты могут принести больше вреда, чем невоспроизводимые: слабо подкрепленное утверждение о том, что общественная структура налагает неявное предубеждение против определенных меньшинств, приносит меньше вреда, чем слабо подкрепленное утверждение о том, что это не так. Наконец, мы отмечаем, что валидность желательна, но для максимального прогресса необходимо еще больше: валидность относится к качественному аспекту отчетности, например, сообщению об истинном «направлении» вывода, когда сообщается о простом эффекте, оправданном проверкой нулевой гипотезы. Однако эффект, действительный только в одном конкретном контексте, а не в других, обычно не является полезным и важным. Мы хотим сообщить об эффектах, которые являются надежными, важными, имеют научную ценность и могут быть обобщены для аналогичных условий. Проблемы научной практики не просто порождают невоспроизводимость; они наносят ущерб всем этим целям.

    Информационная перегрузка.

    Наука, как и все другие элементы общества, сейчас находится в эре больших данных. Объем собираемых данных, количество научных журналов, научных публикаций, научных блогов и научной информации в целом превзошли человеческую способность понимать эти данные и действовать в соответствии с ними. У нас есть сложные вычислительные инструменты, чтобы отсеивать информацию и указывать на публикации, которые могут быть актуальными, но в конце конвейера находится отдельный ученый с ограниченным временем. Любой ученый, который потратил дни на рассмотрение одного сообщения, осознает масштабы этой проблемы. Столкнувшись с этой постоянно растущей проблемой, ученые научились использовать свои научные и статистические суждения для фильтрации публикаций на основе ограниченной информации, такой как аннотации и информация, полученная в результате быстрого сканирования (навык, который помогает разрешить парадокс, как мы обсуждаем потом). Не ново, что ученые чувствуют, что информация растет быстрее, чем они могут эффективно отслеживать: вполне вероятно, что ученые в каждом поколении осознавали, что объем знаний, которые они могли охватить во время обучения, занимал большую долю их области, чем был тот случай, когда их карьера созрела. Тем не менее, быстрый рост, который мы наблюдаем в век информации, поскольку технологии позволяют нам собирать и хранить ранее невообразимые объемы данных, усугубляет эту проблему и выдвигает ее на первый план. Мы проиллюстрируем некоторые аспекты этой проблемы в

    Инжир. 1 , демонстрирующий огромный рост научных публикаций, произошедший с 1980 в данный момент ( 3 ). Большая часть этого экспоненциального роста произошла в последние несколько лет и, похоже, продолжается. Как может наука прогрессировать, когда кажется, что критически важные открытия теряются в море научных отчетов, как достоверных, так и недействительных?

    Инжир. 1.

    Ускоряется рост публикаций. На графике показано количество статей (в логарифмической шкале) за год публикации из 1885 к 2632 на основе многочисленных источники данных (см. ярлыки). В последние годы в росте бумаг преобладает рост. Обратите внимание на влияние Первой и Второй мировых войн на научную продуктивность. По материалам исх.

    3 . AHCI, Индекс цитирования в области искусства и гуманитарных наук; ISI, Институт научной информации; SCIE – Расширенный индекс научного цитирования; SSCI, Индекс цитирования в социальных науках; WoS, Web of Science; Первая мировая война, Первая мировая война; Вторая мировая война, Вторая мировая война.

    Повышение специализации.

    С ростом знаний тесно связана растущая специализация этих знаний и технические знания, необходимые для овладения даже узкими домен. Может показаться удивительным, что прогресс не ослабевает, когда большая часть профессиональной жизни ученого тратится на обучение, чтобы получить опыт, необходимый для внесения вклада. В той мере, в какой молодые ученые являются двигателем творчества, усиление специализации может замедлить прогресс, поскольку отсрочивает возраст, в котором они могут внести свой вклад. Кроме того, возрастающая специализация, скорее всего, является причинным фактором увеличения возраста, в котором исследователи могут получить финансирование. Средний возраст, в котором исследователи получают свои первые NIH R 18 грант и владение – количество рабочих мест на трассе увеличилось; например, в 2007, рядом с 27% от всей основной суммы исследователи (ИП) были в возрасте 44 и ниже; это число упало примерно до 3% в 2632 (

    4 ). Прогресс также может быть затруднен, если молодые ученые не могут получить финансирование на раннем этапе своей карьеры (

    5 ). Чтобы противостоять проблемам, вызванным растущей специализацией, ученые всех возрастов все чаще участвуют в сотрудничестве, как обсуждается далее.

    Совместная наука.

    Наука все чаще осуществляется посредством крупномасштабного сотрудничества, отчасти в ответ на рост специализации знаний. Об этом свидетельствует уменьшение количества публикаций с одним автором и увеличение среднего количества авторов ( 6 ). Также верно и то, что сотрудничество увеличивается на расстоянии и между странами. Например, Инжир. 2 показывает плотную сеть международных партнерств для профессорско-преподавательского состава одного университета, Университета Индианы, в течение недавнего 18 – период y с использованием данных публикации из Web of Science, Clarivate Analytics ( 7 9 ). На объем сотрудничества намекает рисунок – полная сеть соавторов была бы намного плотнее, и ее невозможно было бы отобразить в виде графика в доступном здесь пространстве. Международное, дальнее и долгосрочное сотрудничество, конечно же, порождает свои собственные проблемы, особенно с воспроизводимостью, достоверностью и стоимостью. Сегодняшняя наука выросла во многих направлениях: больше ученых, больше данных, более сложные исследовательские задачи, больше сотрудничества. Благодаря такому изменению масштаба проблемы, с которыми раньше можно было справиться, становятся менее решаемыми. Расширение сотрудничества может быть необходимо для накопления необходимого опыта, но влечет за собой разделение труда и потенциальную потерю индивидуальной ответственности. Возрастающая сложность и совместная работа делают исследование многогранным, а оценку и контроль трудными.

    Инжир. 2.

    Глобальное сотрудничество сеть. На этой карте мира показаны объединения авторов, которые указали «Indiana Univ» и по крайней мере еще одно неамериканское учреждение как аффилированное на 1, 1880 научные статьи. Данные публикации были получены из базы данных Web of Science Института сетевых наук Университета Индианы и покрывают 2016 – 3321. Есть 1620 филиалы а также 1854 ссылки на коаффилированные лица. Узлы обозначают расположение авторов и размер области, закодированной по степени (т. Е. Количеству ссылок на узел), за исключением IU, который имеет 1, 1854 коаффилированные ссылки. Ссылки обозначают совместную работу; например, автор с тремя связями IU, X и Y добавит три ссылки; две ссылки, которые соединяют IU с X и Y, показаны красным, а связь между X и Y – фиолетовым. Толщина звеньев кодируется количеством совместных филиалов.

    Инфляция затрат на исследования.

    Тем не мение , еще один фактор, препятствующий научному прогрессу, – это быстро растущая стоимость многих областей исследований, рост, который обычно не сопровождается увеличением финансирования.

    Инжир. 3 показывает пример увеличения затрат, показывая средние затраты для всех публикаций в данном году на исследования пенициллина (красный) и CRISPR (синий) (

    9 ). Существенные затраты связаны с затратами на персонал, инфраструктуру, материалы и оборудование, данные и усилия по разработке программного обеспечения, необходимые для достижения прогресса. Затраты, конечно, различаются в зависимости от области, но растут во всех областях науки. Некоторые важные исследовательские усилия требуют действительно огромной поддержки со стороны многих организаций. Примеры включают крупномасштабные инфраструктуры, такие как Большой адронный коллайдер (LHC) или Гигантский Магелланов телескоп (GMT). Затраты на разработку новых лекарств для лечения болезней – еще один хорошо известный пример. Опять же, кажется парадоксальным, что наблюдается быстрый прогресс, когда затраты на исследования угрожают превысить доступное финансирование.

    Инжир. 3.

    Увеличение затрат на исследования в расчете на одну опубликованную статью. График показывает рост затрат на исследования в двух областях биологических исследований, пенициллин и CRISPR. Данные о наградах NIH и публикациях, подтверждающих эти гранты, были получены из Инструментов для составления отчетов по исследовательскому портфелю (ОТЧЕТ) (

    9 ). Затраты на исследования для всех публикаций нанесены на каждый год публикации. Как видно, за последние годы затраты существенно выросли; затраты на CRISPR резко возросли. Обратите внимание, что существует задержка между выделением финансирования в 6137 и публикуемые публикации, подтверждающие это финансирование; например, 60637 / 47405 значения, вероятно, уменьшатся по мере того, как будущие публикации признают это прошлое финансирование.

    Практика науки

    Проблемы, обсуждаемые в предыдущем разделе, подчеркивают сложность достижения значительного научного прогресса. Однако научный прогресс происходит, и стремительно. В этом разделе мы начнем с того, что отметим, что большинство этих вопросов всегда лежало в основе науки, хотя и в разной степени. Таким образом, научная практика эволюционировала для решения этих проблем. Затем мы обсудим некоторые ключевые факторы, которые помогли, а теперь помогают науке добиться успеха, несмотря на плохую практику, информационную перегрузку, растущую специализацию, недостаточное финансирование исследований и другие факторы, затрудняющие прогресс в исследованиях.

    Обучение из прошлого.

    Наука работает сложными способами. Вопросы воспроизводимости не новы для науки. Изучение того, как наука работала в прошлом, развивалась и работает сегодня, помогает понять парадокс. Историки науки, естественно, сосредотачиваются на великих успехах или впечатляющих неудачах, а не на подавляющем большинстве сообщений, которые во многих случаях формируют необходимый субстрат, на котором строятся впечатляющие достижения, а в других случаях являются недействительными, невоспроизводимыми и / или несущественными, и в основном игнорируются. Однако это большое количество исторически игнорируемых результатов исследований было опубликовано в научной литературе с момента появления первых публикаций, и мы будем утверждать, что они являются необходимым компонентом исследования. Нам неизвестно ни одного исследования, которое нацелено на оценку того, были ли многие малоэффективные и игнорируемые публикации в более ранние научные эпохи достоверными или воспроизводимыми, а также на оценку того, является ли доля таких отчетов в настоящее время выше, чем было исторически. Однако имеется достаточное количество хорошо изученных случаев, связанных с неверными выводами, чтобы подтвердить утверждение, что такие отчеты были нормальным компонентом научного исследования, начиная с того времени, когда научный метод стал доминирующим подходом. Здесь приведены несколько иллюстративных примеров.

    В некоторых исторических случаях ложный результат казался сначала чтобы быть воспроизводимым, но не удалось более позднего и более тщательного исследования. Греки считали, что после крупных сражений идет дождь, поскольку боги смывают кровь павших с поля битвы. Вера приняла современный вид в 27 века, когда считалось, что шум сражения – например, производимый пушками – заставит облака выпустить дождь; посредством 1989 Считалось, что это может быть способом ответить на молитвы фермеров. Опрос офицеров, участвовавших в гражданской войне, привел к появлению целой книги репликаций, одна за другой, когда их спросили, могут ли они вспомнить битву, в которой шел дождь вскоре после того, как были даны подтверждающие доказательства. Конгресс выделил деньги на исследование в Техасе; были выпущены пушки, и отсутствие воспроизводимости закрыло дело. Ложная теория подкреплялась многими проблемами, выявленными недавними исследователями невоспроизводимости: первоначальные исследователи не задавали критических вопросов и не сообщали важные данные: как скоро после битвы? Сколько считается дождем? На какой территории? Отчеты были выборочными: никого не просили о боях без дождя после (

    19 ). Один или два других примера хорошо известны: Даже в 28 В веке астрофизики считали, что «пустое пространство» заполнено «светоносным эфиром». », Несущие свет на огромные расстояния. Некоторые известные астрономы отказывались отказываться от идеи каналов на Марсе даже в самом начале 30 века, намного позже источника заявленного наблюдения – неточность в телескопических объективах – было отмечено (

    17 ).

    С другой стороны, есть много случаев, когда истинная теория сначала не давала подтверждения. В 1926 Лаплас знал, что теоретически должны быть приливы в атмосфере, как и приливы на море, и он установлен для измерения атмосферного прилива с использованием данных о барометрическом давлении Парижской обсерватории за несколько десятилетий, получаемых каждый день с 3-часовыми интервалами. Несмотря на необычно большой объем данных и продуманную схему тестирования (с использованием однодневных вариаций, которые блокируют ежедневные вариации), ему все же не удалось обнаружить прилив. Позже выяснилось, что Париж был ужасным местом для выбора: прилив там (хотя и реальный) был едва заметен. Другое местоположение могло дать желаемый результат ( 21 ).

    Карл Пирсон обнаружил алкогольный синдром плода у 2006, но затем проигнорировал это, потому что эффект было меньше, чем эффекты, которые он искал, а не то, что он искал. Позже исследователи без узкой направленности Пирсона увидели это иначе и сделали открытие, которое Пирсон упустил ( 21 ). Как писал Альфред Норт Уайтхед (

    22 ), «очень близко подойти к истинной теории и понять ее точное применение – это две очень разные вещи. Все важное уже было сказано раньше кем-то, кто этого не обнаружил »

    Наука требует исследований.

    Чтобы пролить свет на парадокс научной продуктивности, несмотря на невоспроизводимость и другие проблемы, мешающие исследованиям, полезно отличать исследовательскую науку от трансляционной науки. Исследовательскую науку можно определить как эмпирические и теоретические открытия. Трансляционная наука обычно определяется как процесс, который превращает открытия в приложения, предназначенные для пользы обществу или бизнесу. Конечно, между этими подходами к исследованиям нет жесткой границы. На самом деле существует так много форм исследований, различающихся по почти бесчисленным параметрам, что любая бинарная классификация в лучшем случае является грубым и номинальным приближением. Иногда наличие трансляционных исследований очевидно, например, когда исследователь проводит полевые испытания потенциально полезного лекарства. В других случаях исследование могло иметь исследовательский характер, например, в результате лабораторного исследования, но затем оно использовалось в качестве основы для расширенной серии исследований, используемых для создания приложения. Многие случаи лежат где-то в этом континууме. Однако затраты на эти две крайности различаются: в трансляционных исследованиях цена ошибок может быть очень высокой, как при лечении или принятии деловых решений, которые могут иметь решающее значение для успеха. В поисковых исследованиях затраты обычно ниже, иногда они ограничиваются ресурсами, временно затраченными на поиск ложных выводов.

    Мы переходим к поисковым исследованиям, в которых публикации многообещающих, но, возможно, недействительных результатов являются естественной основой научного прогресса. Исследовательская наука – это вопрос накопления знаний, часто в течение длительных периодов времени. Метафора была бы постоянно растущим деревом, время от времени прорастающим новые и большие ветви, но таким, которое постоянно изменяет многие из своих прежних ветвей и листьев по мере развития новых знаний. Недействительные и невоспроизводимые сообщения – это почки на дереве, которые могут прорасти, но находятся в местах, которые не позволяют расти. «Дерево» не знает, какие позиции способствуют росту, и поэтому у него образуется много почек, некоторые из которых не выдерживают, а другие дают ростки.

    Эта метафора подсказывает, почему неверные и невоспроизводимые отчеты появляются на научном дереве. Наука в своей основе – это метод изощренных проб и ошибок. В большинстве исследовательских наук оценка результатов будет в решающей степени зависеть от детальных моделей экспериментальных вариаций, которые не могут быть определены заранее, поэтому многообещающие результаты преследуются в дальнейших исследованиях, которые в конечном итоге определяют достоверность, воспроизводимость, важность и полезность. Исследуются многие возможности для увеличения вероятности включения немногих критически важных.

    Чтобы продолжить эти мысли, отметим, что научные достижения очень часто не появляются в полной и окончательной форме при первой публикации, а требуют периода созревания, поддерживаемого дополнительными исследованиями. Таким образом, науке выгодно включать публикацию многих многообещающих результатов. , даже если некоторые из них оказываются недействительными, потому что достоверность и важность результатов часто становятся очевидными только после того, как пройдет много времени. Такие находки иногда называют «спящими красавицами» (

    23 ) и отмечен премией Golden Goose Awards, спонсируемой широким кругом организаций, заинтересованных в научных исследованиях. прогресс. «Спящие красавицы», а также достоверные и полезные отчеты в целом, конечно, смешиваются со многими другими отчетами, которые не оказываются полезными, но требуется время и дополнительные исследования, чтобы узнать, какие из них есть. Другими словами, полезно публиковать многообещающие результаты, хотя некоторые из них оказываются недействительными, потому что научное открытие обязательно связано с непредсказуемостью. Путь к открытию, конечно, не случаен. Как классно сказал Пастер в 1989, «шанс благоприятствует только подготовленному уму» (

    24 ).

    Баланс творчества и строгости.

    Чтобы максимизировать научный прогресс, необходимо найти правильный баланс между свободой действий для публикации многообещающих результатов на ранней стадии и чрезмерно строгими критериями публикации. Даже говорить о «критериях» – довольно современное понятие. На протяжении веков эти критерии не формулировались, но были похоронены в общепринятом научном сообществе, по-разному применялись в разных сообществах и в разное время. Замечательный эксперимент Уильяма Харви убедительно продемонстрировал циркуляцию крови в 1885, но сначала его встретили две противоположные реакции: «Это не» Это правда »и« Это было известно со времен Гиппократа »- в истории, похоже, не зафиксировано каких-либо современных попыток воспроизвести его работу. Только после дополнительного обсуждения и рассмотрения он был принят, и даже тогда без каких-либо явных критериев (

    26 ). В общем, соответствующий баланс творчества и строгости требует периодических публикаций недействительных и невоспроизводимых результатов, и такой баланс необходим для оптимизации темпов научного прогресса.

    Ученые настроены скептически.

    Ученые прекрасно осознают и всегда отдавали себе отчет в том, что наука – это шумный процесс; что отчеты не всегда достоверны; что первоначальные выводы могут быть позже отменены или заменены лучшими; что наука действует методом проб и ошибок; что наука постоянно движется и растет, постепенно улучшая наше понимание того, что, вероятно, является бесконечно сложной вселенной. Альфред Маршалл, который, как говорили, отвечал за внедрение математики в экономику, написал в 2006: «Самый безрассудный и вероломный из всех теоретиков – это тот, кто заявляет, что пусть факты и цифры говорят сами за себя, кто скрывает ту роль, которую он сыграл, возможно, бессознательно, в их отборе и группировке »(ссылка

    26 , п. 641).

    В 2010, когда было объявлено об открытии высокотемпературной сверхпроводимости, было широко распространено удивление и скептицизм. Когда несколько других исследователей повторили открытие (что до сих пор не совсем понятно), скептицизм улетучился. Когда уважаемый ученый заявил в 2013 обнаружил признаки холодного синтеза в своей лаборатории, что не учитывается большинством профессионалов, было много недоверчивых откликов, но профессия как все было уважительно (возможно, напоминая о сверхпроводимости), и конференции и другие лаборатории исследовали, все без какого-либо подтверждения результата. В конечном итоге иск был отклонен из-за лабораторного заражения. Это всего лишь два примера, которые служат для иллюстрации того, как ученые адаптировали свою научную практику для эффективной работы в условиях неопределенности (

    27 ,

    28 ). Интересно, что с тех пор сеансы холодного синтеза в той или иной форме и под названиями являются регулярной частью собраний Американского физического общества. Повторюсь: в глубине души ученые настроены скептически и принимают отчеты не за чистую монету, а как наводящие на размышления руководства для дальнейших исследований и возможных применений.

    Распределение стоимости взносов.

    Критически изученные исследования могут привести к разным выводам о состоянии науки: если в центре внимания «плохое исследование», оно выделит проблемы, а «хорошее исследование» подчеркнет прогресс. Можно было бы подумать, что уместно оценить текущее состояние науки, выбрав «случайным образом» набор исследований. Однако такой выбор приведет к искаженной оценке, потому что распределение научных вкладов по типам почти наверняка асимметрично: мы считаем, что снимок в данный момент времени покажет, что небольшая часть исследований приносит большую часть научных успехов. (хотя и большие в абсолютных цифрах). Подавляющее большинство исследований в данный момент находятся в неопределенном состоянии важности и достоверности, ожидая дальнейших исследований и разработок. В отсутствие надежного или возможного показателя для оценки качества публикаций было бы невозможно определить эти пропорции с какой-либо точностью. Научные исследования варьируются от смеси неважных, многообещающих, достоверных и недействительных до явно стоящих, важных и заслуживающих внимания прорывов, при этом пропорции, вероятно, уменьшатся по этим категориям. Какие исследования относятся к какой категории, не обязательно известно на момент первоначальной публикации. Ограничение научных ресурсов (например, затрат, времени и персонала) помешает последующим исследованиям всех исследований, которые начинаются в неопределенном состоянии важности и достоверности. Поэтому ученые оценивают такие исследования на основе их экспертных оценок, отточенных годами обучения; они игнорируют одни исследования, но включают, воспроизводят или развивают другие. Если представить себе отслеживание исследований с течением времени, те исследования, которые доказали свою ценность и ценность, становятся важными и заслуживающими внимания, а некоторые из них становятся настоящими прорывами. Скорость движения результатов и теорий может быть очень быстрой или довольно медленной (как в случае с спящими красавицами). Все исследования, которые доказали свою ценность и полезность, составляют основу научных знаний и служат основой для дальнейшего прогресса. Те исследования, которые отклоняются при первой проверке, а также те, которые не оказываются действительными или полезными, в большинстве случаев впоследствии игнорируются и забываются. Подтверждающие доказательства некоторых из этих утверждений исходят из сильно искаженного распределения количества цитирований (

    28 ); около половины всех статей никогда не цитируются, в то время как относительно немногие имеют 592, 18 цитаты или более. Например, обзор топ 340 статей в 3321 показал, что в наиболее цитируемой статье 1620, 17 цитаты (

    31 ). Хотя кажется желательным уменьшить долю недействительных исследований, большой набор многообещающих исследований, некоторые из которых окажутся недействительными, служат для «прокачки» научного прогресса. [Even the invalid reports that are pursued in additional research occasionally prove useful when further research reveals the reasons for the invalidity. One example might be the false detection of gravitational waves (23), with equipment that did not have the requisite sensitivity. But the subsequent investigations showed what sensitivity would have been needed and that knowledge contributed to the subsequent search that culminated in success this year.]

    Эта точка зрения имеет большое значение для раскрытия кажущегося парадокса, который мы обсуждали: сосредоточение внимания на огромной массе исследований, которые только что были опубликованы и лежат в неопределенной Состояние важности и обоснованности может привести к выводу о том, что наука терпит неудачу, тогда как сосредоточение внимания на тех исследованиях, которые признаны и признаны выдающимися, приведет к выводу о значительном прогрессе. Мы повторяем, что последняя группа может показаться небольшой в соотношении, но с более чем двумя миллионами научных исследований, публикуемых каждый год, абсолютное количество критически важных результатов и научных открытий, несомненно, будет значительным и достаточным для обеспечения быстрого прогресса, который мы наблюдаем в науке и науке. достаточно для получения тех благ, которые мы ежедневно используем в современном обществе.

    Научная социальная сеть.

    Ежегодно выпускается более двух миллионов научных публикаций, в том числе очень большое количество в почти Во всех дисциплинах ученые не могут прочитать всю или большую часть соответствующей опубликованной литературы. Даже в подполях публикуется больше статей, чем может прочитать один человек; например, публикация по нейробиологии 1764, 592 документы по годам 2015 – 039347 ( 32 ). Алгоритмы поиска в Интернете могут помочь найти соответствующие статьи, но такие алгоритмы не могут судить о качестве исследования, а количество обнаруженных алгоритмами поиска может быть слишком большим, чтобы можно было внимательно прочитать каждую. Когда-то тщательный обзор в небольшом количестве ведущих журналов давал одобрение качества небольшому количеству статей, но с огромным ростом литературы эта гарантия была ослаблена. Что нужно, так это указатели на качественные исследования. Такие указатели появляются в социальной сети ученых не только в форме обмена информацией через Интернет, но и в форме встреч, семинаров, коллоквиумов, школ и летних школ, а также в форме обширного личного общения, которое происходит в таких местах.

    Метод проб и ошибок.

    Исследования, которые кажутся многообещающие тиражируются, основываются или расширяются другими. Многие отвергаются в ходе этого процесса. Исследования, которые можно воспроизвести, ценятся и служат основой для прогресса. Это исследования, которые заставляют нас «встать на плечи гигантов» – прежних поколений ученых, заложивших основы современного научного прогресса.

    В исследовательской науке , отсутствие валидности не перестает учиться. Ученые не принимают отчеты за чистую монету. Когда они слышат результат, который выглядит интересным, важным и многообещающим, они применяют ряд внутренних фильтров: во-первых, чтобы решить, является ли отчет достоверным и заслуживающим дальнейшего изучения; во-вторых, решить, является ли работа достоверной и достаточно важной для инвестирования в дальнейшие исследования. Большинство результатов не проходят эту вторую фильтрацию. Эти две стадии отфильтровывают большинство невоспроизводимых исследований. Достоверные исследования, которые выживают, ведут к устойчивому прогрессу. Эти этапы фильтрации являются ключевой частью исправляющей ошибки природы научной практики. Многие отчеты, инициирующие этот процесс фильтрации, являются необходимой частью науки.

    Наука через бой.

    На пути к публикации ученые упорно трудятся, чтобы исправить свои собственные выводы и заключения, зная, как дорого обходится «потеря репутации» при представлении ложных результатов. Однако, достигнув точки публикации, обширные вложения их собственного человеческого капитала могут заставить ученых защищаться. Они склонны противостоять обвинениям в ошибке. Таким образом, ученые могут не внести свой вклад в научный процесс исправления ошибок, если он включает в себя их собственные исследования. Фрэнсис Бэкон уже отмечал это в 1885: «Люди привязываются к определенным частным наукам и предположениям либо потому, что они считают себя авторами. и их изобретатели, или потому, что они приложили к ним величайшие усилия и стали к ним наиболее привыкли »(

    33 ).

    Однако ученые очень конкурентоспособны, и многообещающие результаты почти всегда подхватываются и подвергаются сомнению другими учеными, которые проводят свои собственные исследования, часто указывая на другие результаты и выводы, выявляя проблемы в начальные исследования. Это можно назвать «наукой путем боя», и это было отличительной чертой научных исследований с момента зарождения научного метода. Ньютон пришел к выводу, что форма Земли должна быть сплюснутым сфероидом (сплющенным на полюсах) из своей теории гравитации. Французский астроном Кассини придерживался противоположной точки зрения, исходя из менее обоснованного принципа, и были отправлены экспедиции в Лапландию и Перу для проведения измерений, которые могли бы решить этот вопрос. Ньютон был назван победителем, хотя и посмертно, что свидетельствует об изменчивости научного прогресса и времени, которое часто требуется науке, чтобы «решить» спорную проблему (

    20 ). Недействительные и невоспроизводимые исследования, как правило, исключаются по мере продолжения боевых действий, даже если для того, чтобы этот процесс слился воедино, может потребоваться значительное время. Действительные, как правило, побеждают и способствуют прогрессу, который мы видим.

    Оптимизация возврата инвестиций.

    Учитывая ограниченные ресурсы и потребность в длительных исследованиях, прежде чем результаты можно будет преобразовать в приложения, исследователи обычно начинают с относительно небольшого – затратные, маломощные исследования, указывающие на перспективные направления. Они резервируют более дорогие, более тщательные и систематические исследования для последующих исследований, дополнительные затраты на которые могут быть оправданы более ранними результатами. Первоначальные исследования с меньшей вероятностью будут воспроизводимы и достоверны, но они полезны для оправдания более дорогих, возможно, трансляционных исследований, которые последуют далее. Этот способ заниматься наукой аналогичен венчурным капиталистам, инвестирующим в финансирование инноваций на основе какого-то многообещающего приложения, которое может или не может сработать.

    Средства нацеливания

    Наше обсуждение того, как наука работает для достижения прогресса перед лицом серьезных проблем, предполагает, что мы применяем тонкий подход при изменении практики науки, не тот, который предполагает, что «всех под одну гребенку». Необходимо проявлять осторожность, чтобы реформы и средства правовой защиты не имели непредвиденных последствий, излишне замедляющих нынешние высокие темпы прогресса. Мы проиллюстрируем необходимость нюансов несколькими примерами, где могут скрываться непредвиденные последствия.

    Стандарты разведки и эксплуатации.

    Кажется разумным принять «точные средства правовой защиты», соответствующие типу и целям исследования. Кажется правильным использовать несколько более свободные средства и стандарты для чисто исследовательских исследований, чтобы позволить творчеству и инновациям процветать. Аргументы в пользу различных стандартов подкрепляются рассмотрением разной стоимости ошибок. Затраты на публикацию недействительного результата во время научного исследования, скорее всего, не принесут большого вреда. Неправильная заявка может нанести серьезный ущерб здоровью или бизнесу.

    Критерии публикации.

    Различные области науки сочли важным использовать критерии публикации, адаптированные к их особые потребности из-за различий в точности измерений и вариаций в управлении переменными, влияющими на результаты. В некоторых областях ученые убедительно утверждают, что существующие критерии слишком слабы и их следует усилить. Например, есть поля, которые использовались в качестве критерия того, что один тест достигает 5% уровня значимости, определяемого традиционным тестированием нулевой гипотезы. В настоящее время общепризнано, даже те, кто хотел бы сохранить проверку нулевых гипотез, что этот критерий при плохо спланированных или выполненных исследованиях может способствовать неприемлемому уровню воспроизводимости. Действительно, в 2010, Р. А. Фишер уже настаивал на воспроизводимости, когда писал (

    34 ), что он предпочел «установить низкий стандарт значимости на уровне 5% и полностью игнорировать все результаты, которые не достигают этого уровня. Научный факт следует рассматривать как экспериментально установленный только в том случае, если правильно спланированный эксперимент редко не дает такого уровня значимости ». Конечно, сама статистическая практика развивается и в настоящее время создает новые и альтернативные методы, такие как байесовские подходы, с критериями публикации, которые могут существенно отличаться от предшествующих методов. Любая попытка применить универсальный набор правил опасна.

    Создание репликаций в научных Упражняться.

    Это по крайней мере, в большинстве недавних дискуссий о воспроизводимости подразумевается, что исследования репликации должны быть предметом более сильного акцента в практике науки. Исторически повторения были относительно редки. Большинство последующих исследований всегда и сейчас нацелены на расширение и обобщение, а не на копирование, подтверждение или отклонение, выпадающие в процессе. Если дополнительные ресурсы тратятся на выполнение увеличенного числа исследований по репликации, а ошибки публикуются, валидация вполне может быть увеличена, но отвлечение ресурсов может замедлить прогресс. Кроме того, точное копирование выполнить сложно или невозможно. Правильно спланированный отказ от репликации может указывать на невозможность обобщения до очень похожей обстановки, но не на недействительность исходного отчета. Обобщение часто является ключом к научному прогрессу. Таким образом, прогрессу могут в большей степени способствовать исследования, добавляющие условия для изучения обобщения, чем простые демонстрации того, что отчет не воспроизводится.

    Ошибки публикации.

    Ряд ученых предложили механизмы для поощрения редакционной практики, которая будет реже отклонять представление неотрепликаций. Мы согласны: естественная тенденция ученых защищать свои собственные предварительные утверждения, естественный компонент науки путем борьбы, может слишком часто препятствовать публикации новых исследований, направленных на опровержение более ранних заявлений, по крайней мере, в наиболее уважаемых журналах. Насколько эта тенденция вредит прогрессу, неясно. Даже когда проводятся исследования, близкие к тиражированию, ученые часто не находят подтверждения того, что стоит сообщать о них. Такие решения принимаются по множеству, возможно, веских причин: исследователь может сделать вывод, что проблема необычайно сложна без простых выводов, что проблема слишком зависит от точных начальных условий, что установление альтернативной точки зрения потребует слишком много ограниченных ресурсов, что результаты или выводы оказываются гораздо менее важными, чем предполагалось изначально, что имеется слишком много отклонений от первоначального исследования или что новое исследование проводится недостаточно хорошо.

    Предварительная регистрация обучения.

    Существует ряд предложений о том, что ученые должны предварительно зарегистрировать исследования в качестве условия публикации [e.g., Nosek et al. (27), this issue]. Среди других оправданий – желание сократить объем ретроспективного анализа, выборочных данных и выводов, сделанных на их основе. Существует множество вариантов того, как лучше всего выполнить процесс предварительной регистрации, и степень, в которой это будет полезно, может отличаться для трансляционных и поисковых исследований. Ученые не всеведущи и проводят исследовательские исследования, потому что они не знают заранее, что они могут найти, и даже не знают, какой дизайн и анализ могут лучше всего открыть новые важные пути. Какая бы форма предварительной регистрации ни была предложена, важно, чтобы она не уменьшала творческий потенциал в исследованиях. Нынешняя научная система со всеми ее недостатками очень эффективно использует исследования.

    Отбор результатов после завершения.

    К вопросу о предварительной регистрации относятся аргументы против отчета о результатах, которые были замечены только после изучения обширных наборов данных. Научный прогресс часто обусловлен неожиданными открытиями, которые часто называют «интуитивной интуицией». Помимо статистических вопросов, интуитивная интуиция всегда была и всегда будет основным двигателем научного прогресса. В идеальном мире ученый может проследить за случайными открытиями перед публикацией, но множество факторов, таких как затраты, могут сделать это трудным или невозможным.

    Выживание сильнейших.

    Мы попытались показать, что быстрый прогресс работает в то же время, что существуют серьезные проблемы в Практика науки – это не парадокс, а, скорее, естественный результат того, как наука всегда работала, работает в настоящее время и, вероятно, всегда будет Я работаю. Это вызывает озабоченность по поводу масштабов реформ, которые можно было бы провести. Возможно ли, что мы должны мириться с определенными проблемными практиками (такими как публикация недостаточно эффективных, но многообещающих исследований) для оптимизации прогресса? Мы считаем, что история показывает, что научные идеи процветают, когда они являются результатом «выживания сильнейших». Такой эволюционный взгляд требует, чтобы было много (также неуместных) попыток, которые предпринимаются, а затем отбрасываются. Фактически, использование такого подхода, вероятно, неизбежно: как нынешние уровни финансирования, так и ограниченные ресурсы времени, оборудования и персонала гарантируют, что исследовательская наука не может проводиться на таком уровне сложности, который обеспечивает полную воспроизводимость. Таким образом, многие недорогие и менее воспроизводимые исследования являются первым этапом научных исследований, неудачные подходы отсеиваются, а ценные достижения сохраняются и используются. Такой взгляд на вещи устраняет парадокс: наука действует методом проб и ошибок, и человек должен принять неизбежность ошибки, делая все возможное, чтобы ее минимизировать.

    Эта идея подкрепляется проведением частичной аналогии с эволюционными процессами: каждый член каждого живого вида происходит от длинная непрерывная линия выживших. Мы зависим от этого не только для нашего выживания, но также для нашей жизнеспособности и приспособляемости. Редко упоминается тот факт, что в этих генеалогических деревьях было также много неудач – неудачных экспериментов природы. Примеры включают постоянное улучшение передачи по воздуху от Маркони к Wi-Fi, и любопытные ранние попытки, такие как семафоры и жестяные банки, соединенные тугими нитками, являются частью коллективной ностальгии; Эпициклы Птолемея и светоносный эфир, когда о них вспоминают, только напоминают нам, что наше понимание природы не всегда было на нынешнем уровне, но они являются частью повествования об успехе, а не о неудаче. (Может возникнуть соблазн описать научные процессы как дарвиновские, но есть разница. Там, где природа передается только от поколения к поколению, наука может извлекать – или заново открывать – идеи из прошлого, эффективно перепрыгивая с одного гребня на другой, как когда доступность новых инструментов и вызовы новых проблем могут сделать сухую и необъявленную теорию прошлого жизненно важным инструментом для настоящего: выбор науки не ограничивается потомками предыдущего поколения. Одним из примеров является байесовский вывод, который появился в 1980 в простом случае и оставался бездействующим до 27 век, когда он стал гибким инструментом теоретической и прикладной мощности в новой среде, богатой данными и вычислениями.)

    Значение для общения

    Наше раскрытие кажущегося парадокса прогресса, несмотря на трудности Научная практика имеет значение для коммуникации о науке с обществом в целом. В журналистике есть стимулы делать упор на неудачах, а не на успехах. «Ученый делает скромное открытие», к сожалению, так же заслуживает освещения в печати, как «Собака кусает человека», тогда как «Ученый делает ошибку» выступает в качестве кульминации и заголовка многих отчетов и новостных статей. Эффект очевиден во многих книгах и статьях с такими заголовками, как «Научные результаты не воспроизводятся» и «Как небрежная наука создает бесполезные лекарства, разрушает надежды и тратит миллиарды впустую». Проблемы, которые освещаются в таких публикациях и которые сами ученые исследуют и решают, не являются неожиданными: наука – это дело человека, а ресурсы ограничены; новости продаются лучше, если они преувеличены. Кроме того, критика имеет ценность – она ​​способствует совершенствованию научной практики, как мы видим в настоящее время. Но когда во многих повествованиях освещаются проблемы, не обсуждая также успех и прогресс, это позволяет определенным классам читателей обесценить науку, и результат может быть разрушительным [see the article in this issue by Hall Jamieson (28) for a related view]. Наука ошибается, но это неотъемлемая часть процесса, который в конце дает достоверный и ценный результат, как и в дарвиновском биологическом мире. Нельзя позволять общественности упускать из виду тот факт, что научные достижения на порядки перевешивают проблемы – они несут ответственность за существенные улучшения практически во всех аспектах современного общества, включая здоровье, бизнес, промышленность, коммуникации, сельское хозяйство, развлечения и сама наука. Научное общение – это огромная область сама по себе, и многие вопросы здесь не обсуждаются. Мы отсылаем читателя к точке зрения в этом специальном выпуске Холла Джеймисона для интересного и более подробного изложения.

    Благодарности

    В этой работе используются данные Web of Science компании Clarivate Analytics, предоставленные Институтом сетевых наук Университета Индианы. Эта работа частично финансировалась NIH Grants P 17 AG 1711786114 и ты17 CA .

    Сноски

    Leave a comment

    Your email address will not be published. Required fields are marked *

    seventeen + 5 =