Психология научной целостности: выпускник Силлабус

ПСИХОЛОГИЯ НАУЧНОЙ ЦЕЛОСТНОСТИ: ВЫПУСКНЫЙ СИЛЛАБУС

Необходимые чтения

ПРИМЕЧАНИЕ. Все приведенные ниже данные являются ссылками, поэтому, если вас это интересует, вы можете прочитать большинство статей в оригинале. Иногда из-за проблем с авторскими правами журнала вы можете видеть только тезисы; или вам может потребоваться подписка на основную новостную ленту. Однако в большинстве случаев, если вы связаны с колледжем, вы можете получить доступ к источнику через свою библиотечную систему.

ЧАСТЬ I: ВВЕДЕНИЕ

• Для иностранных шпионов президентские самопрофили
• Как управлять мощными женщинами
• Почему вы стремитесь понять парадоксального избирателя козыря
• У вас достаточно секса?
• Шизоидная личность

В чем проблема?

Источник: Маг будет папоротником **

Фридман (ноябрь, 2010). Ложь, проклятая ложь и медицинская наука. Атлантический океан.

Neuroskeptic (2012). Девять кругов научного ада.

• Если бы я был богатым человеком
• Секрет к старению изящно: День рождения
• 5 советов для взрослых детей нарциссистов
• Как предотвратить беременность вашей дочери
• Преподавание общей психологии с большей целью

Lehrer, J. (13 декабря 2010 г.). Правда стирается. Житель Нью-Йорка.

Что такое наука?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

ЧАСТЬ II: РЕПЛИКАЦИЯ И ЕГО ДИСКОНТЕНТЫ

Является ли психологическая «наука» необъяснимой?

OSF (2015). Оценка воспроизводимости психологической науки. Science, 349, doi: 10.1126 / science.aac4716.

Юссим (2012). Единороги социальной психологии. Психология сегодня .

Юссим (2012). Социально-психологические единороги: Неудачные репликации развеяют научные мифы? Психология сегодня.

Henrich et al (2010). Самые странные люди в мире? Поведенческие и мозговые науки, 33, 61-135.

Фундер (2012). Опасное положение нерепликатора. Funderstorms.

Dreber et al (2015). Использование рынков прогнозирования для оценки воспроизводимости научных исследований. PNAS, 112, 15343-15347.

Мы социопаты, неконкурентные или оба?

Simmons et al (2011). Ложноположительная психология: нераскрытая гибкость в сборе и анализе данных позволяет представить что-либо значимое. P sychological Science, 22, 1359-1366.

Источник: Ли Юсим. Вы называете меня социопатом?

Johns et al (2012). Измерение распространенности сомнительных исследовательских практик с стимулами для объяснения правды. Психологическая наука, 23 , 524-532.

Schimmack, U. (2012). Иронический эффект значительных результатов по достоверности нескольких статей исследования. Психологические методы, 17, 551-566.

Vul и др. (2009). Удивительно высокие корреляции в исследованиях МРТ эмоций, личности и социального познания. Перспективы психологической науки, 4 , 274-290.

Wicherts et al (2011). Готовность предоставлять данные связана с силой доказательств и качеством отчетности по статистическим результатам. PLoS One, 6 (11 ): e26828. DOI: 10.1371 / journal.pone.0026828

Подождите: я ученый, все просто хорошо

Gilbert et al (2016). Комментарий к статье «Оценка воспроизводимости психологической науки». Science, 351, 1037.

Источник: Ли Юсим. Просто потому, что я растаял в снегу, на высоте 11 500 футов, на отдаленной горе Колорадо, это не значит, что все не в порядке.

Fiedler, K., & Schwartz, N. (2015). Подсказывались сомнительные исследовательские практики. Социальная психология и личность, 7, 45-52.

Между паникой и самодовольством …

Юссим (2016). Большинство публикуют результаты социальной психологии ложно? Психология сегодня.

Инзлихт (2016). Расплата с прошлым. Становиться лучше.

Симонсон (2016). Оценка повторений: 40% заполнено не на 60%. Данные Colada.

Часть III: ЗАЯВЛЕНИЕ

Наука самовосстанавливается, правильно?

Ioannidis, J. (2012). Почему наука не обязательно самовосстанавливается. Перспективы психологической науки, 7, 645-654.

Юссим Л. (2015). Медленная и несуществующая научная самокоррекция в психологии. Психология сегодня.

Юссим (2016). Оскорбительно ли объявлять психологическое утверждение неправильным? Психология сегодня

Оренштейн (25 апреля 2013 г.). Наша хорошая война с раком молочной железы. Нью-Йорк Таймс.

NYTimes (2013). Обычная операция на колене делает очень мало для некоторых

Loeb, A. (2014). Преимущества разнообразия. Физика природы, 617-617.

O'Boyle и др. (2014). Эффект куколки: как уродливые исходные результаты метаморфизуются в красивые статьи. Журнал управления, 19 .

Посторонние по дизайну, подкаст Freakonomics.

По крайней мере, статистика жесткая, ясная и объективная, правильно?

Гельман и Локен (2014). Статистический кризис в науке. Американский ученый.

Источник: Ли Юсим. Это не ракета, ее французский кофеварка. Это дизайн и присутствие в пустыне Юты необычайно статистически маловероятны.

Fraley & Vazire (2014). Фактор N-Пакта: оценка качества эмпирических журналов относительно размера выборки и статистической мощности. PLoS One, 9: e109019. DOI: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Научный метод: статистические ошибки. Природа , 506 , 150-152.

Westfall et al (2014). Статистическая мощность и оптимальный дизайн в экспериментах, в которых образцы участников реагируют на образцы стимулов. Журнал экспериментальной психологии: генерал, 143, 2020-2045.

Как рассказать научный факт из художественной литературы: P-кривая и другие методы

Masciampo & Lalande (2012). Специфическая распространенность р-значений чуть ниже 0,05. Квартальный журнал экспериментальной психологии, 65 , 2271-2279.

Simonsohn et al (2014). P-curve: ключ к файловому ящику. Journal of Experimental Psychology: General, 143, 534-547.

Simonsohn et al (2014). P-кривая и размер эффекта: исправление смещения публикации с использованием только значимых результатов. Перспективы психологической науки, 9, 666-681.

Franco et al (2014). Публикация смещения в социальных науках: разблокировка файлового ящика. Science, 345, 1502-1505.

Simmons et al (2012). Решение из 21 слова. Диалоги.

Bakker et al (2012). Правила игры называются психологической наукой. Перспективы психологической науки, 7 , 543-554.

Проблема интерпретации: плохие выводы на основе хороших данных

Источник: Шихонг Хор

Вазир (2014). Простодушный и путаный.   Иногда я ошибаюсь.

Abramowitz et al. (1975). Публиковать или политизировать: смещение судей в обзоре рукописи. Журнал прикладной социальной психологии, 5, 187-200.

Eagly, A. (1995). Наука и политика сравнения мужчин и женщин. Американский психолог, 50, 145-158.

Inbar & Lammers (2012). Политическое разнообразие в социальной и личностной психологии. Перспективы психологической науки, 7, 496-503.

Юссим (в печати). Précis социального восприятия и социальной реальности: почему точность доминирует в предвзятости и самоисполняющемся пророчестве. Поведенческие и мозговые науки.

Юссим, Кроуфорд, Стивенс и Англин (2016). Политика социально-психологической науки: искажения в социальной психологии межгрупповых отношений. В P. Valdesolo и J. Graham (eds), Социальная психология политической поляризации.

Стил и Аронсон (1995). Стереотипная угроза и эффективность афроамериканцев. Journal of Personality and Social Psychology, 69, 797-811. – представлены в качестве примера, как неправильно интерпретировать данные

Юссим (2016). Что объясняет демографические пробелы? Психология сегодня.

—–

Эта запись, как и предыдущая, была вдохновлена ​​этим сообщением в блоге Санджаем Шриниваста. Санджай был на переднем крае улучшения психологической науки, и его должность была искусственной программой для курса под названием «Все есть F **** d: The Syllabus». Санджай определяет научную практику, поскольку они представляют «… сложные концептуальные проблемы, к которым реалистичные, реальные решения для работающих ученых либо недоступны, либо регулярно игнорируются на практике».

Неделя за неделей, курс непристойности Санджая представляет показания, в которых утверждается, что некоторые аспекты того, что мы воспринимаем как должное как «хорошую» науку в психологии, – это f. Сюда входят эксперименты, обзоры, статистика, метаанализ, репликация и многое другое.

Дело в том, что я преподаю два реальных курса по одной и той же теме с 2014 года. Здесь представлен мой выпускник. Мой предыдущий пост моей учебной программы является более хорошим, общим обзором для заинтересованного читателя с базовым образованием в колледже или который широко читается и имеет разумную численность (на самом деле вам не требуется образование в колледже).

Однако курс града имеет некоторые общие источники, но многие технические показания. Ничего святого в них нет, но это те, которые я назначил. Я преподавал этот курс весной 2015 года, и с тех пор я обнаружил всевозможные интересные источники (целая ведро на сайте Санджая). Многие, вероятно, будут включены в следующий раз, когда я буду преподавать курс.

обзор

Этот класс аспирантов будет сосредоточен на быстро меняющихся изменениях в понимании того, что составляет лучшие практики в проведении научных исследований. Под «научными исследованиями» я имею в виду все аспекты практики, связанные с производством научных знаний.

Я использую термин «научная целостность» для обозначения двух связанных, но отдельных идей: 1. Личная честность отдельных ученых в проведении и отчетности их исследований; и 2. Разработка надежных органов выводов, которые являются действительными и неважными. Очевидно, что нечестные или вводящие в заблуждение практики могут нанести ущерб науке. В то время как личная нечестность может объяснить такие проблемы, как мошенничество с данными, такие случаи крайне редки, а не в центре внимания этого курса.

Это второй смысл термина «научная целостность», который будет в центре внимания этого курса.

Даже когда исследователи не испытывают недостатка в личной неприкосновенности, обычные обычаи в своей области могут приводить к выводам, которые вводят в заблуждение или недействительны. В этом смысле научная целостность тесно соответствует традиционному пониманию термина «справедливость», хотя основное внимание в этом курсе отличается от традиционного обзора типов действительности (лица, внутреннего, внешнего, экологического и т. Д.), Такие формы, по-видимому, являются охватываемых нашим курсом регулярных методов)

Наука о «правильном понимании» (Целевая группа SPSP, см. Показания первой недели). Речь идет о создании претензий и выводов, которые верны. Это включает в себя: 1. формирование достоверных новых знаний; и 2. Разработка инструментов, необходимых для определения, исходя из существующих результатов исследований, какие выводы являются истинными, а какие нет.

Просто потому, что некоторые утверждения опубликованы, это не делает их «истинными». Как только это признано, возникает естественный вопрос: «Как мы можем отличить то, что истинно от того, что не является истинным?» Это работа для новых методов и статистики, новых использует старые методы и статистику, а также концептуальные инструменты для определения того, как идентифицировать систематические ошибки и предубеждения в научной литературе.

Краткое, но важное касательное

Многие социальные психологи отказываются заявлять, что некоторые претензии «неправильны». Это, похоже, происходит потому, что это, по-видимому, часто воспринимается как личная атака на заявителя, чтобы заявить, что какое-либо научное утверждение является «неправильным». См. Это оскорбительно объявить психологическую претензию неправильно ? для более подробной информации об этом.

Тем не менее, этот курс будет подчеркивать роль флексизации Popperian в создании и оценке научных знаний. В этом контексте единственный путь вперед включает идентификацию и способы, с помощью которых данные фальсифицируют научные претензии. Кроме того, получение его вначале включает в себя навыки распознавания, когда мы ошибались. Рассмотрим следующее: от Ричарда Альперта, бывшего президента Национальной академии наук (цитируется в The Economist, 2013):

«И самим ученым необходимо разработать систему ценностей, в которой просто перейти от своих ошибок, не публично признавая их суровыми убытками, а не защищая научную репутацию».

Таким образом, разработка научных, научных, интеллектуальных и методологических инструментов для определения истинных из ложных научных выводов, претензий и выводов будет центральным направлением этого курса.

Цели курса

Этот курс имеет три основные цели: 1. Понимать источники и проявления субоптимальных практик в научных исследованиях (невоспроизводимые результаты, неопровержимые исследования, недостижимые данные, недействительные или неархивированные статистические анализы и методологические процедуры, вводящие в заблуждение или завышенные выводы и т. Д.), 2. Чтобы проанализировать попытки реформ в настоящее время и критически оценить, какие угрозы для научной целостности они, по-видимому, нацелены, насколько они успешны, как империалистически оценить их успех и определить, какие угрозы для научной целостности они вряд ли будут решать ; и 3. Представьте введение в концептуальные и эмпирические инструменты, доступные в настоящее время для определения того, как определить, какие существующие претензии возникают, из которых существуют действующие органы доказательств.

Структура классов

Большинство занятий будут включать обсуждение показаний этой недели (см. Раздел «Градация» ниже). Однако, когда новые методологические или статистические методы (например, тесты на чрезмерное значение, графики воронки, p-изгиб, индексирование невероятности, оценка фактора N-Pact, доверительные интервалы [не новы в великой схеме вещей, но необходимы и, возможно, , незнакомые многим ученикам], я могу читать лекции для части или всего класса.

профилирование

Ведущая дискуссия: 20%

Каждую неделю назначается несколько показаний. 1-2 студентам потребуется: 1. Создать набор вопросов для обсуждения; 2. Распространять их по крайней мере за 3 дня до занятий; 3. Инициировать, вести и фокусировать обсуждение показаний на этой неделе.

Участие: 20%

Как и все мои другие классы, кроме 522 (класс 2-го града-стата), участие является обязательной и неотъемлемой частью класса.

Резюме: 10%

Прежде всего, чтобы гарантировать, что они, как правило, действительно читают необходимые статьи, они должны будут предоставить краткое резюме каждой статьи.

Основная бумага: 50%

Основная статья будет включать использование одного из новых методов оценки достоверности исследования (например, предоставление графика воронки или p-кривой в отношении исследований в метаанализе); используя простой метод оценки качества исследования (например, ошибки или неполноты в областях исследований) и / или получение данных из опубликованного источника и оценку того, можно ли воспроизвести результаты (примечание: я использую термин «воспроизведение» для ссылки на ответ на вопрос: после получения опубликованных данных, если сделать точный анализ, который описывают авторы, получается ли тот же самый результат?).

Некоторые могут утверждать, что, в отличие от того, что проходит для «научной» психологии, по крайней мере Маг Уилл Ферн признает, что создает иллюзии.