Мы хотим прагматичных руководящих принципов для принятия решения о том, кого, если кто-либо из предполагаемых экспертов, выслушает, принимая трудное и важное решение Как мы можем узнать, кто действительно заслуживает доверия?
Итог: мы не можем знать наверняка. Нет железных критериев.
Однако есть мягкие критерии, показатели, на которые мы можем обратить внимание. На данный момент я определила семь, опираясь на такие документы, как Crispen & Hoffman, 2016 и Shanteau, 2015, и на предложения Дэнни Канемана и Роберта Хоффмана. Даже если ни один из этих критериев не является надежным, все они кажутся полезными и актуальными:
(а) Успешная работа – измеримый опыт принятия хороших решений в прошлом. (Но с большой выборкой, некоторые из нас очень хорошо справляются просто по счастливой случайности, такие как сборщики акций, которые точно назвали направление рынка за прошлые 10 лет.)
(б) взаимное уважение. (Но оценки сверстников могут быть загрязнены уверенным отношением человека или беглым объяснением причин для выбора.)
(в) Карьера – количество лет выполнения задачи. (Но у некоторых 10-летних ветеранов один год опыта повторяется 10 раз, и, что еще хуже, некоторые профессии не дают возможности для содержательной обратной связи.)
(d) Качество молчаливых знаний, таких как ментальные модели. (Но некоторые эксперты могут быть менее четкими, потому что молчаливое знание по определению трудно сформулировать.)
(е) Надежность. (Надежность необходима, но не достаточна. Часы, которые медленно работают один час, будут очень надежными, но абсолютно неточными).
(f) Полномочия – лицензирование или сертификация для достижения профессиональных стандартов. (Но полномочия просто означают минимальный уровень компетенции, а не достижение экспертизы.)
(ж) Отражение. Когда я спрашиваю «Какова была последняя ошибка, которую вы совершили?», Большинство авторитетных экспертов сразу же описывают недавнюю ошибку, которая их ела. Напротив, подмастерье, изображающие из себя экспертов, обычно говорят, что не могут думать ни о чем; они кажутся искренними, но, конечно, они могут притворяться. А некоторые настоящие эксперты, когда их спрашивают о недавних ошибках, могут по разным причинам решить не делиться ни с одним из них, даже с теми, о которых они размышляли. Таким образом, этот критерий отражения и искренности не более надежен, чем другие.
Поэтому, даже если мы не можем знать наверняка, мы все равно можем принять решение о том, кого считать экспертом. Посмотрите на критерий (d) выше. Молчаливые знания включают в себя навыки восприятия. Рассмотрим комментаторов на олимпийских мероприятиях, таких как дайвинг. Они видят вещи, которые мы не видим, пока они не показывают нам в замедленном темпе. Я бы назвал их экспертами. Распознавание образов является еще одним аспектом молчаливого знания. Пожарные, которых я изучаю, используют распознавание образов, чтобы оценить ситуации, которые кажутся мне непонятными, и последующие события подтверждают их суждения. Я считаю их экспертами. Ожидание является еще одним аспектом молчаливого знания. При пожаре я смотрю на размеры и интенсивность пламени и размышляю о том, какое дополнительное оборудование потребуется. Но опытные командиры думают о том, где разместить это оборудование – где разместить каждый грузовик, чтобы он не мешал другим грузовикам и не перебегал через шланги. Они далеко впереди меня. Я считаю их экспертами. Ментальные модели – это еще один тип молчаливых знаний. Операторы нефтехимического завода, которые я только что изучал, могут описать агрегаты на заводе и способы их соединения и как они работают, а также как они не работают, как они могут сломаться, как тонкое событие, например, Отказ датчика повлияет на производительность, а также на то, как его можно обнаружить и как обойти его. Они знают о причинах и причинных взаимодействиях, о которых я даже не догадываюсь. Я считаю их экспертами.
Вернитесь к упреждающему мышлению. Во время кубинского ракетного кризиса в 1962 году некоторые члены команды Джона Ф. Кеннеди хотели начать неожиданную атаку против Кубы. Другие, настоящие эксперты, указывали на вероятность того, что СССР может нанести ответный удар ударом по Западному Берлину, что, вероятно, приведет к ядерной войне. Таким образом, они не предлагали прогнозы. Вместо этого они использовали свои ментальные модели, чтобы проиллюстрировать геополитические последствия. Я считаю эту вторую группу экспертами. Они видели вещи, видели последствия, а другие – нет.
Моя точка зрения заключается в том, что критерий (d) дает нам большие рычаги при оценке того, кто является экспертом. Он предлагает нам переходную меру – видеть то, чего нет у других. Запись о том, что мы видим вещи, которые оказываются точными. Это то, что делают эксперты, и это то, что отмечает их как экспертов. Klein & Hoffman (1993) дают дополнительное обсуждение того, как эксперты могут видеть невидимое – молчаливое знание, составляющее ядро Стратегии (d).
Это относительное преимущество, эксперты по сравнению с остальными из нас, является иной точкой зрения, нежели принятие абсолютного критерия того, насколько близки предполагаемые эксперты к фактическому ответу. Когда люди демонстрируют, что они видят важные вещи, которые я не заметил, именно тогда я решаю положиться на их опыт. Я не ожидаю, что они будут идеальными. Но я ценю, что они намного лучше меня и лучше других в комнате.
Дэнни Канеман (личное общение) предложил дополнение к Стратегии (d): говорить оригинальные вещи, которые не глупы. Это еще один способ, которым эксперты проявляют себя через свои комментарии и наблюдения.
Незначительный момент: я не вижу четкого разграничения или стадии становления экспертом. Я вижу это как континуум, как относительное преимущество перед другими.
Есть ли специалисты в каждой области человеческого предпринимательства? Я так не думаю. Есть поля, которые очень процедурные. Люди считаются экспертами, если они знают, к какой странице процедурного руководства обращаться. Я не считаю их экспертами, и я не верю, что есть эксперты в каждой области. На самом деле, с большим оборотом, я вижу много областей, в которых нет экспертов.
Как насчет астрологов? В до-научную эпоху астрологи развивали молчаливые знания, были очень четко сформулированы и считались экспертами. В до-научном мире люди не рассматривали бы большинство критериев, которые я перечислил в начале этого эссе. Мы исключаем (а) успешную работу и (г) качество молчаливых знаний и (д) измерение надежности и (е) профессиональную сертификацию. Это оставляет (б) взаимное уважение и (в) карьеру. Так что, да, в преднаучном мире очень хорошо сформулированный астролог проходит проверку. То же, что и фондовый селектор или телевизионный политический эксперт, даже сегодня.
Наконец, давайте рассмотрим критерий (е) надежности. Этот критерий необходим, но не достаточен. Это необходимо, поскольку авторитет эксперта зависит от выработки одних и тех же рекомендаций с учетом одних и тех же данных.
Некоторые люди хотели бы расширить понятие надежности, чтобы охватить надежность между экспертами, но Джим Шанто (2015), один из ведущих экспертов в области экспертизы, отметил, что есть смысл в том, чтобы разные эксперты выражали разные точки зрения. Мы часто используем экспертов не в качестве прогнозистов, а в качестве консультантов, и мы можем извлечь выгоду из их различных точек зрения.
Таким образом, мы действительно ищем надежность внутри экспертов. Шанто показал, что надежность внутри экспертов варьируется в зависимости от области. Для синоптиков, делающих краткосрочные прогнозы, надежность внутри эксперта составляет 0,98. Что касается других доменов, то он по-прежнему достаточно велик, хотя и значительно уменьшен, но я считаю, что он намного выше, чем для новичков, например, r = 0,62 для инспекторов зерна и r = 0,40 для клинических психологов.
Однако я не думаю, что мы можем просто посмотреть на статистическую достоверность. Я думаю, что мы также должны изучить надежность процесса. Рассмотрим надежность тест-ретест. Вы проводите тест из 10 пунктов во время 1, а затем проводите тот же тест во время 2. Если бы я набрал 5/10 во время-1 и 5/10 во время-2, вы, скорее всего, посчитаете это показателем надежности тест-повторного тестирования. Я получил один и тот же счет оба раза.
Но скажем, я получил первые 5 предметов прямо во время 1, а последние 5 предметов получил прямо во время 2. Несмотря на то, что я получал одинаковые 5/10 баллов оба раза, моя производительность была совершенно другой. Мой результат показывает полную ненадежность, а не надежность. Вот почему я утверждаю, что нам нужен второй критерий, критерий процесса, в дополнение к статистическому.
Кроме того, мы должны быть осторожны с критерием надежности, потому что мы не хотим побуждать людей стремиться к слишком высокой надежности, которая будет стимулировать жесткость, а не постоянное исследование, которое является центральным для становления экспертом.
Итак, семь критериев. Чтобы считаться экспертом, человек должен соответствовать хотя бы одному из этих критериев, и, вероятно, было бы неплохо ожидать, что человек соответствует хотя бы двум или трем критериям. Мы не должны пытаться отмечать количество критериев, которые встречаются, потому что качество также имеет значение, особенно с критерием (d) качество идей человека. И мы также должны остерегаться критериев, которые могут нас обмануть, таких как уверенность в себе.
Мы могли бы попытаться стать более искусными в выявлении экспертов, вынесении суждений и получении обратной связи, а также обдумывании того, что мы должны были заметить и что мы должны были обесценивать. Таким образом, возможно, мы сможем накопить опыт в выявлении экспертов.
Рекомендации
Криспен П. и Хоффман Р.Р. (2016). Сколько экспертов? IEEE Intelligent Systems, ноябрь / декабрь, 56-62.
Кляйн Г.А. & Хоффман Р.Р. (1993). Видеть невидимое: восприятие / когнитивные аспекты экспертизы. В М. Рабинович (ред.), Когнитивные науки основы обучения (стр. 203-226). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.
Шанто, J. (2015). Почему домены задач (до сих пор) имеют значение для понимания опыта. Журнал прикладных исследований памяти и познания, 4, 169-175.
