Как сделать рейтинг экспертов объяснимым

Как сделать рейтинг экспертов объяснимым

user avatar

от me1afon

16 minutes ago


ИИ-инструменты помогали собирать исследования и писать первый черновик этой статьи. Я отредактировал текст и сверил каждое правило, цифру и цитату с оригинальным текстом, страницей самой организации или новостным сообщением, названными в конце. Обложка создана ИИ. Подробности в конце статьи.

Список «Топ-50 криптоаналитиков» ставит кого-то на 12-е место с оценкой 88. Читатель воспринимает это как совет, кому доверять. Аналитик на 12-м месте делится списком. Аналитик, который рассчитывал на первую десятку, а оказался на 31-м месте, хочет понять, что пошло не так. Аналитик, которого в списке нет вовсе, не знает, рассматривали ли её.

Все они задают один вопрос: почему эта строка здесь? Рейтинг экспертов — это утверждение о реальных людях, и утверждение должно поддаваться проверке. Статья доказывает, что объяснимому рейтингу нужны четыре части: опубликованная формула, названные веса с обоснованием, разбор по каждой строке и апелляция, способная реально изменить результат.

Это десятая часть серии «Влияние и стимулы» о том, как другие люди, правила и награды формируют то, что мы решаем, пишем и публикуем. Прошлые части об авторах спрашивали, что считать помимо объёма, как награды меняют то, что публикуют, как накручивают метрики авторов и почему размер аудитории — не авторитет в теме. Эта часть исходит из того, что вы уже выбрали, что измерять, и посвящена тому, как показать ход расчёта. Как честно сравнивать новичков с известными авторами, расскажет следующая часть.

Оценку должен мочь проверить кто-то другой

Самая известная формулировка этой идеи пришла из оценки научных исследований. В 2015 году пять исследователей опубликовали в Nature «Лейденский манифест» — десять принципов использования метрик при оценке учёных и университетов [1]. Два из них составляют ядро этой статьи.

Принцип 4 гласит: «Сохраняйте сбор данных и аналитические процессы открытыми, прозрачными и простыми». Авторы добавляют: «никто не должен принимать оценочную машину с чёрным ящиком» [1]. Принцип 5: «Позвольте оцениваемым проверять данные и анализ». Каждый, кто включён в исследование, по словам манифеста, должен иметь возможность убедиться, что его работы определены правильно [1].

Манифест показывает и то, чем открытость окупается. В 2010 году публичная дискуссия о технических свойствах показателя, который использовала одна из групп самих авторов, — Центр изучения науки и технологий Лейденского университета, — привела к пересмотру способа его расчёта [1]. Посторонние смогли найти изъян, потому что метод был опубликован.

Часть 1: опубликуйте формулу и входные данные

Одна формула — это половина объяснения. Вторая половина — данные, которые в неё подставляют.

Рейтинг американских университетов U.S. News показывает обе половины. Его методика открыта: согласно анализу 2022 года, который выполнил Майкл Тэддеус, профессор математики Колумбийского университета, 20% места университета давал опрос коллег, а остальные 80% «основывались исключительно на числовых данных, собранных самим учреждением» [2]. Колумбийский университет поднялся с 18-го места при первом появлении в рейтинге в 1988 году на 2-е [2].

Поскольку показатели были названы, Тэддеус мог их проверить. Он сравнил цифры, которые сообщил Колумбийский университет, например размеры классов и соотношение студентов и преподавателей, «с цифрами, вычисленными другими способами на основе информации, которую университет сам опубликовал в других местах» [2]. Один пример: университет сообщил, что у 82,5% его бакалаврских классов меньше 20 студентов, что намного выше, чем у конкурентов из первой сотни [2]. Он заключил, что несколько ключевых цифр, лежащих в основе рейтинга, «неточны, сомнительны или сильно вводят в заблуждение» [2].

В сентябре 2022 года Колумбийский университет упал на 18-е место. CBS New York сообщила, что университет признал: в прошлые годы он передавал неточные данные, а U.S. News для нового рейтинга использовал данные из альтернативных источников [3].

Опубликованный метод сделал возможной внешнюю проверку. Но входные данные сообщал сам университет, поэтому проверка осталась на совести постороннего. Тэддеус также отметил, что U.S. News раскрыл лишь два из пяти используемых процентов по размеру классов [2]. Объяснимый рейтинг публикует метод, показывает, откуда взят каждый вход, и говорит, какие из них проверены.

Часть 2: назовите веса и объясните их

Когда рейтинг сводит несколько показателей в одну оценку, веса определяют, что он ценит. Европейское право требует чего-то близкого в соседней области. Статья 27 Закона о цифровых услугах требует, чтобы онлайн-платформы, использующие рекомендательные системы, излагали «простым и понятным языком основные параметры» этих систем [4]. В число параметров должны входить «наиболее значимые критерии» отбора рекомендуемого и «причины относительной важности этих параметров» [4]. Закон касается рекомендательных систем платформ, а не любого списка экспертов, но стандарт полезен: назвать, что весит больше всего, и объяснить почему.

Некоторые рейтинговые сервисы движутся в эту сторону. Favikon, который ранжирует авторов по нескольким сетям, опубликовал свою перестроенную формулу 3 ноября 2026 года, заметив: «Число с таким весом должно сопровождаться показом расчёта» [5]. Теперь оценка складывается из Reach 30%, Engagement 30%, Audience 30% и Consistency 10%, каждая по шкале от 0 до 100, и умножается на коэффициент достоверности от ×0,50 до ×1,15. Компания пишет, что теперь работает «по единой формуле с одинаковыми весами для каждого автора в каждой сети» [5]. Пока коэффициент применяется только в LinkedIn [5].

Опубликованные веса не делают рейтинг верным. Они делают его предметом спора. Читатель теперь видит, что размер аудитории весит столько же, сколько вовлечённость, и может решить, подходит ли это для его вопроса. Обоснования важны не меньше цифр: «стабильность весит 10%, потому что мы не хотим поощрять объём публикаций» — это довод, который читатель может проверить.

Возражение о накрутке

Частая причина держать формулу в секрете — что публикация поможет её обмануть. Отчасти это верно. Большую часть возражения снимает Лейденский манифест. Его девятый принцип предупреждает, что показатели меняют систему через создаваемые стимулы и что «единственный из них пригласит накрутку и подмену целей» [1]. Защита, которую он предлагает, — набор показателей, а не секретность. Несколько показателей, которые трудно подделать одновременно, противостоят накрутке, даже когда все знают формулу; одно число легко накрутить в любом случае.

У секретности своя цена. Скрытую формулу скорее всего разгадают те, кто будет часами проверять, что двигает их оценку. Честным участникам остаётся гадать.

Я предлагаю золотую середину: публиковать формулу и веса; держать в тайне точные сигналы, по которым выявляют поддельную вовлечённость, но публиковать, что такая проверка существует, как она может изменить оценку и как её оспорить. Страница Favikon отчасти так и делает: она называет диапазон коэффициента достоверности и оценку, при которой он ни на что не влияет, — около 78 [5]. Читатель знает максимальный штраф, но не получает рецепта, как его обойти.

Часть 3: разбор по каждой строке

Опубликованная формула объясняет рейтинг в целом. Она не говорит номеру 31, почему она 31-я.

Простой пример — система репутации Stack Overflow. Справочный центр перечисляет каждое событие, меняющее репутацию пользователя, и на сколько: ответ, за который проголосовали, приносит +10, принятый ответ +15, ответ с минусом стоит −2 [6]. Есть дневной предел в 200 очков за голоса и правки. Отменённые голоса отменяют очки, как и голоса, снятые за мошенничество с голосованием [6]. У пользователя есть страница репутации с перечнем каждого изменения, включая записи вроде «voting corrected» [6]. Любую оценку можно проследить до событий, из которых она сложилась.

Рейтинг экспертов сложнее подсчёта очков, но принцип переносится. Для каждой строки покажите:

  • оценку по каждому компоненту и вклад каждого в итог после взвешивания;
  • период, который охватывают данные, и дату последнего обновления;
  • применённые штрафы или поправки и опубликованное правило, на котором они основаны;
  • источники данных и то, какие из них проверил человек.

Разбор должен объяснять и движение. Место может измениться, потому что изменились числа самого человека, потому что изменились числа других людей или потому что изменился метод. Страница Favikon затрагивает одну из причин: группы сравнения пересобираются первого числа каждого месяца, а между этим «ваш процентиль меняется, только когда меняются ваши собственные числа» [5]. Рейтинг, который показывает «поднялся на 4 места», не говоря, что из этих трёх случилось, ничего не объясняет.

Четыре части объяснимого рейтинга. 1 — опубликованная формула и её входные данные с источником каждого и пометкой, проверен ли он. 2 — названные веса с обоснованием каждого. 3 — разбор по каждой строке: оценки компонентов, вклады, период данных, последнее обновление, штрафы и правило за ними. 4 — апелляция с тремя запросами: исправить мои данные, оспорить мою категорию или метод, удалить меня; на каждый отвечает человек, изменения записываются в журнал. Основано на Лейденском манифесте, Законе о цифровых услугах и GDPR.

Часть 4: апелляция, которая способна изменить результат

Если кто-то из списка считает цифру неверной, куда ему идти и что будет дальше? В некоторых случаях закон уже задаёт базовый уровень. По GDPR люди вправе требовать исправления неточных персональных данных о себе «без неоправданной задержки» и дополнения неполных, в том числе «дополнительным заявлением» (статья 16) [7]. По статье 21 они вправе в любой момент возразить против обработки на основании законных интересов, «включая профилирование», и тогда оператор должен показать убедительные законные основания продолжить [7]. Подпадает ли конкретный рейтинг под GDPR, зависит от того, кто его ведёт и кого охватывает; это не юридическая консультация.

Закон о цифровых услугах предлагает модель процесса. Статья 20 требует, чтобы онлайн-платформы предоставляли пользователям не менее шести месяцев после таких решений, как ограничение видимости их контента или возможности зарабатывать на нём, «эффективную внутреннюю систему рассмотрения жалоб», работающую «в электронном виде и бесплатно» [8]. Рейтинг не такое решение, но элементы переносятся: понятное место для жалобы, бесплатность, срок и ответ человека.

На практике форме апелляции для рейтинга нужны три отдельные двери, потому что они ведут к разной работе:

  1. Исправьте мои данные. Пропущенный аккаунт, неверная цифра, устаревшая должность.
  2. Оспорьте мою категорию или метод. «Я исследователь, а не трейдер» или «ваша мера вовлечённости игнорирует мою рассылку». Ответ может изменить метод для всех.
  3. Удалите меня. Возражение против самого факта ранжирования, которое заслуживает решения и письменного обоснования.

Две защиты делают путь честным. Запросы нужно проверять, чтобы соперник не мог убрать конкурента, выдав себя за него. А исправления нужно записывать в публичный журнал изменений, чтобы читатели видели, как и почему меняется рейтинг.

Чего не означает «объяснимый»

Объяснимый не значит верный. Рейтинг может показать каждый шаг и всё равно измерять не то. Объяснение делает ошибки видимыми, но не предотвращает их. Здесь применим десятый принцип Лейденского манифеста: «Регулярно проверяйте показатели и обновляйте их» [1].

Не значит это и выставление всего напоказ. Разбор должен сообщать измеримое нейтральными словами. «Обсуждение относительно аудитории: низкое» — цифра, которую человек может проверить и оспорить. «Бот-ферма» — обвинение, и рейтинг, который его публикует, должен человеку доказательства и возможность быть выслушанным. Подозрения в мошенничестве принадлежат внутренней очереди проверки, а не публичной странице.

Разобранный пример (вымышленный)

Рейтинг, аналитик и все цифры ниже придуманы, чтобы показать четыре части в работе.

Издание ежемесячно публикует топ-50 независимых рыночных аналитиков. На странице методики названы четыре компонента и веса: глубина по теме 35%, качество обсуждения 30%, вовлечённость относительно аудитории 20%, стабильность 15%. Примечание объясняет, почему у размера аудитории нет отдельного веса: список нужен, чтобы находить аналитиков, которых стоит читать, а не самых многочисленных по подписчикам.

Аналитик К. стоит на 31-м месте с оценкой 61. В её строке виден разбор:

Компонент Вес Её оценка (0–100) Вклад
Глубина по теме 35% 84 29,4
Качество обсуждения 30% 48 14,4
Вовлечённость относительно аудитории 20% 55 11,0
Стабильность 15% 41 6,2
Итого     61,0

В строке сказано, что данные охватывают 90 дней до 1 ноября и штрафов не применялось. Аналитик К. видит, где теряет очки, — в стабильности и обсуждении, — и почему. Рейтинг учитывает только её записи в X, а большая часть её работы и ответов читателям находится в еженедельной рассылке.

Она идёт во вторую дверь, «оспорить метод». Редакторы соглашаются, что рассылка — часть её опубликованной работы, добавляют рассылки как источник для каждого аналитика, который на неё ссылается, и фиксируют изменение в журнале. Её оценки стабильности и обсуждения растут, как и у шести других аналитиков. В следующем месяце она на 18-м месте, и журнал изменений объясняет почему.

Пять вопросов к любому рейтингу экспертов

  1. Могу ли я прочитать формулу и увидеть, откуда берутся входные данные? Если нет, перед нами мнение с числом на нём.
  2. Названы ли веса и дано ли обоснование каждого? В весах живут ценности рейтинга.
  3. Могу ли я увидеть, почему у строки такая оценка? Оценки компонентов, вклады, период данных, последнее обновление и штрафы.
  4. Есть ли способ исправить, оспорить или возразить, и меняет ли он что-нибудь? Ищите отдельные пути и публичный журнал изменений.
  5. Что изменилось с прошлого выпуска и почему? Это их данные, чужие данные или метод?

Пять вопросов к любому рейтингу экспертов: могу ли я прочитать формулу и увидеть, откуда берутся входные данные; названы ли веса и дано ли обоснование каждого; могу ли я увидеть, почему у строки такая оценка; есть ли способ исправить, оспорить или возразить, и меняет ли он что-нибудь; что изменилось с прошлого выпуска и почему.

Чего эта статья сказать не может

Источники взяты из оценки научных исследований, рейтингов университетов, права ЕС, компании по аналитике авторов и сайта вопросов и ответов. Ни один не измеряет, точнее ли объяснимые рейтинги или больше ли им доверяют, и такого исследования для рейтингов экспертов и авторов я не нашёл. Цифры по Колумбийскому университету взяты из анализа одного профессора и новостного сообщения о признании университета; сами данные я не проверял. Формула Favikon описана так, как её публикует компания; как она применяется к отдельным профилям, я проверить не мог, потому что полный разбор есть в её платном продукте аналитики. Юридические разделы описывают, что говорят тексты, а не как они применяются к какому-либо рейтингу. Четырёхчастная структура и золотая середина в вопросе накрутки — мой собственный синтез. Это не юридическая, финансовая или инвестиционная консультация.

Как сделана эта статья

Задача Что сделал ИИ Что сделал человек Как проверено
Исследование Собрал материал о рейтингах авторов, формулах оценки и правах на данные в исследовательские заметки Выбрал вопрос и источники, на которые опираться Каждое правило, цифра и цитата сверены с оригинальным текстом или страницей [1]–[8]
Черновик Написал первый черновик по заметкам Отредактировал текст, структуру и разобранный пример Отдельная проверка сверила цифры и утверждения с источниками
Изображения Создал обложку в фотографическом стиле; собрал схемы по шаблону в коде Выбрал иллюстрацию и содержание схем Помечено как созданное ИИ в строке раскрытия и в альтернативном тексте
Не делал ИИ — Решение о публикации и ответственность за текст —

Конфликт интересов: нет. У автора нет коммерческих отношений с Favikon, U.S. News, Stack Overflow и другими названными организациями; рейтинг и аналитик в примере вымышлены.

Ответственный за статью: Дмитрий Ластовка, автор. Исправления: форма связи.

Источники

Пометки: official (страница самой организации или текст закона), report (новостное сообщение), paper (опубликованная статья или исследование), analysis (независимый анализ автора, названного по имени).

  1. Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke, Ismael Rafols, "Bibliometrics: The Leiden Manifesto for research metrics", Nature 520 (2015), 429–431, опубликовано 22 апреля 2015. https://doi.org/10.1038/520429a Paper (комментарий; полный текст прочитан по копии, распространяемой авторами).
  2. Michael Thaddeus, "An Investigation of the Facts Behind Columbia's U.S. News Ranking", февраль 2022, пересмотрено в марте 2022. https://www.math.columbia.edu/~thaddeus/ranking/investigation.html Analysis.
  3. CBS New York, "Columbia University drops from 2nd to 18th on annual Best Colleges list", 12 сентября 2022. https://www.cbsnews.com/newyork/news/columbia-university-best-colleges-ranking-2022/ Report.
  4. Regulation (EU) 2022/2065 (Digital Services Act), Article 27, "Recommender system transparency". https://eur-lex.europa.eu/eli/reg/2022/2065/oj Official.
  5. Ailin Oyhanarte, "How the Favikon Score Works (With Examples)", Favikon, 3 ноября 2026. https://www.favikon.com/rankings/favikon-methodology-algorithm Official.
  6. Stack Overflow, "What is reputation? How do I earn (and lose) it?", Help Center. https://stackoverflow.com/help/whats-reputation Official.
  7. Regulation (EU) 2016/679 (General Data Protection Regulation), Articles 16 and 21. https://eur-lex.europa.eu/eli/reg/2016/679/oj Official (текст прочитан через gdpr-info.eu).
  8. Regulation (EU) 2022/2065 (Digital Services Act), Article 20, "Internal complaint-handling system". https://eur-lex.europa.eu/eli/reg/2022/2065/oj Official.

Тир I

Сектор: #18291

Запечатанная комната тайников

Resource Cache

Resource Cache

Тир I

Нужно 25% прогресса тира
Meme Cache

Meme Cache

Тир I

Нужно 50% прогресса тира
Equipment Cache

Equipment Cache

Тир I

Нужно 75% прогресса тира

После получения тайники попадут в инвентарь — открыть их можно ключами.

Другие статьи

Как дать читателям Telegram повод открыть полную статью

В Telegram-канале пост и так доходит до подписчиков, трудность в нажатии. Что документирует Telegram и как написать пост, дающий повод открыть статью.

user avatarme1afon

Одна статья, два аккаунта в X, две разные задачи

Личный аккаунт в X и аккаунт издания несут одну статью, но говорить должны разное. Что говорит код ранжирования X, чем различаются человек и бренд.

user avatarme1afon

Как превратить статью в пост LinkedIn

Пост в LinkedIn, который лишь указывает на статью, ничего не даёт читателю. Что измеряет LinkedIn, откуда «штраф 60% за ссылку» и структура из пяти частей.

user avatarme1afon

Как сравнивать авторов, не награждая только первых

Рейтинг по итогам показывает, кто начал раньше. Почему ранние лидеры держатся и как пять поправок помогают честно сравнивать авторов, не наказывая лидеров.

user avatarme1afon

Размер аудитории — не авторитет в теме

Число подписчиков показывает, сколько людей выбрали читать аккаунт, а не разбирается ли автор в предмете. Охват и авторитет в теме нужно оценивать отдельно.

user avatarme1afon

Как распознать накрутку метрик в программах для авторов

Числа, за которые платят авторам, привлекают тех, кто делает число, а не работу. Три способа накрутки, семь признаков и почему признак ещё не доказательство.

user avatarme1afon

Важное примечание: Информация, представленная на портале Dapp.Expert, предназначена исключительно для ознакомительных целей и не является рекомендацией к инвестициям или руководством к действию. Команда Dapp.Expert не несет ответственности за возможные убытки или упущенную выгоду, связанные с использованием материалов, опубликованных на сайте. Перед принятием инвестиционных решений рекомендуем проконсультироваться с квалифицированным финансовым советником.