Производитель вложил средства в клиническое исследование БАД, организовал набор участников, получил итоговый отчет, но ожидаемого результата нет. Основной показатель изменился незначительно, различия между группами оказались статистически незначимыми или положительная динамика наблюдалась только у части участников.
В такой ситуации возникает вопрос, что делать дальше. Повторять исследование с большей выборкой, менять состав продукта, искать дополнительные закономерности в полученных данных или отказаться от первоначальной гипотезы?
Ответ зависит от того, насколько надежно исследование проверяло предполагаемый эффект. Отсутствие статистически значимого результата не всегда доказывает отсутствие действия продукта. Но и объяснять любой неудачный результат недостатками дизайна неправильно. Иногда исследование достаточно убедительно показывает, что ожидаемого эффекта в изученных условиях нет.
Сначала нужно определить, что именно не подтвердилось
Формулировка «исследование не показало эффективность» может скрывать совершенно разные результаты.
Например, в исследовании с контрольной группой основной показатель улучшился у участников, принимавших БАД, но аналогичная динамика наблюдалась и в контрольной группе. В другом проекте различие между группами оказалось заметным, однако из-за высокой вариабельности данных оценка эффекта получилась недостаточно точной.
Бывает и так, что основной показатель не изменился, но положительная динамика наблюдалась по нескольким дополнительным критериям. Это не позволяет объявить исследование успешным, однако может дать материал для формирования новой гипотезы.
Перед принятием решения мы оцениваем не только статистическую значимость, но и величину наблюдаемого эффекта, доверительные интервалы, качество собранных данных и соответствие фактических результатов первоначальному плану исследования.
Недостаточная выборка могла помешать обнаружить эффект
Количество участников влияет на способность исследования выявить различия между группами. Если предполагаемый эффект небольшой, а индивидуальные показатели сильно различаются, для его обнаружения может потребоваться достаточно большая выборка.
Проблема часто возникает, когда объем исследования определяется бюджетом без полноценного статистического обоснования.
Предположим, производитель планировал получить убедительные данные об эффективности продукта, но исследование проводилось на 20–30 участниках. Для некоторых пилотных задач этого достаточно, однако для проверки основной гипотезы такая выборка может оказаться слишком маленькой.
При анализе завершенного проекта мы рассматриваем несколько обстоятельств:
- какой эффект ожидался при планировании;
- на каких данных основывался расчет выборки;
- насколько изменчивым оказался основной показатель;
- сколько участников завершили исследование;
- насколько точна полученная оценка эффекта.
При этом отсутствие статистической значимости не следует автоматически объяснять малым количеством участников. Если наблюдаемое различие практически отсутствует, простое увеличение выборки не обязательно сделает результат клинически значимым.
Продолжительность приема могла не соответствовать исследуемому эффекту
Не все показатели способны заметно измениться за одинаковый период.
Для одних исследовательских задач достаточно относительно короткого наблюдения. Другие предполагают более длительное применение продукта. Продолжительность должна определяться предполагаемым механизмом действия, существующими научными данными и особенностями выбранного показателя.
Если исследование завершилось раньше, чем мог проявиться ожидаемый эффект, отрицательный результат имеет ограниченную интерпретацию.
Но здесь важно не подменять научную оценку предположениями. Увеличение продолжительности оправдано только тогда, когда для этого есть основания. Нельзя утверждать, что продукт обязательно показал бы результат через три месяца, если его не удалось обнаружить через один.
Неправильно выбранные участники могут сделать исследование малоинформативным
Рассмотрим условную ситуацию: производитель хочет оценить влияние БАД на определенный лабораторный показатель, но включает в исследование преимущественно людей, у которых этот показатель изначально находится в оптимальном диапазоне.
Возможности для выраженного изменения могут оказаться ограниченными. При этом результаты нельзя автоматически переносить на участников с другими исходными характеристиками.
Другой пример — слишком неоднородная выборка. В исследовании одновременно участвуют люди с существенно различающимися исходными показателями, образом жизни и сопутствующими факторами. Если эти различия не были учтены при планировании, оценить предполагаемый эффект становится сложнее.
Поэтому после завершения проекта мы проверяем, насколько фактически включенные участники соответствовали первоначальной научной гипотезе.
Основной критерий эффективности мог быть выбран неудачно
Даже при корректной организации исследования можно получить малоинформативный результат, если основной показатель слабо связан с предполагаемым действием продукта.
Иногда производитель выбирает критерий, который удобно измерять, но его изменение лишь косвенно отражает интересующий эффект. В других случаях используется субъективная шкала, недостаточно чувствительная к ожидаемым изменениям.
Отдельная проблема — большое количество показателей без заранее установленного приоритета. Если в проекте оценивали двадцать параметров, а статистически значимые различия обнаружились только по двум, нельзя просто выбрать эти два показателя и представить их как первоначальную цель исследования.
Для интерпретации необходимо знать, какие критерии были основными, какие дополнительными и какие методы анализа предусматривались протоколом.
Как определить, проблема в продукте или в исследовании
После получения отрицательного результата полезно разделить возможные причины.
| Что обнаружено | Что это может означать | Что стоит проверить |
| Различие между группами небольшое, оценка достаточно точная | Ожидаемый эффект, вероятно, отсутствует или мал в изученных условиях | Научную гипотезу и практическую значимость эффекта |
| Различие есть, но оценка очень неточная | Данных недостаточно для уверенного заключения | Выборку, вариабельность и доверительные интервалы |
| Значительная часть участников не соблюдала схему приема | Фактическое применение могло отличаться от запланированного | Приверженность, отклонения от протокола |
| Участники сильно различались по исходным характеристикам | Неоднородность могла затруднить оценку | Критерии включения и заранее предусмотренные факторы |
| Основной показатель не изменился, дополнительные изменились | Возможны новые исследовательские гипотезы | Обоснованность показателей и множественные сравнения |
| Длительность наблюдения не соответствует предполагаемому механизму | Проект мог не охватить необходимый период | Литературные данные о времени появления эффекта |
Ни один из этих признаков сам по себе не доказывает причину неудачи. Однако такой анализ помогает определить, есть ли основания продолжать исследовательскую программу и какие изменения действительно необходимы.
Дополнительная статистическая обработка может уточнить результат
После завершения исследования не всегда требуется сразу планировать новый проект. Иногда сначала стоит вернуться к исходной базе данных.
Мы можем проверить корректность примененных статистических методов, структуру пропущенных данных, распределение показателей, влияние исходных значений и другие факторы, существенные для интерпретации.
Дополнительный анализ способен показать, насколько устойчив первоначальный результат к обоснованным изменениям аналитического подхода. Например, учитывались ли исходные различия между группами и насколько они повлияли на итоговую оценку.
При этом статистическая обработка не должна использоваться для поиска любого положительного результата.
Если основной анализ не подтвердил гипотезу, последующие расчеты не превращают исследование в положительное задним числом. Они могут уточнить выводы и помочь определить направление следующей работы.
Когда имеет смысл отдельно изучить результаты разных групп участников
Иногда общая выборка не демонстрирует ожидаемого эффекта, но внутри нее обнаруживаются различия.
Например, динамика показателя у участников с низким исходным значением отличается от динамики у людей, у которых этот показатель изначально был высоким. Возникает предположение, что действие продукта может зависеть от исходного состояния.
Такой результат представляет интерес, если для него существует научное объяснение.
Но анализ отдельных групп имеет ограничения. При разделении выборки количество участников уменьшается, оценки становятся менее точными, а большое число сравнений увеличивает вероятность случайных находок.
Особенно осторожно следует относиться к группам, которые были выделены уже после просмотра результатов.
Дополнительный анализ может сформировать новую гипотезу, но обычно не заменяет ее проверку в специально спланированном исследовании.
Когда повторное исследование действительно оправдано
Решение о повторном проекте зависит от того, какие вопросы остались открытыми после первого исследования.
Если первоначальная работа была пилотной, дала предварительную оценку эффекта и позволила уточнить параметры будущего проекта, следующий этап может быть логичным продолжением программы.
Если обнаружены существенные методологические ограничения, повторное исследование также может быть оправдано. Но новый протокол должен устранять выявленные проблемы, а не воспроизводить прежнюю схему с надеждой на другой результат.
Иная ситуация — качественно проведенное контролируемое исследование с достаточно точной оценкой, показывающей отсутствие практически значимого эффекта. Здесь повторение аналогичного проекта без новых научных оснований может оказаться нерациональным.
Перед запуском следующего исследования необходимо сформулировать, какую неопределенность оно должно устранить. Если ответить на этот вопрос невозможно, программу пока рано продолжать.
Иногда результаты указывают на необходимость пересмотра продукта
Не всякую исследовательскую проблему можно решить изменением дизайна.
Если данные достаточно надежно показывают отсутствие ожидаемого эффекта, производителю может потребоваться пересмотреть научную концепцию продукта, его состав, дозировку или предполагаемую область применения.
Это особенно актуально для многокомпонентных БАД. Первоначальная гипотеза могла основываться на публикациях по отдельным ингредиентам, тогда как готовая комбинация не продемонстрировала ожидаемого результата.
Однако изменение рецептуры также требует научного обоснования. Нельзя считать, что увеличение дозировки или добавление нового компонента автоматически устранит проблему.
В некоторых случаях наиболее рациональное решение — отказаться от первоначальной гипотезы и не инвестировать в ее дальнейшую проверку.
Отрицательные результаты могут стать основой следующей научной работы
Исследование, не подтвердившее ожидаемый эффект, не обязательно лишено научной ценности.
Если проект был корректно проведен, его результаты могут быть пригодны для публикации. Они также помогают уточнить представления о продукте, оценить величину возможного эффекта и определить ограничения ранее использованной методологии.
Особенно полезны данные, позволяющие отказаться от неэффективного исследовательского подхода до запуска более крупного проекта.
Для производителя это означает, что ценность исследования не должна оцениваться исключительно по наличию статистически значимых положительных результатов. Не менее важно, насколько надежно полученные данные позволяют принять следующее решение.
Как мы работаем с исследованиями БАД, которые не дали ожидаемого результата
В QBIO можно обратиться с уже завершенным исследованием, даже если оно проводилось другой организацией.
Мы начинаем с оценки протокола, итогового отчета, статистического плана и доступной базы данных. Сопоставляем первоначальную гипотезу с фактически полученными результатами, оцениваем методологические ограничения и проверяем, насколько корректны сделанные выводы.
Если исходные данные позволяют, наши специалисты по биостатистике могут провести дополнительный анализ. Параллельно мы оцениваем научную литературу, чтобы понять, существуют ли основания для пересмотра гипотезы, критериев эффективности или характеристик целевой группы.
По результатам такой работы можно определить дальнейшее направление:
- завершить исследовательскую программу, если данные достаточно убедительно не подтверждают ожидаемый эффект;
- использовать существующие результаты для подготовки научной публикации с корректным описанием ограничений;
- разработать следующий проект, устраняющий выявленные недостатки;
- пересмотреть научную концепцию продукта, если первоначальная гипотеза не получила достаточной поддержки.
Мы не рассматриваем повторное исследование как обязательное продолжение неудачного проекта. Его необходимость должна следовать из анализа данных и конкретной научной задачи.
Что производитель должен получить после анализа отрицательного результата
Главный результат такой работы — не объяснение, почему исследование оказалось неуспешным, а обоснованное решение о дальнейшем развитии продукта.
Иногда данные показывают, что необходимо изменить дизайн и повторить проверку гипотезы. Иногда помогают обнаружить более узкую исследовательскую задачу. В других случаях позволяют вовремя отказаться от направления, которое не получило научного подтверждения.
Самый затратный сценарий — автоматически запускать новое исследование, не разобравшись в результатах предыдущего. Если причины неопределенности сохраняются, увеличение бюджета не гарантирует получения более убедительных данных.
Поэтому прежде чем повторять исследование БАД, мы рекомендуем оценить уже собранный материал. Он может оказаться достаточным не для подтверждения первоначальных ожиданий, а для принятия гораздо более важного решения — стоит ли продолжать инвестировать в выбранную научную гипотезу.
