Производитель завершил клиническое исследование БАД, получил отчет, а иногда и опубликовал результаты в научном журнале. Возникает вопрос: достаточно ли одного проекта для дальнейшей работы с продуктом или доказательную базу необходимо расширять?
Универсального ответа нет. Одно качественно проведенное исследование может дать достаточно информации для конкретной задачи производителя. В другой ситуации даже положительные результаты не позволяют сделать уверенные выводы из-за небольшого количества участников, особенностей дизайна или ограничений исследованной группы.
Повторное исследование имеет смысл, когда оно устраняет существенную неопределенность или отвечает на новый вопрос. Если второй проект практически полностью воспроизводит первый, но не повышает надежность выводов и не расширяет возможности использования данных, дополнительные расходы могут оказаться неоправданными.
Сначала нужно определить, что действительно доказало первое исследование
Наличие итогового отчета и положительных результатов еще не позволяет оценить полноту доказательной базы.
Предположим, производитель провел исследование БАД на 40 участниках и получил статистически значимое изменение определенного показателя. Чтобы понять ценность результата, необходимо разобраться, как было организовано исследование.
Была ли контрольная группа? Как распределялись участники? Какой показатель считался основным? Предусматривался ли предварительный расчет выборки? Насколько выраженным оказалось изменение и имеет ли оно практическое значение?
Ответы могут существенно изменить оценку проекта.
Например, исследование без контрольной группы способно показать положительную динамику на фоне приема продукта, но не всегда позволяет надежно отделить предполагаемый эффект БАД от других факторов. Контролируемый проект с заранее установленными критериями эффективности обычно дает больше оснований для интерпретации различий.
Перед решением о повторном исследовании мы рекомендуем оценить не только полученные цифры, но и возможности самого дизайна.
Размер выборки определяет точность полученных результатов
Небольшое исследование может обнаружить выраженный эффект, однако оценка его величины нередко остается неточной.
Например, различие между группами оказалось статистически значимым, но доверительный интервал достаточно широк. Это означает, что истинная величина эффекта может существенно отличаться от наблюдаемой оценки.
Второе исследование с обоснованным количеством участников способно уточнить результат и проверить, воспроизводится ли он в новой выборке.
Но увеличивать количество участников только ради более внушительного отчета нерационально. Если первый проект был достаточно крупным, корректно спланированным и позволил получить точную оценку, повторение аналогичной работы может не дать существенного прироста информации.
После пилотного исследования следующий этап часто оправдан
Пилотный проект обычно проводится для предварительной проверки гипотезы и оценки параметров будущего исследования.
Его результаты могут помочь определить ожидаемую величину эффекта, изменчивость показателей, особенности набора участников и приемлемость выбранной схемы наблюдения.
Например, производитель провел небольшое исследование, в котором изучалось влияние БАД на качество сна. Полученные данные показали перспективную динамику, но проект не предусматривал полноценного контроля и не был рассчитан на окончательную проверку эффективности.
В таком случае следующий этап может включать контрольную группу, рандомизацию, обоснованную выборку и заранее определенный основной показатель.
При этом второй проект не обязан повторять все решения пилотного. Его задача — использовать накопленный опыт и устранить ограничения, которые мешали сделать более уверенные выводы.
Воспроизводимость результата повышает его научную ценность
Положительный результат одного исследования может зависеть от особенностей конкретной выборки, условий проведения и случайных колебаний показателей.
Если независимое последующее исследование демонстрирует сопоставимый эффект, уверенность в первоначальном выводе повышается.
Но воспроизводимость не означает, что все цифры должны совпадать. Даже при одинаковом дизайне результаты двух проектов могут различаться из-за естественной вариабельности, характеристик участников и других факторов.
Важно оценивать не только наличие статистической значимости в каждом исследовании, но и направление, величину и точность полученных оценок.
Если первый проект показал выраженный эффект, а второй — значительно меньший, это требует анализа. Причиной могут быть как различия в проведении исследований, так и первоначальная переоценка эффекта.
В такой ситуации объединенная оценка данных нескольких проектов иногда оказывается информативнее, чем рассмотрение каждого отчета отдельно.
Когда второе исследование должно подтверждать первое
Повторение первоначальной гипотезы наиболее оправдано, если производителю необходимо повысить надежность уже полученного результата.
Такая задача может возникнуть после небольшого исследования с перспективными данными, проекта с ограниченной точностью оценки или работы, результаты которой планируется использовать в долгосрочной научной программе.
При подтверждающем исследовании важно сохранить сопоставимость ключевых элементов: состава БАД, дозировки, целевой группы, основного показателя и продолжительности применения.
Это не означает, что протоколы должны быть полностью одинаковыми. Например, во втором проекте можно устранить методологические ограничения первого. Однако существенные изменения исследовательской задачи затруднят прямое сравнение результатов.
Изучение другой группы участников отвечает на новый вопрос
Предположим, первое исследование проводилось среди людей определенного возраста. Производитель планирует развивать продукт для более широкой аудитории и хочет понять, насколько полученные результаты применимы к другим группам.
Для этого может потребоваться отдельный проект.
Но исследование новой популяции не следует рассматривать как простое расширение первого. Необходимо проверить, сохраняется ли научное обоснование предполагаемого эффекта, подходят ли прежние критерии эффективности и требуется ли корректировка дизайна.
Особенно важно учитывать исходные характеристики участников. Если эффект связан с определенным физиологическим состоянием, исследование людей без этого состояния может дать принципиально другую картину.
Поэтому выбор новой группы должен определяться конкретной научной задачей, а не стремлением получить еще одну публикацию по продукту.
Изменение продолжительности и схемы приема может потребовать новых данных
Первое исследование могло подтвердить определенный результат после четырех недель применения БАД. Но если производитель планирует изучать более продолжительный прием, существующих данных может оказаться недостаточно.
Вопросы здесь могут быть разными: сохраняется ли наблюдаемый эффект, меняется ли его выраженность со временем, какова переносимость продукта при более длительном применении?
Аналогичная ситуация возникает при изменении суточной дозировки или режима приема.
Исследование одной схемы не подтверждает автоматически эффективность другой. При этом новый проект нужен не при любом изменении: сначала необходимо оценить его значимость и существующие научные данные.
Как выбрать задачу второго исследования
Перед запуском следующего проекта полезно сопоставить цель производителя с тем, что уже известно о продукте.
| Ситуация после первого исследования | Возможная задача следующего проекта |
| Проведено небольшое пилотное исследование | Проверить гипотезу в полноценном контролируемом проекте |
| Получен положительный, но неточный результат | Уточнить величину эффекта на обоснованной выборке |
| Есть качественное исследование одной группы | Оценить применимость результатов к другой целевой группе |
| Изучался короткий период приема | Исследовать более длительное применение |
| Получены данные по одному основному эффекту | Проверить новую научно обоснованную гипотезу |
| Существенно изменился состав или режим применения | Оценить применимость старых данных и необходимость нового исследования |
| Первый проект дал надежный ответ на поставленный вопрос | Рассмотреть, требуется ли новое исследование вообще |
Такая оценка позволяет не превращать исследовательскую программу в последовательность похожих проектов без понятной цели.
Когда повторять исследование не имеет смысла
Иногда у производителя уже есть достаточно надежные данные по основному предполагаемому эффекту, а следующий проект предлагается практически с теми же параметрами.
Если не планируется увеличение точности оценки, проверка воспроизводимости, изучение новой группы или решение другого содержательного вопроса, ценность повторения может быть ограниченной.
Есть и противоположная ситуация: первое исследование не подтвердило гипотезу, причем его дизайн и объем данных позволяют достаточно уверенно исключить практически значимый эффект в изученных условиях. Повторять такой проект без новых научных оснований нерационально.
Наконец, дополнительное исследование может оказаться преждевременным, если производитель собирается изменить рецептуру. В таком случае сначала необходимо определить, насколько будущая версия продукта будет сопоставима с исследованной.
Само количество проведенных исследований не является показателем качества доказательной базы. Два проекта, отвечающих на разные существенные вопросы, могут быть полезнее трех практически одинаковых работ.
Научная публикация не всегда требует нового клинического проекта
Отдельный вопрос возникает, когда производитель хочет провести второе исследование прежде всего ради новой публикации.
Прежде чем выделять бюджет, стоит оценить материалы первого проекта. Возможно, результаты уже позволяют подготовить научную статью, но ранее использовались только во внутреннем отчете.
Если сохранилась исходная база данных, иногда целесообразно проверить статистическую обработку, провести обоснованный дополнительный анализ и оценить публикационный потенциал существующего материала.
При этом нельзя искусственно создавать новые выводы путем многократного поиска статистически значимых различий. Дополнительный анализ должен иметь научное основание, а его поисковый характер — быть отражен в публикации.
Если первый проект уже опубликован, повторное использование тех же данных также требует прозрачности и самостоятельной научной задачи.
Новый клинический проект оправдан тогда, когда нужны новые данные, а не только еще одна статья.
Как мы оцениваем необходимость повторного исследования в QBIO
Мы можем подключиться к научной программе производителя после завершения первого клинического исследования, в том числе если оно проводилось другой организацией.
Сначала изучаем протокол, итоговый отчет, статистический план и доступные исходные данные. Оцениваем, насколько надежно первоначальный проект ответил на поставленный вопрос, какие ограничения остались и что можно использовать при дальнейшем планировании.
Если требуется дополнительная статистическая обработка, мы можем провести ее до принятия решения о новом исследовании.
Затем сопоставляем результаты с задачами производителя. Если необходимо подтвердить первоначальную гипотезу, разрабатываем соответствующий дизайн. Если компания хочет изучить другую группу, продолжительность приема или новый эффект, формируем отдельную научную концепцию.
В случаях, когда повторное исследование не добавит существенной информации, можем рекомендовать сосредоточиться на анализе и публикации уже полученных данных.
Такой подход позволяет определять объем следующего проекта исходя из научной необходимости, а не из предположения, что для убедительной доказательной базы обязательно требуется определенное количество исследований.
Следующее исследование должно увеличивать ценность уже полученных данных
После первого клинического проекта у производителя появляется важный ресурс — собственные данные о готовом БАД. Они могут стать основанием для подтверждающего исследования, изучения новых групп участников или разработки другой научной гипотезы.
Но прежде чем инвестировать в следующий этап, необходимо понять, какую неопределенность он устранит.
Если первая работа была пилотной, следующий проект может проверить ее результаты в более надежном дизайне. Если получен убедительный эффект, может возникнуть задача подтвердить его воспроизводимость. Если основной вопрос уже достаточно хорошо изучен, рациональнее направить средства на другую исследовательскую задачу.
Повторное исследование имеет смысл не потому, что одного проекта формально мало, а потому, что новые данные способны сделать выводы о продукте более надежными, точными или применимыми к другим условиям.
