CHANGE NORMS: A COMPLEMENTARY APPROACH TO THE ISSUE OF CONTROL GROUPS IN PSYCHOTHERAPY OUTCOME RESEARCH

Abstract

Control groups are widely regarded as a sine qua non of psychotherapy outcome research. However, they produce high costs and are not applicable to long-term studies. The authors address the issue of control groups in psychotherapy research in a novel way: They systematically study the changes occurring in psychiatric patients who did not receive any specific treatment. Such data may serve as reference data for further outcome studies. It would then no longer be necessary to collect reference data repeatedly in each and every new study. The authors evaluated the changes that occurred in the control groups of available randomized controlled studies (RCTs) of psychodynamic psychotherapy in a first and preliminary trial. Twenty-six RCTs of psychodynamic psychotherapy, in which reliable and valid outcome measures were applied and which provided the necessary data to calculate effect sizes, were included in a meta-analysis. Effect sizes were calculated for the mean changes occurring in the control groups. The mean effect size of 0.12 (95% confidence interval [CI]: 0.05–0.28) corresponds to a small effect. To demonstrate its possible use, the upper limit of the 95% CI (d = 0.28), considered a very conservative estimate of the average control group effect size, was compared with that of selected studies of psychodynamic psychotherapy. The average change in psychiatric patients included in RCTs of psychotherapy who did not receive specific treatment may serve as a preliminary control group estimate (change norm) for open trials of psychotherapy. Future research should assess the mean expected change in more sophisticated controls (e.g., for specific psychiatric disorders, outcome measures, or patient variables). Zusammenfassung Veränderungsnormen: Ein komplementärer Ansatz zum Kontrollgruppenproblem in der Psychotherapieergebnisforschung Ziel: Kontrollgruppen werden oft als unabdingbare Bedingung in der Psychotherapie-Ergebnisforschung angesehen. Sie sind jedoch mit hohen Kosten verbunden, sie sind außerdem kaum realisierbar bei der Untersuchung von Langzeit-Psychotherapie. In dieser Arbeit gehen wir die Frage der Kontrollgruppe in der Psychotherapieforschung auf eine neue Art an. Wir schlagen vor, die Veränderungen systematisch zu untersuchen, die bei Patienten mit psychischen Störungen auftreten, die keine spezifische Behandlung bekommen. Solche Daten können als Referenz-Werte für zukünftige Ergebnisstudien dienen. Es wäre dann nicht länger notwendig, solche Daten in jeder Studie immer wieder neu zu erheben. Methode: Um diesen Zugang zu exemplifizieren, untersuchten wir in einem ersten Ansatz die Veränderungen, die in den vorliegenden Kontrollgruppen von randomisierten kontrollierten Studien (RCTs) psychodynamischer Therapie auftraten. Wir schlossen 26 RCTs psychodynamischer Therapie, in denen reliable und valide Ergebnismasse verwendet worden sind und die die notwendigen Daten zur Bestimmung von Effektgrößen lieferten, in eine Meta-Analyse ein. Effektgrößen wurden für die mittlere Veränderung berechnet, die in den Kontrollgruppen dieser Studien auftraten. Ergebnisse: Der mittlere Effekt, der in diesen 26 Kontrollgruppen auftrat, war d = 0.12 (95% Konfidenzintervall: 0.05–0.28). Dies entspricht einem kleinen Effekt. Um die mögliche Anwendung dieses Wertes zu demonstrieren, verglichen wir den oberen Grenzwert des 95% Konfidenzintervalls (d = 0.28), also einen sehr konservativen Schätzer der durchschnittlichen Kontrollgruppen-Effektgröße, mit ausgewählten Studien psychodynamischer Psychotherapie. Schlussfolgerungen: Die durchschnittliche Veränderung, die bei Patienten mit psychischen Störungen in RCTs psychodynamischer Psychotherapie aufgetreten ist, kann als ein vorläufiger Schätzer für Kontrollgruppen (Veränderungsnorm) für unkontrollierte Psychotherapiestudien dienen. Zukünftige Studien sollten die durchschnittlich zu erwartenden Veränderungen in Kontrollgruppen spezifischer untersuchen (z.B. für spezifische psychische Störungen, Ergebnismasse oder Patientenvariablen.) Résumé Changer les normes : une approche complémentaire au sujet des groupes de contrôle dans la recherche de l'efficacité des psychothérapies Le groupe de contrôle est généralement considéré comme indispensable pour la recherche de l'efficacité des psychothérapies. Cependant, il cause des coûts importants et ne s'applique pas à l’étude des traitements à long terme. Les auteurs approchent le sujet du groupe de contrôle d'une nouvelle manière : ils étudient systématiquement les changements chez des patients psychiatriques n'ayant reçu aucun traitement. Ces données serviront, par la suite, de données de référence pour d'autres études d'efficacité. Il ne serait ainsi plus nécessaire d'obtenir à répétition des données de référence pour chaque nouvelle étude. Les auteurs ont évalué les changements survenus dans des groupes de contrôles d’études randomisées et contrôlées (RCTs) disponibles de psychothérapies psychodynamiques, dans un premier test préliminaire. 26 RCTs de psychothérapies psychodynamiques, avec des mesures fidèles et valides et des nombres suffisants pour calculer la grandeur de l'effet, faisaient partie de cette méta-analyse. La grandeur de l'effet était calculée pour les changements moyens survenus dans les groupes de contrôle. La grandeur de l'effet moyenne de 0.12 (intervalle de confiance à 95% : 0.05–0.28) correspond à un petit effet. Pour démontrer son utilisation possible, la limite supérieure de l'IC à 95% (d =0.28), considérée comme une estimation très conservatrice de la grandeur de l'effet moyen des groupes de contrôle, a été comparée avec celle d’études de psychothérapies psychodynamiques sélectionnées. Le changement moyen de patients psychiatriques inclus dans des RCTs de psychothérapies et qui n'avaient pas reçu de traitement particulier peut servir d‘estimation préliminaire de groupe contrôle (norme de changement) pour des études ouvertes de psychothérapie. La recherche devrait, dans le futur, évaluer le changement moyen attendu pour des contrôles plus sophistiqués (p.ex., des troubles psychiatriques spécifiques, des mesures d'efficacité ou des variables des patients). Resumen Cambio de Norma: un enfoque complementario al tema de los grupos de control en la investigación de resultados en psicoterapia Los grupos de control son ampliamente considerados como un sine qua non en la investigación de los resultados en psicoterapia. Sin embargo, provocan altos costos y no son aplicables a estudios prolongados. Los autores tratan este problema en una forma nueva: sistemáticamente estudian los cambios ocurridos en pacientes psiquiátricos que no recibieron ningún tratamiento específico. Tales datos pueden servir como referencia para posteriores estudios de resultados. En ese caso no sería ya necesario reunir datos de referencia en cada nuevo estudio. Los autores evaluaron los cambios ocurridos en los grupos de control de estudios controlados randomizados disponibles (RCTs) de psicoterapia psicodinámica en un ensayo primero y preliminar. En un metaanálisis se incluyeron veintiséis RCTs de psicoterapia psicodinámica, en los que se aplicaron medidas confiables y válidas de resultados y que proveyeron los datos necesarios para calcular la amplitud de los efectos. Estos se calcularon para los cambios en la media que ocurrieron en los grupos de control. (Effect sizes were calculated for the mean changes occurring in the control groups). La amplitud del efecto medio de 0.12 (95% del intervalo de confianza (CI): 0.05–0.28) corresponde a un efecto pequeño. Para demostrar su uso posible, el límite superior del 95% CI (d = 0.28), considerado un estimado muy conservador de la amplitud del efecto promedio del grupo control, se comparó con el de estudios seleccionados de psicoterapia psicodinámica. El cambio promedio en pacientes psiquiátricos incluido en los RCT de la psicoterapia que no recibieron tratamiento específico pueden servir como estimado preliminar del grupo control (cambio de norma) para ensayos abiertos de psicoterapia. Futuras investigaciones deberían estimar el cambio medio esperado en controles más sofisticados (v.g., para desórdenes psiquiátricos específicos, medidas de resultado o variables de los pacientes). Resumo Mudar as normas: Uma abordagem complementar ao tema dos grupos de controlo na investigação de resultados psicoterapêuticos Os grupos de controlo são considerados, de um modo geral, como uma condição sine qua non na investigação de resultados psicoterapêuticos. No entanto, estes envolvem custos elevados e não são aplicáveis para os estudos de longo prazo. Os autores abordam o tema dos grupos de controlo na investigação psicoterapêutica de um novo modo: Estudam sistematicamente as mudanças que ocorrem em pacientes psiquiátricos que não receberam qualquer tratamento específico. Tais dados poderão servir como referência para estudos futuros de resultados terapêuticos. Deste modo, não seria necessário recolher dados de referência, repetidamente, em cada novo estudo. Os autores avaliaram as mudanças que ocorreram nos grupos de controlo dos estudos clínicos randomizados (ECR) de psicoterapia psicodinâmica disponíveis num primeiro ensaio preliminar. Foram incluídas numa meta-análise, vinte e seis ECR de psicoterapia psicodinâmica, nas quais se usaram medidas de resultados terapêuticos fidedignas e validas e que forneceram dados necessários para calcular a magnitude do efeito. A magnitude do efeito foi calculada para a média das mudanças que ocorreram nos grupos de controlo. A média da magnitude do efeito foi de 0.12 (intervalo de confiança 95% [IC]: 0.05–0.28) correspondendo a um efeito pequeno. Para demonstrar o seu possível uso, o limite superior do intervalo de confiança de 95% (d = 0.28), considerado uma estimativa conservadora da média do tamanho do efeito do grupo de controlo, foi comparado com o de estudos seleccionados de psicoterapia psicodinâmica. A mudança média dos pacientes psiquiátricos incluída nos ECR's de psicoterapia que não receberam tratamento específico poderá servir como uma estimativa preliminar do grupo de controlo (norma de mudança) para os ensaios abertos de psicoterapia. Estudos futuros deverão avaliar a mudança média esperada em controlos mais específicos (e.g., para perturbações psiquiátricas específicas, medidas de resultados ou variáveis do paciente). Sommario Cambiamento delle norme: un approccio complementare alla questione dei gruppi di controllo nella ricerca di esito in psicoterapia I gruppi di controllo sono largamente considerati un sine qua non della ricerca di esito in psicoterapia. Tuttavia essi hanno alti costi e non sono applicabili agli studi a lungo termine. Gli autori indirizzano la questione dei gruppi di controllo nella ricerca in psicoterapia in un modo innovativo: essi sistematicamente studiano i cambiamenti che avvengono nei pazienti psichiatrici che non hanno ricevuto nessun trattamento specifico. Tali dati potrebbero servire come dati di riferimento per ulteriori studi di esito. Presto, allora, sarebbe necessario prendere i dati di riferimento ripetibili in ogni e ciascuno studio. Gli autori hanno stimato i cambiamenti che avvengono nei gruppi di controllo degli studi controllati randomizzati (RCTs) disponibili di psicoterapia psicodinamica in un primo e preliminare esperimento. Ventisei RCTs di psicoterapia psicodinamica, nei quali erano applicate misure di esito valide ed affidabili e che fornivano i dati necessari per calcolare l'effect sizes, sono stati inclusi in una meta-analisi. Gli effect sizes sono stati calcolati per i cambiamenti medi avvenuti nei gruppi di controllo. L'effect size medio di 0.12 (95% intervallo di confidenza (CI): 0.05–0.28) corrisponde ad un piccolo effetto. Per dimostrare il suo possibile uso, il limite superiore del 95% CI (d = 0.28), considerato molto cauto nella media dell'effect size del gruppo di controllo, è stato confrontato con quello degli studi selezionati di psicoterapia psicodinamica. Il cambiamento medio nei pazienti psichiatrici inclusi nei RCTs di psicoterapia che non avevano ricevuto trattamenti specifici potrebbe servire come valutazione preliminare del gruppo di controllo (cambiamento di norme) per esperimenti aperti di psicoterapia. Ulteriori ricerche valuterebbero il peggior cambiamento atteso in controlli più sofisticati (per es. per disturbi psichiatrici specifici, misure di esito o variabili del paziente). Abstract