今回もMethods~Resultsの一部にまたがって説明していきます。
前回の記事はこちら
実臨床に役立てるメタアナリシスの読み方① システマティックレビューとメタアナリシスの違い『なぜメタアナリシスのみはダメなのか』
実臨床に役立てるメタアナリシスの読み方② -Background編〜Methods編前半
実臨床に役立てるメタアナリシスの読み方③ -Methods編中盤①
まとめたページと参考文献はこちら（未完成）
今回は主に報告バイアス(reporting bias)と呼ばれるバイアスを中心に説明していきます。具体的には「網羅的な検索はされているか」「報告バイアスの検討がされているか」という観点から論文を見ます。これらは「批判的吟味」をする上で必須の情報で、ここに問題があればエビデンスの質が下がることとなります。
目次：
報告バイアスとは何か
報告バイアス（reporting bias）とは研究結果やその内容によって報告されやすいものとそうでないものの間に偏りがあることを指します。
例えば、治療の効果に有意差を示した新薬の研究とそうでなかった新薬の研究ではどちらが報告されやすいでしょうか。
図：有意差による研究の行方
それはもちろん有意差があったほうが、取り上げる学術雑誌も通りやすいでしょうし、より有名なIFの大きい雑誌に取り上げられやすいと言えます。（バイアスの問題点から、必ずしも最近はそうではない部分はあります）
しかしながら、こうした一定の傾向があらゆる研究に対して続くとどうなってしまうでしょうか。
結果が悪いものなどの一部が取り上げられなくなり、世に出回るのは結果の良い偏った研究結果のみとなってしまいます。
そうなると、過去の研究を集めて結果を出すメタアナリシスで問題が生じます。実際には効果がないものであったとしても、偶然に良い結果が出た研究ばかりが偏って集まってしまい、統合した結果、まるで効果があることが確実かのように見えてしまうわけです。
しかも、報告されていない研究を調べる術がなければそれは解決できません。報告されていない研究を探すことは通常難しく、不可能な場合もあります。このため、報告バイアスがメタアナリシスにおいて最も対処の難しい問題であるとされています。
ただ、可能な限りの対処方法は提案されているので、それが正しく行われているかどうかは確認が必要です。これは後述します。
その前にまず、報告バイアスと呼ばれるものには具体的にどのような種類があるか見てみます。
報告バイアスの種類
報告バイアスと一口に言っても、種類には色々あります。Cochrane databaseのページが参考になりますので、こちらの分類に沿ってごく簡単に紹介していきます。
Reporting Biases | Cochrane Bias
＊＊＊＊＊＊
出版バイアス(publication bias)
最初に取り上げた例は出版バイアスに当てはまります。研究の内容や結果によって出版されるかどうかに偏りが出てしまうことを指します。結果については上述した通り、有意差の如何により、偏りが出る場合があります。内容については、すごくマイナーな疾患の研究だと、どうしても大きな雑誌には取り上げられづらいという点が指摘できます。
特に有意差の有無に着目しすぎて、有意差があるものが出版されやすく、そうでないものは出版されにくいということはよく問題視されています。検出力などもきちんと計算されている研究であれば有意差がないこと自体にもある程度意味は見出せるのではないでしょうか。
タイムラグバイアス(time lag bias)
「介入が有効だった」などのポジティブな結果の研究がより早く出版されやすく、そうでない研究は遅い、というバイアスです。また研究の内容によっても同様に違いが出ることがあります。
特に昨今だとコロナ関連の話題がとにかく早く出るのに、それ以外の研究は全然査読が進まない、というタイムラグバイアスは強く感じられるのではないでしょうか・・・。
多重出版バイアス(multiple publication bias)
同じ研究の結果が複数の雑誌で出版されることなどを指します。別のものとしてカウントされてしまうと、同じ結果のものが過剰に計算されることになります。
ロケーションバイアス(location bias)
ある研究に対するアクセスのしやすさが結果やサンプルサイズなどによって変わってしまうことを指します。サンプルサイズが小さいような研究はIFの低い雑誌になってしまう、というのが一つの例です。
また、文献のデータベースごとに含まれる研究の違いが出ることもあります。MEDLINEには載っているのにEMBASEに載っていない、など調べる媒体によって研究のあるなしが変わる時があるので、必ず複数のデータベースを調べる必要があります。
引用バイアス(citation bias)
論文の内容や結果によって引用のされやすさが変わる偏りを指します。どうしても、著者の持つ意見を支持するような論文を引用することになるため、有意差のあるような論文の方が引用されがちです。
言語バイアス(language bias)
調べる言語によって文献に偏りが出てしまうことを言います。基本的に英語で検索して出てくるような文献が見つかりやすく、他言語のものは見つけにくいという偏りが生じやすいです。
調べる側にその言語がわかる人がいないといけないので、これはなかなか大変ではないかと思います。メタアナリシスによっては日本語の文献まで調べているものもあります。なんとなく嬉しいです笑。
(選択的)アウトカム報告バイアス(selective outcome reporting bias)
研究のアウトカムの一部のみが報告され、それ以外は報告されないことがあります。例えば、有意差が出て、著者の仮説や意見を支持するものは数値も含めて載せられるけれど、そうでないものは詳細な数値が書かれず、“有意差はなかった”と載せられているのみ、という場合です。
＊＊＊＊＊＊
とにかく沢山のバイアスがありますが、分類のされ方は文献によって多少異なることもあります。ロケーションバイアスという言葉に「言語バイアス」「引用バイアス」などが含まれている例もみられました。ただ、分類よりも大事なのは、目に見える研究というのは多数の影響を受けた上で選抜されてしまったものだと認識することです。
目に見える研究がこれだけ多くの影響を受けて選ばれていることを考えると、バイアスに対して何らかの対処を講じていく必要があります。「批判的吟味」として、その方法がきちんととられているかをチェックするわけです。
以下でその方法を見ていきます。
網羅的な検索がされているか
過去の研究の検索方法が本当に網羅的になされているかを見ていきます。
これは上記のバイアスのうち、出版バイアス、タイムラグバイアス、ロケーションバイアス、言語バイアスへの対処となります。
これらのバイアスをできるだけ避けるためには得られる限りの広い範囲で研究を集めなければいけません。研究のデータベースとしてはMEDLINE(普段よく使うPubMedは主にここから情報を得てます), EMBASEといったものから検索されることが多いです。
さらに研究中のものや、研究が終わったけれど論文化されていないものを探すため、ClinicalTrials.govのような各国の臨床試験の登録システム内の検索も行います。こうすることでタイムラグバイアスに多少なりとも対処ができます。
データが論文中に十分載っていないものもあるので、その場合は研究元に問い合わせをしてデータがないか確認します。
さらに場合によっては関連する薬剤を販売する製薬会社にデータを問い合わせたり、あらゆる手段を使って、知りうる限りの情報を集めます。
また、言語バイアスについては多数の言語で検索し、各国のデータベースにアクセスすることでカバー範囲が広がります。
通常のPubMedやGoogle scholarの検索で出てくる文献を探すのは、自分たちにもできてしまうことなので
・未発表の研究
・未発表のデータ
をいかにしてすくい上げるかが重要な点と言えるでしょう。
なお、サンプルサイズの大きい大規模な研究はこういったバイアスで報告されない、ということは起こりにくいと言われています。なぜなら、お金と労力をかけているので、たとえ有意差がなくても発表されやすいからです。またサンプルサイズが大きければ、検出力も高くなりやすいので、有意差がなくてもある程度意味を持つことができるからとも言えます。
それに対して小さい研究は報告バイアスの影響を受けやすいため、特に注意が必要です。小さい研究を集めて大きな対象人数にして発表された研究結果が、後の大規模RCTで覆されることもあります（具体例は実臨床に役立てるメタアナリシスの読み方①参照）。
報告バイアスの検討
さて、ここまで網羅的に頑張って検索しても、見つかる研究に偏りは生じます。
そこで次に必要なのは、集まった研究が実際に偏りがあるのかどうかを検討することです。
「存在しないものも含めて偏りがあるのかどうかなんて、そんなこと検討できるの！？」と思ったりしたのですが、方法としてはあります。
ただ、いずれも偏りがあるかどうか証明するには、どうしても限界がある方法です。これで問題なければ大丈夫、とは言えない点に注意が必要です。
どのような検討の方法をとっているかはMethodsに、その結果はResultsに書いてあるので、論文の質を「批判的吟味」する際には目を通すことをお勧めします。代表的な方法としてfunnel plotを見てみます。
funnel plotとは
funnel plotとは縦軸に標準誤差、横軸にアウトカムの対数オッズ比をとり、各研究をプロットしていく方法です。こんな感じの図になります。
この図にどういう意味があるかというと、上に行けば行くほどサンプルサイズの大きい研究の結果になるため、より真の効果の値に近いことが予想され、下に行けば行くほどサンプルサイズが小さく効果の“ブレ幅“が大きいことが予想されます。
そのため報告バイアスや各研究の内容に問題がなければ、プロットはキレイな左右対称の三角形を描くと考えられます。
しかしながら、funnel plotが対称だったとしても必ずしも報告バイアスの問題がないとは言えないとされています。結構controversialな問題なんですね。
特に、研究数が少ない場合は注意が必要です。例えば研究が2つだけであれば、対称性はあまり分かりませんね。経験則的には10以上の研究があることが望ましいと言われています。
また逆に、報告バイアスや各研究内容などの問題が明らかにある場合は、対称性が崩れてしまいます。
こうなると報告バイアスなどの問題が生じている可能性が高く、メタアナリシスとしての評価は下がります。
funnel plotが対称であるかどうかは上図のように見た目でもある程度分かりますが、統計的仮説検定の方法を取ることもできます。以下で簡単に見てみます。
funnel plotの検定
funnel plotにおける検定では対称になっているかどうかのP値を算出します。
Egger’s testやBegg’s testと呼ばれる検定手法が代表的です。順位相関係数を利用したり、正規分布化したりして検定を行うようですが、詳細な数学的内容についてはすみませんが理解が十分でないため触れません。
結局のところfunnel plotと同じ発想で行われる検定であるため、偏りを評価する方法としては意味が大きく変わるものではありません。また、検出力が十分でないことも多いとされています。
ではこういった検定で有意差がついてしまう＝funnel plotで非対称性となるのはどういう場合が考えられるのでしょうか。
funnel plotの非対称性
funnel plotが非対称となる場合には、以下のような点に問題がある可能性があります。
・報告バイアス
・研究の異質性
・研究デザインの質
・捏造
・偶然
まずひとつは、最初に触れたようにfunnel plotを描く目的でもある「報告バイアス」が存在する場合です。
報告バイアスがあると、基本的には”ポジティブ”な結果が出やすくなるため、介入が良い結果をもつ研究が多くなります。そうなるとプロットしたときに片側に点が固まりやすくなり、funnel plotが非対称となってしまいます。これを確認するのがfunnel plotをみる主な目的でした。
次に「研究の異質性」についてです。
前々回の記事で書いたように、各研究の対象となる患者や用いられる薬剤の量、評価の方法などによって研究の効果の大きさは異なってきます(実臨床に役立てるメタアナリシスの読み方② -Background編〜Methods編前半 参照)。
そうなるとそれぞれの研究がみようと思っている”真の効果の値”は違ったものになってしまいます。その状況ではfunnel plotを作ったところで、みているものが違うので、仮に報告バイアスがなくても対称にはなり得ません。根本的なところに問題があると言えます。
ただこの場合、サブグループにわけてfunnel plotを作ると有効である可能性があります。例えば重症の患者には薬がよく効くがそうでない患者には効かない、というように対象となる患者層が違うため、効果の大きさが変わってしまっているとしたら、それぞれをわけてfunnel plotを作ることで解消される場合もあります。薬の用量や種類、アウトカムの計測方法などによって効果の大きさが異なるときも同様ですね。
続いて「研究デザインの質」の問題です。
観察研究や二重盲検がされていないなど、個々の研究の質が低くなってしまう場合は当然のことながら、そのブレは大きくなりますし、あらぬ方向にバイアスがかかってしまう可能性もあります。そうなるとfunnel plotは対象にならなくなります。仕方がないので質の低い研究のみを省いてplotするという方法も考えられます。
また、論文の結果が「捏造」されている場合も他の研究結果と全く特徴の違うバラツキを見せるため非対称となり得ます。
そして最後に、「偶然」そういった偏りが生じてしまう可能性が０ではないことも認識しておかないといけません。
funnel plotにはこれらのさまざまな理由で歪みが生じうるため、非対称である場合にはなぜそうなったのかを論文内で吟味される必要があります。納得のいく説明があれば、エビデンスの質の点でもそこまで大きく下げずに考えて良いのではないでしょうか。
なお、funnel plotが非対称である場合、補正する手段として“Trim and fill method”という方法が行われている論文がありますが、現在はあまり用いられていないように思います。というのも実は結構マズイ方法と言えるからです。
この方法はfunnel plotが本来は報告バイアスがなければ対称になることを前提にして、対称になるように研究結果を補正する手法です。
非対称になる理由が純粋に報告バイアスのみであればそれも成り立つのでしょうが、このように複数の理由でなっていることを考えると、研究の異質性が高い場合やそれぞれの研究の質が異なってくる場合、対称性を前提とすることに無理があります。その点であまり推奨すべき方法ではないと言えるでしょう。
まとめ
・報告バイアスには多数の種類があることを認識する
・報告バイアスの対処のためには網羅的な検索
・報告バイアスの評価のためにはfunnel plot
・funnel plotは複数の理由で非対称になりうる
思った以上に長くなってしまいましたが、報告バイアスの対処と評価を中心にここまで述べてきました。結局のところ、報告バイアスを完全に対処できる手段はなく、評価も正確にはできないという点で、メタアナリシスにとって最大の問題と言われているのだと思います。ましてこの対処や評価すらきちんとできていないメタアナリシスは質において相当大きな問題を抱えているといえます。
正しいと思われることを見つけ出すのは非常に困難なことですね、、。次回は各研究の評価に焦点を当てた”risk of bias”を中心に調べて書いていきます。
次の記事はこちら
実臨床に役立てるメタアナリシスの読み方⑤ -Methods編後半①-
コメントを残す