アカウント名:
パスワード:
https://www.nissin.com/jp/news/11597 [nissin.com]
プレスリリースに実験内容が書いてある
臨床実験２：男女104名を2群にランダムに振り分け、52名に乳酸菌、52名にプラセボを与えた結果：群間での有意差は認められなかった
臨床実験２の追加実験：毛乳頭細胞が少ないことが推測される18名を除いた被験者86名で再実験結果：群で有意差が認められた
前半の実験結果が全てですが、基本的に効果はなく一部の都合が悪い人を除外して無理やり結果をでっち上げたという雰囲気です。p値ハッキングと批判されるべき研究だと思います。
前半の実験結果が全てですが、基本的に効果はなく
この乳酸菌はそうかもしれないし、そうでないかもしれないけど、薬などでは一般的な話だと思います。治療群全体と対照群全体を比較して有意な差が無かったときに、治療群の中にグループや傾向があったら、それを加味して研究するのも仕事だと思うのです。
ある薬が、症状を持っている人全員に効き目があるとわかったら素晴らしいことですが、効く人と効かない人がいる場合に、例えばこういう因子を持っている人になら効く、症状の特定の段階にだけ（初期症状だけとか）効くとかがあれば、それを研究や実験をするものだと思います。
その結果として実用上意味がないぐらいに効く範囲が狭いことが判明することも、もちろんあり得ますが、一方で良い薬が生まれることもあり得るかと。
また非常に狭い範囲にしか効き目がなくても、効き目自体が十分であれば、今は実用にならなくても将来的にはオーダメイド医療 [wikipedia.org]の候補として有望ということもあり得ます。
的外れなコメントですねぇ。
可能性はゼロじゃないと言ってるだけのコメント。そんなことは言われなくてもみんな知ってる。
しかも「薬などでは一般的な話」と言ってる割には、統計的有意差の意味さえ理解できてない。特に> 治療群全体と対照群全体を比較して有意な差が無かったときに、治療群の中にグループや傾向があったら、それを加味して研究するのも仕事だと思うのです。これ。多重比較やp値ハッキングの問題を知らずに言ってるんだろうけど、「それを加味して研究する」のは基本NG。普通はこんなコメントはしない。
うーん、そうかなぁ。
例えば、ハゲに効く薬を研究していて、いろんなハゲの人を集めて治療群と対照群に分けて試験してみたら有意差が無かった。このときに治療群に効いている人といない人が混じっているから効く人もいます、と言ってしまうのは NG。
でも個々の結果を調べてみたら、どうもつるっぱげには効かないが、後退し始めの人には効くようだとわかった（でもなんでも効く人と効かない人の差について仮説が立てば良い）。「それを加味して研究する」というのは有意かどうかの判定を含む試験結果の斟酌ではなくて、どのような要因が結果に結びついているかどうかを研究するという意味です。
そこで後退し始めの人たちを集めて、治療群と対照群にわけ（もちろん前の試験での群とは無関係にランダムに分けます）、また別の試験をして（先の試験からデータを抜き取るのではない）、今度は有意差があった。
すると、その薬はハゲ全般に効くとは言えない（効かないという試験結果がもうある）けども、一部のハゲには有意に効き目があると言って差し支えない、というような話です。別の試験、治療群と対照群という二群なら多重比較とは言わないのではと思うのですが。（あくまで例えで今回の乳酸菌がどうだかは知りません。また十分なサンプル数かどうかなどの話も別です。）
逆に、教えてもらえますでしょうか：
ハゲに効く薬を開発していて、いろんなハゲを集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと初期のハゲ（でも一部のタイプのハゲでもなんでもいいけど）には効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
あるウイルスに効く薬を開発していて、いろんな感染者を集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと感染から24時間以内であれば効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
あるがんの抗がん剤を開発していて、いろんな患者を集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと、特定の遺伝子型を持つ患者には効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
コメントは付かないか。残念。
別ACですが・・・
p値というのは、「有意差が無いとした場合、今回の(有意差が表れる)実験結果がたまたま表れる確率はどれくらいか」というものです。通常、p値が5%以下であれば有意差があると判断します。つまり、偶然によって差がでる確率が5%以下であれば、それは稀なので偶然ではないと判断します。
これは20面ダイスを振って1を出すことに似ています。ところで、20面ダイスを振って1回目で1を出すのは難しいですが、振り続けていけば、1を出すことはできるでしょう(おそらく20回目付近で)。
実験についても同様に、繰り返すことで(本当は有意差が無いにもかかわらず)p値が5%以下でてしまう可能性があります。これを多重比較の問題とかp値ハッキングとか言います。
多重比較の問題を解消する手段としてボンフェローニ補正というものがあります。これは実験回数に応じて、2回なら2.5%、3回なら1.67%・・・と、有意差があると判断する水準をより厳しくします。
親コメントに「再実験」とあって、再度実験をしたと思い込んでいたのですが、プレスリリースは「追加解析」なんですね。これだと多重比較か。追試でも無かった。
もし一回の試験で、ハゲの一部を対象（残りを対象にしない）場合、対照群とだけ比較すれば良いのですから、ダネット法でも良さそうですが。
p値の定義は一応理解しているつもりですが、有意水準「p値が5%以下であれば有意差があると判断」する根拠はよくわかっていません。最近は p値が <0.05 かどうかだけではなく、p値そのものを記載するようになっている？
元の話だと、追試をおこなうべきように思いますが、その際の適切なサンプル数が難しそうです。
ところで、20面ダイスを振って1回目で1を出すのは難しいですが、振り続けていけば、1を出すことはできるでしょう(おそらく20回目付近で)。
20回目付近？ 0.95^14回≒0.488（または ln(0.5)/ln(0.95)≒13.5）なので、14回も振れば 1が出る確率の方が高いのでは？ そういう話ではない？
オギノ薬品のかたですか？
違います。
# そういう薬品メーカーがあるのかと思ったらドラッグストア [google.com]だった。ここのこと？
> 眉唾 髪にヨーグルトをつける話だけに。
参考になります。ありがとうございます。
解析の手法への批判を別としても、「毛乳頭細胞が少ないことが推測される18名を除いた被験者86名で」良い数字が出たということは、ハゲには効かないのね。
ハゲとフサフサが混じってる群で盲検試験して、有意差がない。
ということは、その群からハゲを除外しても、有意差がないはずなんだよ。しかし、追加試験の結果は有意差があるって主張している。
ここから導かれる結論は、 ハゲがこの薬を使うとハゲが悪化する！！！
という。マジか。
#つまり、追加試験は無意味ってことですなー。多分鉛筆舐め舐めの類い。
＞ハゲとフサフサが混じってる群で盲検試験して、有意差がない。＞ということは、その群からハゲを除外しても、有意差がないはずなんだよ。＞しかし、追加試験の結果は有意差があるって主張している
効くグループ(普通の人)と効かないグループ(薄い人)があって、もともと効くグループでもギリギリの有意差しか出ないのに、効かないグループが入ると薄まってしまって有意差が出ない・・・・とか？
> 前半の実験結果が全てですが、基本的に効果はなくまったくその通りなんだけど…
それを仲間内とはいえ、学会誌に載せるというのがわからん。ふつう「自分の仮説は誤りでした」なんていうのは公に発表しないでしょ。まともな研究者なら、「この仮説は誤りだったか。じゃあ次の仮説を立てよう」といくんじゃない。
> それを仲間内とはいえ、学会誌に載せるというのがわからん。
学会と言っても日本乳酸菌学会。
乳酸菌ビジネスをやってる企業がお金だして運営している学会。自分らで学会作って、そこで身内が発表して、それっぽいお墨付きを与えている。存在自体が利益相反といっても過言ではない。
まともな研究者ならこんなところじゃなくて、海外のまともな学会・論文誌で発表する。乳酸菌界隈はそれができない研究者＆研究成果ばっかりだから日本乳酸菌学会なんてローカルのコミュニティーを作ってそこで発表したことにしてるわけ。
つまり学会の存在自体が、乳酸菌には大した効果が無いってことを証明している。
今はデータに捏造がないならまともな研究者くらいの水準になっているのかも
普通の人を多い人にはできるが、薄い人を普通の人にはできない・・・・ってことか？(苦笑)
生やす効果は認められなかったが、増やす効果は認められたってことでは？
これだけだと不適切とは言いきれない。
なぜかというと、この「追加実験」が最初から計画されていたものなら全く問題はないから。毛乳頭細胞が少ないことが推測される18名を除いたあと、それぞれの群に43名残っているので、最初から計画していた可能性は十分あるのね。
批判するには論文見て実験のデザインを明らかにする必要があると思う。
全体では効果が無いけど、層別したらある領域に対しては効果があった、っていうのは、自分の関わっているような製品分野では重要な知見となるのですが、医薬品分野では眉唾扱いなんですね。
QC七つ道具に「層別」を入れることがあるくらい一般的なんですが…
有意かどうかの判断は、「試験したいものとプラセボを与えたそれぞれの群で同じ結果が出る」という帰無仮説をたてて、「その仮説が成立しているなら5%ぐらいの確率でしか起こらない偏った結果が発生したから、帰無仮説を否定してよさそう」とやるわけだよね。実験後にいろいろな条件で調べちゃうと、その中に20回に1回ぐらいの偏りが発生している項目はあるので、そういうのが引っかかってくるという問題があるわけ。だから、結果を得た後に条件を追加して調べた中に偏ったものがあっても、有意な違いがあったとは言ってはいけない。もう一回同じ実験をその条件でやり直して、偏りがある結果が得られればＯＫ。
批判している人は、「結果が得られた後に条件を追加して調べた中に偏ったものがあった」という発表だと判断して批判しているのね。#4466411 で書いたけど、それは必ずしも明らかではなくて、実験開始前に「毛乳頭細胞が少ない人には効果がないかも」と考えて、その比較もできるように実験をデザインしていたのであれば、結果が得られた後に条件を追加して調べたわけではないから、有意差ありという結論を出しても問題ない。
「層別したらある領域に対しては効果があったみたいな話は医薬品分野では考えられていないのか」という話に関してだけど、新しい薬の試験では、第1相で安全性を確認し、第2相から仮説を立てて有意な結果が得られるかどうかを調べ始めるのね。第2相では、すぐに仮説を検証するのではなくて、どういう条件で効果がありそうかを見ることに重点を置いて(探索的臨床試験)、そこで得られた結果に基づいて仮説を立てて、最後に第3相で有意性を確認するという手続きを取る。なので、そういう話は、医薬品分野でも考えられていると言っていいのではないかと思う。
去年、塩野義のコロナ経口薬のゾコーバの試験で似たような話があって、第2相では、コロナの症状全部に関しては有意な結果が得られなかったんだけど、鼻水、喉の痛み、咳、息切れという呼吸器症状だけなら十分偏った結果になっているというので、その結果で緊急承認しようとしたんだわ。だけど、それって結果を得てから追加した条件でしょ、ってことで問題になって、緊急承認は見送りになって、結局、第3相の途中結果で緊急承認した。試験開始前に呼吸器症状だけしか効果がでないかも、という予想がついてれば、第2相で緊急承認できたかもしれないけど、まあ難しいよね。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
物事のやり方は一つではない -- Perlな人
眉唾 (スコア:5, 参考になる)
https://www.nissin.com/jp/news/11597 [nissin.com]
プレスリリースに実験内容が書いてある
臨床実験２：男女104名を2群にランダムに振り分け、52名に乳酸菌、52名にプラセボを与えた
結果：群間での有意差は認められなかった
臨床実験２の追加実験：毛乳頭細胞が少ないことが推測される18名を除いた被験者86名で再実験
結果：群で有意差が認められた
前半の実験結果が全てですが、基本的に効果はなく
一部の都合が悪い人を除外して無理やり結果をでっち上げたという雰囲気です。p値ハッキングと批判されるべき研究だと思います。
眉唾？ (スコア:2)
前半の実験結果が全てですが、基本的に効果はなく
この乳酸菌はそうかもしれないし、そうでないかもしれないけど、薬などでは一般的な話だと思います。
治療群全体と対照群全体を比較して有意な差が無かったときに、治療群の中にグループや傾向があったら、それを加味して研究するのも仕事だと思うのです。
ある薬が、症状を持っている人全員に効き目があるとわかったら素晴らしいことですが、効く人と効かない人がいる場合に、例えばこういう因子を持っている人になら効く、症状の特定の段階にだけ（初期症状だけとか）効くとかがあれば、それを研究や実験をするものだと思います。
その結果として実用上意味がないぐらいに効く範囲が狭いことが判明することも、もちろんあり得ますが、一方で良い薬が生まれることもあり得るかと。
また非常に狭い範囲にしか効き目がなくても、効き目自体が十分であれば、今は実用にならなくても将来的にはオーダメイド医療 [wikipedia.org]の候補として有望ということもあり得ます。
Re:眉唾？ (スコア:1)
的外れなコメントですねぇ。
可能性はゼロじゃないと言ってるだけのコメント。そんなことは言われなくてもみんな知ってる。
しかも「薬などでは一般的な話」と言ってる割には、統計的有意差の意味さえ理解できてない。特に
> 治療群全体と対照群全体を比較して有意な差が無かったときに、治療群の中にグループや傾向があったら、それを加味して研究するのも仕事だと思うのです。
これ。多重比較やp値ハッキングの問題を知らずに言ってるんだろうけど、「それを加味して研究する」のは基本NG。普通はこんなコメントはしない。
Re:眉唾？ (スコア:3)
しかも「薬などでは一般的な話」と言ってる割には、統計的有意差の意味さえ理解できてない。特に
> 治療群全体と対照群全体を比較して有意な差が無かったときに、治療群の中にグループや傾向があったら、それを加味して研究するのも仕事だと思うのです。
これ。多重比較やp値ハッキングの問題を知らずに言ってるんだろうけど、「それを加味して研究する」のは基本NG。普通はこんなコメントはしない。
うーん、そうかなぁ。
例えば、ハゲに効く薬を研究していて、いろんなハゲの人を集めて治療群と対照群に分けて試験してみたら有意差が無かった。このときに治療群に効いている人といない人が混じっているから効く人もいます、と言ってしまうのは NG。
でも個々の結果を調べてみたら、どうもつるっぱげには効かないが、後退し始めの人には効くようだとわかった（でもなんでも効く人と効かない人の差について仮説が立てば良い）。「それを加味して研究する」というのは有意かどうかの判定を含む試験結果の斟酌ではなくて、どのような要因が結果に結びついているかどうかを研究するという意味です。
そこで後退し始めの人たちを集めて、治療群と対照群にわけ（もちろん前の試験での群とは無関係にランダムに分けます）、また別の試験をして（先の試験からデータを抜き取るのではない）、今度は有意差があった。
すると、その薬はハゲ全般に効くとは言えない（効かないという試験結果がもうある）けども、一部のハゲには有意に効き目があると言って差し支えない、というような話です。別の試験、治療群と対照群という二群なら多重比較とは言わないのではと思うのですが。
（あくまで例えで今回の乳酸菌がどうだかは知りません。また十分なサンプル数かどうかなどの話も別です。）
逆に、教えてもらえますでしょうか：
ハゲに効く薬を開発していて、いろんなハゲを集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと初期のハゲ（でも一部のタイプのハゲでもなんでもいいけど）には効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
あるウイルスに効く薬を開発していて、いろんな感染者を集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと感染から24時間以内であれば効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
あるがんの抗がん剤を開発していて、いろんな患者を集めて治療群と対照群に分けて試験したら有意差が無かった。しかし研究を進めていくと、特定の遺伝子型を持つ患者には効くのではないかとの仮説が立った。この仮説を検証するにはどのような試験をすれば良いか。
Re:眉唾？ (スコア:2)
逆に、教えてもらえますでしょうか：
コメントは付かないか。残念。
Re: (スコア:0)
別ACですが・・・
p値というのは、「有意差が無いとした場合、今回の(有意差が表れる)実験結果がたまたま表れる確率はどれくらいか」というものです。
通常、p値が5%以下であれば有意差があると判断します。
つまり、偶然によって差がでる確率が5%以下であれば、それは稀なので偶然ではないと判断します。
これは20面ダイスを振って1を出すことに似ています。
ところで、20面ダイスを振って1回目で1を出すのは難しいですが、
振り続けていけば、1を出すことはできるでしょう(おそらく20回目付近で)。
実験についても同様に、繰り返すことで(本当は有意差が無いにもかかわらず)p値が5%以下でてしまう可能性があります。
これを多重比較の問題とかp値ハッキングとか言います。
多重比較の問題を解消する手段としてボンフェローニ補正というものがあります。
これは実験回数に応じて、2回なら2.5%、3回なら1.67%・・・と、有意差があると判断する水準をより厳しくします。
Re:眉唾？ (スコア:2)
親コメントに「再実験」とあって、再度実験をしたと思い込んでいたのですが、プレスリリースは「追加解析」なんですね。これだと多重比較か。追試でも無かった。
もし一回の試験で、ハゲの一部を対象（残りを対象にしない）場合、対照群とだけ比較すれば良いのですから、ダネット法でも良さそうですが。
p値の定義は一応理解しているつもりですが、有意水準「p値が5%以下であれば有意差があると判断」する根拠はよくわかっていません。最近は p値が <0.05 かどうかだけではなく、p値そのものを記載するようになっている？
元の話だと、追試をおこなうべきように思いますが、その際の適切なサンプル数が難しそうです。
ところで、20面ダイスを振って1回目で1を出すのは難しいですが、
振り続けていけば、1を出すことはできるでしょう(おそらく20回目付近で)。
20回目付近？ 0.95^14回≒0.488（または ln(0.5)/ln(0.95)≒13.5）なので、14回も振れば 1が出る確率の方が高いのでは？ そういう話ではない？
Re: (スコア:0)
Re:眉唾？ (スコア:2)
オギノ薬品のかたですか？
違います。
# そういう薬品メーカーがあるのかと思ったらドラッグストア [google.com]だった。ここのこと？
Re:眉唾 (スコア:1)
> 眉唾
髪にヨーグルトをつける話だけに。
Re: (スコア:0)
参考になります。
ありがとうございます。
Re: (スコア:0)
解析の手法への批判を別としても、「毛乳頭細胞が少ないことが推測される18名を除いた被験者86名で」良い数字が出たということは、ハゲには効かないのね。
Re: (スコア:0)
ハゲとフサフサが混じってる群で盲検試験して、有意差がない。
ということは、その群からハゲを除外しても、有意差がないはずなんだよ。
しかし、追加試験の結果は有意差があるって主張している。
ここから導かれる結論は、
ハゲがこの薬を使うとハゲが悪化する！！！
という。マジか。
#つまり、追加試験は無意味ってことですなー。多分鉛筆舐め舐めの類い。
Re: (スコア:0)
＞ハゲとフサフサが混じってる群で盲検試験して、有意差がない。
＞ということは、その群からハゲを除外しても、有意差がないはずなんだよ。
＞しかし、追加試験の結果は有意差があるって主張している
効くグループ(普通の人)と効かないグループ(薄い人)があって、もともと効くグループでも
ギリギリの有意差しか出ないのに、効かないグループが入ると薄まってしまって有意差が
出ない・・・・とか？
同意するけど (スコア:0)
> 前半の実験結果が全てですが、基本的に効果はなく
まったくその通りなんだけど…
それを仲間内とはいえ、学会誌に載せるというのがわからん。ふつう「自分の仮説は誤りでした」なんていうのは公に発表しないでしょ。まともな研究者なら、「この仮説は誤りだったか。じゃあ次の仮説を立てよう」といくんじゃない。
Re:同意するけど (スコア:1)
> それを仲間内とはいえ、学会誌に載せるというのがわからん。
学会と言っても日本乳酸菌学会。
乳酸菌ビジネスをやってる企業がお金だして運営している学会。
自分らで学会作って、そこで身内が発表して、それっぽいお墨付きを与えている。
存在自体が利益相反といっても過言ではない。
まともな研究者ならこんなところじゃなくて、海外のまともな学会・論文誌で発表する。
乳酸菌界隈はそれができない研究者＆研究成果ばっかりだから
日本乳酸菌学会なんてローカルのコミュニティーを作ってそこで発表したことにしてるわけ。
つまり学会の存在自体が、乳酸菌には大した効果が無いってことを証明している。
Re: (スコア:0)
今はデータに捏造がないならまともな研究者くらいの水準になっているのかも
Re: (スコア:0)
普通の人を多い人にはできるが、薄い人を普通の人にはできない・・・・ってことか？(苦笑)
Re: (スコア:0)
生やす効果は認められなかったが、増やす効果は認められたってことでは？
Re: (スコア:0)
これだけだと不適切とは言いきれない。
なぜかというと、この「追加実験」が最初から計画されていたものなら全く問題はないから。毛乳頭細胞が少ないことが推測される18名を除いたあと、それぞれの群に43名残っているので、最初から計画していた可能性は十分あるのね。
批判するには論文見て実験のデザインを明らかにする必要があると思う。
Re: (スコア:0)
全体では効果が無いけど、層別したらある領域に対しては効果があった、
っていうのは、自分の関わっているような製品分野では重要な知見となるのですが、
医薬品分野では眉唾扱いなんですね。
QC七つ道具に「層別」を入れることがあるくらい一般的なんですが…
Re:眉唾 (スコア:1)
有意かどうかの判断は、「試験したいものとプラセボを与えたそれぞれの群で同じ結果が出る」という帰無仮説をたてて、「その仮説が成立しているなら5%ぐらいの確率でしか起こらない偏った結果が発生したから、帰無仮説を否定してよさそう」とやるわけだよね。実験後にいろいろな条件で調べちゃうと、その中に20回に1回ぐらいの偏りが発生している項目はあるので、そういうのが引っかかってくるという問題があるわけ。だから、結果を得た後に条件を追加して調べた中に偏ったものがあっても、有意な違いがあったとは言ってはいけない。もう一回同じ実験をその条件でやり直して、偏りがある結果が得られればＯＫ。
批判している人は、「結果が得られた後に条件を追加して調べた中に偏ったものがあった」という発表だと判断して批判しているのね。#4466411 で書いたけど、それは必ずしも明らかではなくて、実験開始前に「毛乳頭細胞が少ない人には効果がないかも」と考えて、その比較もできるように実験をデザインしていたのであれば、結果が得られた後に条件を追加して調べたわけではないから、有意差ありという結論を出しても問題ない。
「層別したらある領域に対しては効果があったみたいな話は医薬品分野では考えられていないのか」という話に関してだけど、新しい薬の試験では、第1相で安全性を確認し、第2相から仮説を立てて有意な結果が得られるかどうかを調べ始めるのね。第2相では、すぐに仮説を検証するのではなくて、どういう条件で効果がありそうかを見ることに重点を置いて(探索的臨床試験)、そこで得られた結果に基づいて仮説を立てて、最後に第3相で有意性を確認するという手続きを取る。なので、そういう話は、医薬品分野でも考えられていると言っていいのではないかと思う。
去年、塩野義のコロナ経口薬のゾコーバの試験で似たような話があって、第2相では、コロナの症状全部に関しては有意な結果が得られなかったんだけど、鼻水、喉の痛み、咳、息切れという呼吸器症状だけなら十分偏った結果になっているというので、その結果で緊急承認しようとしたんだわ。だけど、それって結果を得てから追加した条件でしょ、ってことで問題になって、緊急承認は見送りになって、結局、第3相の途中結果で緊急承認した。試験開始前に呼吸器症状だけしか効果がでないかも、という予想がついてれば、第2相で緊急承認できたかもしれないけど、まあ難しいよね。