Blindtesting i vitenskapen

[mysan]

Fant denne artikkelen om utbredelsen av blindtester innen forskjellige vitenskapelige områder.

Ganske interessant.

[Mann 42]

Fant denne artikkelen om utbredelsen av blindtester innen forskjellige vitenskapelige områder.

Ganske interessant.

Blindtest er et av flere designelement, og man bruker det dersom det er fare for at forskere eller forsøkspersoner skal være påvirket av kunnskapen om hva slags forsøksbetingelse de befinner seg under. Det blir særlig et problem i de tilfellene hvor man prøver åmåle noe subjektivt, som forsøkspersonens opplevelse av smerte eller ubehag, eller der forskerens observasjon har et element av vurdering.

For de tilfellene der det finnes måleinstrumenter og forsøksprotokoller som ikke gir rom for tvil eller vurderinger av om et måleresultat er sånn eller slik, så trenger man gjerne ikke blindtester. Og da bruker man dem heller ikke, for det fordyrer prosedyrene betraktelig.

Så det kan ikke komme som en bombe at blindtester ikke benyttes i fysikk og kjemi, og praktisk talt ikke innen biologi. Når det finnes et objektivt kriterium for resultatet av en eksperimentell betingelse, så iverksetter man ikke en svindyr protokoll som er utviklet for å redusere påvirkningen av subjektive kriterier og vurderinger.

Endret 24. april 2009 av Mann 42

[mysan]

Nei, det er jo forståelig, men det er jo litt merkelig da at Sheldrake som er biolog drar frem disse listene over hvor lite som faktisk blindtestes i forhold til utgitte rapporter. Han av alle, må jo vite om det der?

[Gjest pastablasta]

Blindtesting brukes endel i medisin, bl.annet for å kunne godkjenne legemidler før de slippes løs på markedet. Det er utrolig hvor godt placebo funker, når man tror det funker!

[Mann 42]

Nei, det er jo forståelig, men det er jo litt merkelig da at Sheldrake som er biolog drar frem disse listene over hvor lite som faktisk blindtestes i forhold til utgitte rapporter. Han av alle, må jo vite om det der?

Kanskje et forsøk på å etablere en aura av respektabilitet, for det gikk deg vel ikke hus forbi at han lister opp sitt eget fagfelt med 85% blindtesting?

Now, THAT`S science for `ya!

[Gjest Gjest]

Det er helt normalt at ulike vitenskapsgrener bruker ulik metodikk. Innen mitt fag, statsvitenskapen, benyttes ikke blindtesting i det hele tatt. Årsaken er at man ikke driver med laboratorieforsøk.

[mysan]

Kanskje et forsøk på å etablere en aura av respektabilitet, for det gikk deg vel ikke hus forbi at han lister opp sitt eget fagfelt med 85% blindtesting?

Now, THAT`S science for `ya!

Jeg så det, men for alt jeg vet er det sant det han skriver

For alt du vet også, selv om du ikke nødvendigvis liker det.

Det er helt normalt at ulike vitenskapsgrener bruker ulik metodikk. Innen mitt fag, statsvitenskapen, benyttes ikke blindtesting i det hele tatt. Årsaken er at man ikke driver med laboratorieforsøk.

Det forstår seg, og som Mann42 skriver også, så er det ikke nødvendig der hvor man måle, veie osv. Maskiner er jo ikke offere for biaser av ymse slag.

Nå må jeg lese lista hans en gang til ser jeg, jeg har glemt hva som står der. Gullfisk

[mysan]

Jeg prøvde å kopiere og lime inn oversikten, men det funker dårlig, så da får man bla frem og tilbake da... boooooring.

Det jeg ser er at innen fysikk tas metodene med blindtesting ikke i bruk overhodet. Sikkert helt logisk.

Innen biologisk forskning - som er Sheldrakes felt - er blindtesting brukt 7 ganger totalt i forhold til 914 rapporter.

Medisin har 55 blindtester på 227 rapporter

Psykologi og dyreadferd har 7 blindtester på 143 rapporter (dette er vel også innen hans eget felt)

Parapsykolog har 23 blindtester av 27 rapporter.

Jeg skjønner ikke hva du mener. Sheldrake mener ikke at eventuell telepati er parapsykologi, men biologi... du mener at han forsker på det paranormale.

Jeg skal se litt mer på siden hans, og se om jeg finner ut hva han selv mener han forsker på, og hva som er hans felt. Eventult hva andre mener er hans felt.

Leser papiret om igjen og finner dette:

Confirming the findings of the literature survey, the survey of science departments at 11 British Universities confirmed that blind procedures are rare in most branches of the physical and biological sciences. They were neither used nor taught in 22 out of 23 physics and chemistry departments, or in 14 out of 16 biochemistry and molecular biology departments (Table 2). By contrast, blind methodologies were practiced and taught in 4 out of 8 genetics departments, and in 6 out of 8 physiology departments. In most of these departments they are used occasionally rather than routinely, and are mentioned only briefly in lectures.

When academic scientists were interviewed for this survey, some did not know what was meant by the phrase "blind methodology". Most were aware of blind techniques, but thought that they were necessary only in clinical research or psychology. They believed that their principal purpose was to avoid biases introduced by human subjects, rather than by experimenters. The commonest view expressed by physical and biological scientists was that blind methodologies are unnecessary outside psychology and medicine because "nature itself is blind", as one professor put it. Some admitted the theoretical possibility of bias by experimenters, but thought it of little importance in practice. And one chemist added, "Science is difficult enough as it is without making it even harder by not knowing what you are working on."

Han skriver også:

I have not carried out an analysis of the situations where blind methods are not used in mainstream medical research, because my primary focus was on the biological and physical sciences.

Hvilket som nevnt er hans eget felt. Endret 26. april 2009 av mysan

[Mann 42]

Jeg prøvde å kopiere og lime inn oversikten, men det funker dårlig, så da får man bla frem og tilbake da... boooooring.

Det jeg ser er at innen fysikk tas metodene med blindtesting ikke i bruk overhodet. Sikkert helt logisk.

Innen biologisk forskning - som er Sheldrakes felt - er blindtesting brukt 7 ganger totalt i forhold til 914 rapporter.

Medisin har 55 blindtester på 227 rapporter

Psykologi og dyreadferd har 7 blindtester på 143 rapporter (dette er vel også innen hans eget felt)

Parapsykolog har 23 blindtester av 27 rapporter.

Jeg skjønner ikke hva du mener. Sheldrake mener ikke at eventuell telepati er parapsykologi, men biologi... du mener at han forsker på det paranormale.

Jeg skal se litt mer på siden hans, og se om jeg finner ut hva han selv mener han forsker på, og hva som er hans felt. Eventult hva andre mener er hans felt.

Han kan jo gjerne si at han forsker på biologi, men det gir ingen mening, i annen forstand enn at forsøkshundene hans er karbonsbaserte livsformer. Etter omtrent samme logikk vil også psykologi og sosiologi være biologi, siden det handler om folk, og folk er biologiske.

Sheldrake forsker på atferd, og hans postulerte mekanisme for å forklare atferden, er noe som ligger utenfor alle kjente fysiske lover, siden han selv sier at han har utelukket alle normale sanser og kjente informasjonskilder i designet av særlig hundestudiene sine.

Det er ikke hva han sier som avgjør hva forskningen hans er, det er hva han gjør. Han driver med parapsykologi.

[mysan]

Ok, jeg skal gi deg den, det er greit. Men i og med at han selv mener han interesserer seg for biologi og adferd hos dyr, burde han jo da ha fabrikert flere blindtestresultater i det feltet, men det gjør han altså ikke. Så kanskje han ikke har noen skjult agenda når han legger frem denne analysen.

Artikkelen inneholder forvøvrig atskillig mer enn de tallene, han har tanker rundt temaet, uavhengig av felt, og det er interessant å se hva han tenker og mener.

A SIMPLE EXPERIMENT TO TEST FOR EXPERIMENTER EFFECTS

Although most "hard" scientists take it for granted that blind techniques are unnecessary in their own field of study, this assumption is so fundamental that it deserves to be tested empirically.(note 7)

In all branches of experimental science we can ask: do the expectations of researchers introduce a bias, conscious or unconscious, into the way they carry out the experimental procedures, make their observations or select data?

I propose the following procedure to test this matter. Take a typical experiment that involves a test sample and a control - for example the comparison of an inhibited enzyme with an uninhibited control in a biochemical experiment. Then carry out the experiment both under open conditions, and also under blind conditions, in which the samples are labeled A and B. In student practical classes, for instance, half the class would do the experiment blind. The other half would know which sample is which, as usual.

If no significant experimenter effects are found in such tests, then for the first time there will be evidence to support the belief that blind techniques are unnecessary. On the other hand, significant differences between the results under open and blind conditions would reveal the existence of experimenter effects. Further research would then be needed to find out whether the experimenters' expectations were influencing experimental systems themselves, or merely the way that the data were recorded or selected.

The more independent investigations, the better. It cannot be healthy for the supposed objectivity of regular science to rest on untested assumptions.(note 8) This is an inquiry in which the critical skills of skeptics could play a major role. The use of blind methodologies, pioneered by skeptics in the field of unconventional medicine, has now been internalized within medicine and psychology, resulting in improved rigor and a more sophisticated awareness of the effects of experimenter bias. The so-called hard sciences have largely escaped skeptical inquiry, but there seems no good reason why they should continue to be granted this immunity.(note 9)

Perhaps it will turn out, after all, that "hard" scientists need not bother with blind techniques. They may indeed be exceptions to the principle that "our beliefs, desires and expectations can influence, often subconsciously, how we observe and interpret things." On the other hand, they may be like everybody else, including researchers in psychology and medicine.

Jeg mistenker deg for å være like biased som meg - jeg innrømmer at jeg er det, og jeg merker det selv når jeg leser og leter også, men samtidig leter jeg også etter ting som motsier det jeg i utgangspunktet tror. Det er bare ikke like lett å finne hele tiden.

Finner du noe som motbeviser det han skriver i sitatet over her for eksempel, og det jeg siterte i forrige post? Han påstår jo egentlig ganske kraftige saker når det kommer til vitenskap og blindtesting, tro på eget felts fortreffelighet også videre. Du må gjerne finne artikler som sier at han tar feil...

[mysan]

Jeg ser at han regnes som forsker på det parapsykologiske av andre, så du har rett.

Det i seg selv gir ingen grunn til å tro at de tallene han presenterer ikke stemmer. Han kan selvfølgelig ha gått igjennom en hel drul med rapporter og kun plukket ut de som understøtter hans utsagn, og på den måten ha manipulert resultatet, men jeg ser liksom ikke poenget med det heller. Bortsett fra at det er sånn mennesker handler utifra egne biaser, selvfølgelig. I såfall bør man ikke stole på noen.

[Mann 42]

Jeg ser at han regnes som forsker på det parapsykologiske av andre, så du har rett.

Det i seg selv gir ingen grunn til å tro at de tallene han presenterer ikke stemmer. Han kan selvfølgelig ha gått igjennom en hel drul med rapporter og kun plukket ut de som understøtter hans utsagn, og på den måten ha manipulert resultatet, men jeg ser liksom ikke poenget med det heller. Bortsett fra at det er sånn mennesker handler utifra egne biaser, selvfølgelig. I såfall bør man ikke stole på noen.

Jeg har ikke sagt at tallene er feil. Jeg tillot meg bare å spekulere litt over poenget med å presentere dem, siden bruken av blindtest altså er betinget av om forventninger er en potensiell feilkilde i et aktuelt forsøk.

Jeg syns ikke at han argumeterer særlig bra for det. Det er ikke noen spesielt gode grunner for å anta at det er slik i fysikk, kjemi, etc.

Dersom det oppstod feil under forskning, skulle det resultere i feilaktige data og teorier, som ikke ville fungere i felten. Men vi vet jo at de gjør det.