Objectief en deskundig gesproken…
Een boekbespreker stelde eens: "Ik lees nooit een boek voor ik het beoordeel, want het bevooroordeelt me zo".
Ik ga het eens proberen met het recente boek van David H. Freedman met als indringende titel 'WRONG'. Diegenen die het echt hebben gelezen kunnen me altijd nog verwijten te veel te hebben gesteund op de verklaring van anderen. Maar het boek krijgt in de Amerikaanse kwaliteitspers laaiende reviews van gerenommeerde reviewers die het misschien wel gelezen hebben. Als je tenminste de uitbundige selecte steekproef van lauwerkransen op de eigen website van de auteur mag geloven.
Freedman schrijft - voor diegenen die mijn tweedehands berichtgeving ernstig willen nemen - waarom experts onze verwachtingen alsmaar blijven beschamen, en hoe te weten wanneer je ze niet moet vertrouwen. Hij verklaart onze deskundige neiging om te rationaliseren, te plezieren, onze betaalmeesters terug te betalen met de opinies die ze graag horen. En onze persoonlijke neiging het verstand op nul te zetten als deskundigen spreken.
Freedman stelt en passant dat op die punten (dit is misschien een nuttige vingerwijzing voor Leen Paape) dat wetenschappelijke tijdschriften niet veel beter zijn dan de boulevardpers.
Hij maakt voor zover mij bekend geen uitzondering voor, maar ook geen speciale referentie naar, structurele criticasters zoals bloggers. Of naar deskundigen die hijzelf heeft geconsulteerd tijdens de research voor zijn boek.
Het boek is, naar deskundig verluidt, een nucleair bombardement van al diegenen die zich als 'expert' aandienen en met hun uitspraken de wereld intimideren. En gaat over hoe fout ze het wel niet kunnen hebben, en hoe vaak en waarom.
Het oogverblindende foutenlijstje van Freedman liegt er niet om. Het is enerzijds zo absurd dat het ernstige twijfels doet zaaien over Freedmans eigen deskundigheid in deskundigen. Maar anderzijds zo provocerend dat het, samen met zijn uitleg volgens de boekbesprekingen, ons doet neigen het deze nazomer toch maar integraal ter hand te nemen.
Oordeelt u zelf maar. Ik hoop dat het u niet bevooroordeelt. Het geeft in ieder geval het rustgevende gevoel dat ons beroep niet alleen staat in het structureel de fout in gaan:
Some Factoids from WRONG
- About two-thirds of the findings published in top medical journals are refuted within a few years.
- As much as 90 percent of physicians' medical knowledge has been gauged to be substantially or completely wrong.
- Economists have found that all studies published in economics journals are likely to be wrong.
- Nearly 100 percent of studies that find a particular type of food or a vitamin lowers the risk of disease fail to hold up.
- Professionally prepared tax returns are more likely to contain significant errors than self-prepared returns.
- In spite of $100 billion spent annually on medical research in the US, average life span here has increased by only a few years since 1978, with that small rise mostly due to a drop in smoking rates.
- There is a one out of twelve chance that a doctor's diagnosis will be wrong in a way that will cause significant harm to the patient.
- Not a single NFL coach or manager was able to spot much potential in future-record-shattering quarterback Tom Brady, leaving him nearly undrafted by the league after college.
- Genetics tests are one-tenth as accurate at predicting a person's height as guessing based on the height of the parents.
- Most major drugs don't work on 40 to 75 percent of the population.
- Hearing an expert talk impairs the brain's ability to make decisions for itself, according to brain imaging studies.
- A drug widely prescribed for years to heart-attack victims killed more Americans than did the Vietnam war.
- Only about one percent of the scientific studies based on fraudulent data are identified and reported.
- One-third of researchers admit to having committed or personally observed at least one act of research misconduct within the previous three years.
- Two-thirds of the drug-study findings that indicate a drug may cause harm are not fully reported by researchers.
- Ninety-five percent of medical findings are never retested.
- Half of newspaper articles contain at least one factual error.
- Sixty percent of newspaper articles quote someone who says the reporter didn't get the story straight.
- Three-quarters of experimental drugs found safe and effective in animal testing prove harmful or ineffective on humans.
- As many as 98 percent of medical researchers fail to fully disclose all potential conflicts of interest in published studies
- A third of the studies published in top medical journals contain statistical errors.
Gaat u maar rustig slapen. De deskundigen waken.