Ein häufiges Problem in der Marktforschung sind fehlende Werte bei einzelnen Datensätzen dar sowie die daraus resultierenden unvollständigen Datenmatrizen. Fehlenden Werte entstehen z.B. wenn Versuchspersonen Fragen übersehen oder diese bewusst nicht beantworten. Die Ursachen hierfür können vielfältig sein, so können z.B. die Versuchspersonen Fragen übersehen, die Auskunft aus verschiedenen Gründen verweigern, Probleme bei der Datenaufbereitung entstehen etc.

Sofern Daten fehlen, stellt sich die Frage nach den dahinterliegenden Ausfallmechanismen. Hierbei ist vor allem bedeutsam, ob die Daten zufällig fehlen oder ein Systematik dafür verantwortlich ist:

Jede empirische Marktforschungsstudie muss gewisse Gütekriterien hinsichtlich der Operationalisierung  und Durchführung der Erhebung erfüllen. 

Die drei Hauptgütekriterien bei der empirischen Messung von Merkmalen im Rahmen einer Studie sind:

1. Objektivität
2. Reliabilität
3. Validität

Eine kurze Beschreibung der Begriffe Reliabilität, Validität und Objektivität:

Objektivität bedeutet, dass die Ergebnisse unabhängig von den Rahmenbedingungen zustande kommen. Auch hier können verschiedene Unterkategorien unterschieden werden:

1. Durchführungsobjektivität: Die Testergebnisse werden nicht durch die Person des Versuchsleiters beeinflusst.
2. Auswertungsobjektivität: Die objektive Auswertung der Messwerte.
3. Interpretationsobjektivität: Die Messwerte werden objektiv interpretiert.

Reliabilität bedeutet Zuverlässigkeit und bezeichnet die formale Genauigkeit der Messung. Eine reliable Messung muss bei Wiederholung der Messung unter gleichen Bedingungen die gleichen Ergebnisse liefern.

Validität bezeichnet die inhaltliche Messgenauigkeit. Im Wesentlichen geht es darum, ob die Messung der dahinter liegenden Intention entspricht.

Weiterführende Literatur:

Als Marktforschungsstudie bezeichnet man die Gewinnung, Ordnung und Nutzung von marktrelevanten Daten unter Zuhilfenahme empirischer oder anderer wissenschaftlichen Methoden der Informationsbeschaffung. Normalerweise wird eine Marktforschungs-Studie in fünf Phasen untergliedert:

• Definition
• Design
• Datengewinnung
• Datenanalyse
• Dokumentation

Ein Testmarkt ist ein regional abgegrenzter Teilmarkt. Dieser soll den Gesamtmarkt (z.B. Deutschland) hinsichtlich soziodemografischer und wirtschaftlicher Zusammensetzung möglichst repräsentativ abbilden, damit die Ergebnisse der Tests auf den Gesamtmarkt übertragen werden können. In einem solchen Testmarkt können neue Produkte eingeführt werden und auch begleitende Marketingmaßnahmen durchgeführt werden (z.B. Fernsehspots, Anzeigen in Zeitschriften). Gleichzeitig wird der Erfolg des Produkts (z.B. Absatzzahlen) und das Verhalten der Marktteilnehmer (z.B. Kunden) im Testmarkt festgehalten. Hierdurch kann das Produkt mit vergleichsweise geringem Aufwand sehr realitätsnah schon vor der Markteinführung getestet werden. Die Ergebnisse im Testmarkt werden analysiert und auf den Gesamtmarkt übertragen.

Mystery Studien umfassen alle Werkzeuge, mit denen Prozesse und Abläufe im direkten Leistungserstellungsumfeld simuliert werden, um die Qualität anhand vorgegebener Kriterien in der direkten Umsetzung zu überprüfen. Beim Mystery Shopping geht z.B. ein getarnter Tester direkt vor Ort in ein Geschäft und durchläuft den Beratungs- und Kaufprozess direkt vor Ort.

Der Bereich Mystery Studien ist relativ umfangreich. Allen Unterkategorien ist gemein, dass ein Verkaufsgespräch, ein Kauf oder Ähnliches simuliert wird und der Tester (Mystery Shopper) hierbei als "tatsächlicher" Kunde auftritt. Hierdurch ist es möglich direkt am Ort der Leistungserstellung die Beratungs- und Servicequalität testen. Diese Verfahren werden genutzt, um gezielt vor Ort Schwachstellen zu ermitteln. Diese werden vom Tester ermittelt und festgehalten. Hierbei kann man sowohl generell Informationen zur Qualität der Leistungserstellung einholen als auch gezielte Leistungsvergleiche durchführen. Mögliche Vergleichsgruppen wären z.B. relevante Konkurrenten, verschiedene Regionen, Mitarbeiter, Vertriebswege usw.

Kundenbefragungen sind eine klassische Methode, um Informationen darüber zu gewinnen, wie die Produkte oder Dienstleistungen vom Kunden beurteilt werden. Die Ergebnisse liefern wichtige Anhaltspunkte für mögliche Verbesserungspotenziale. Ein erfreulicher Nebeneffekt von Kundenbefragungen besteht darin, dass sich eine Kundenbefragung sogar positiv auf die Kundenbindung auswirken kann, da das Unternehmen mit einer Kundenbefragung demonstriert, dass der befragte Kunde und seine Meinung für das Unternehmen von Bedeutung sind.

Mitarbeiterbefragungen sind ein in der Marktforschung weitgehend unterschätztes Werkzeug. Diese Methode ist aus zwei Gründen jedoch sehr wertvoll. Zum ersten hat die Mitarbeiterzufriedenheit einen direkten Einfluss auf die Kundenzufriedenheit, insbesondere in Unternehmen mit direktem Kundenkontakt. Des Weiteren ermöglicht eine professionelle Mitarbeiterbefragung die Nutzung von unternehmensinternen kreative Potenzial besser zu nutzen, indem z.B. Verbesserungsvorschläge aus Mitarbeitersicht (anonym) aufgenommen werden.

Ebenso wie Kundenbefragungen haben auch Mitarbeiterbefragungen den erfreulichen Effekt, dass sie die Durchführung einer Mitarbeiterbefragung selbst schon positiv auf die Arbeitszufriedenheit und Motivation auswirkt, denn auch hier zeigt das Unternehmen aktiv Interesse an den Anliegen der Mitarbeiter.

Besonders günstig und zeitnah können Stichproben für Marktforschungsstudien über Online-Befragungen in Panels generiert werden. Bei solchen  Panel-Befragungen werden Personen befragt, die bereits vorher rekrutiert wurden und sich dazu bereit erklärt haben, an Online-Befragungen und Marktforschungsstudien teilzunehmen. Besonders zur Anfangszeit der Online-Marktforschung gab es häufig Bedenken hinsichtlich der Datenqualität von Online-Stichproben aus Online-Panels - inzwischen bieten jedoch fast alle Marktforschungsinstitute auch solche Online-Befragungen an.