Một khuôn khổ để chẩn đoán một nghiên cứu có kết quả mâu thuẫn hoặc sai lệch và những gì cần làm với nó.
Facebook kết nối bạn, bạn bè và cộng đồng của bạn. Đổi lại, nó sẽ cung cấp cho bạn những quảng cáo mà nó tin rằng bạn sẽ quan tâm dựa trên các hoạt động của bạn trên nền tảng. Đó là một mô hình kinh doanh phổ biến, sinh lợi — và hầu hết người dùng đều hài lòng với giao dịch này.
Tuy nhiên, đôi khi lại có sự phản đối kịch liệt của công chúng, thường là do một vụ bê bối về lạm dụng dữ liệu. Và bất cứ khi nào điều đó xảy ra, Giám đốc điều hành Meta Mark Zuckerberg đều bảo vệ chính sách của họ, nói rằng nhiều năm nghiên cứu nội bộ cho thấy rằng người dùng cực kỳ thích các quảng cáo có liên quan. Nhưng vài năm trước, khi Apple xây dựng các biện pháp kiểm soát người dùng mạnh mẽ hơn đối với việc chia sẻ dữ liệu trên iOS, hầu hết người dùng đã chọn không tham gia thu thập dữ liệu của Facebook. Đối với Meta, điều này có nghĩa là phải chuyển sang các cách khác để phân phát quảng cáo có liên quan — nhưng nó cũng lấy đi một phần lớn giá trị cổ phiếu của họ.
Chuyện gì đã xảy ra thế? Xét cho cùng, Meta được biết đến như một nhà tuyển dụng uy tín, có cả đội ngũ nhân viên nghiên cứu đông đảo và quy trình tuyển dụng mang tính cạnh tranh cao. Nghiên cứu nội bộ mà Zuckerberg tham khảo chưa bao giờ được chia sẻ công khai, nhưng công bằng mà nói nó được thực hiện với tiêu chuẩn chất lượng cao. Tuy nhiên, những phát hiện lặp đi lặp lại trong một bối cảnh – nghiên cứu nội bộ – đã không thể áp dụng được trong bối cảnh khác và điều này gây ra hậu quả to lớn cho công ty.
Với tư cách là Nhà nghiên cứu UX, mục tiêu của chúng tôi là đưa ra các quyết định bằng nghiên cứu chất lượng. Nhưng ngay cả với mục đích tốt nhất, nghiên cứu đôi khi vẫn thất bại. Tùy thuộc vào mức độ nghiêm trọng của thất bại và mức độ tích hợp của những phát hiện đó đối với chiến lược của công ty, hậu quả có thể rất nghiêm trọng.
Có ba nguyên nhân chính khiến một nghiên cứu UX có thể thất bại: nghiên cứu không thành công, kết quả phát hiện sai hoặc kết quả không được áp dụng rộng rãi như mong đợi. Trong bài viết này, chúng ta sẽ xem xét kỹ các lỗi phổ biến trong từng danh mục này và khám phá cách giải quyết chúng.
Nghiên cứu không thành công
Năm 2008, Walmart thực hiện một cuộc khảo sát khách hàng. Có một điều rút ra rõ ràng: khách hàng muốn cửa hàng bớt bừa bộn hơn.
Công ty đã bắt tay ngay vào công việc, đơn giản hóa cách bố trí cửa hàng và đưa ra các lựa chọn hợp lý. Họ dọn dẹp và thu gọn các lối đi, giảm bớt việc trưng bày và giảm thiểu việc lựa chọn. Sau khi chi hàng triệu USD để tân trang lại các cửa hàng, mức độ hài lòng của khách hàng tăng vọt – nhưng doanh số bán hàng lại bị sụt giảm nhanh chóng và nghiêm trọng. Theo một số ước tính, nó đã khiến Walmart tiêu tốn gần 2 tỷ USD doanh thu tiềm năng.
Một nhà phân tích nghi ngờ rằng ban lãnh đạo Walmart đang tìm kiếm dữ liệu để hỗ trợ cho giả thuyết mà họ đưa ra: để cạnh tranh với Target, với các cửa hàng đẹp mắt và tinh vi, Walmart cần phải làm theo. Và nếu một nhà nghiên cứu có động lực để làm như vậy thì không khó để thiết kế một nghiên cứu đảm bảo một kết quả đã định trước.
Đặt ngón tay cái lên bàn cân là một ví dụ về loại lỗi đầu tiên này: tiến hành một nghiên cứu có những sai sót cơ bản. Điều này có thể biểu hiện theo những cách khác. Bạn có thể có những mục tiêu không rõ ràng. Bạn có thể có quá ít người tham gia hoặc có thể bạn đã tuyển chọn một mẫu không thiên vị. Chúng ta cũng có thể đưa ra sai số đo lường bằng cách đặt những câu hỏi thiếu sót, không phù hợp hoặc dẫn dắt.
Theo nghĩa kỹ thuật, chúng tôi sẽ mô tả tất cả những điều này là những vấn đề liên quan đến giá trị nội tại. Họ làm tổn hại đến tính toàn vẹn của nghiên cứu.
Trong ba thất bại lớn, tội lỗi này là nguy hiểm nhất. Việc phân tích hoặc báo cáo của bạn tốt đến đâu không quan trọng nếu nghiên cứu có sai sót ngay từ đầu. Và mặc dù các vấn đề không lường trước được sau này có thể ảnh hưởng đến các giai đoạn sau của dự án, nhưng nhà nghiên cứu có quyền kiểm soát cao nhất vào thời điểm này – và do đó, chịu trách nhiệm cao nhất.
Các nhà nghiên cứu cần phát triển cả cảm giác trực quan cũng như một quy trình rõ ràng để khắc phục những sai lầm này ngay từ đầu. Hướng dẫn chính thức về thiết kế thử nghiệm và các mối đe dọa đối với giá trị nội tại có thể hữu ích.
Đã xảy ra vấn đề với kết quả phát hiện
Trong cuộc bầu cử tổng thống Mỹ năm 2008 và 2012, Nate Silver đã dự đoán chính xác không chỉ chiến thắng của Obama mà còn có bao nhiêu quận và bang sẽ bỏ phiếu. Trong lịch sử, những người thăm dò ý kiến sẽ xem xét một hoặc một vài cuộc thăm dò gần đây. Cách tiếp cận xác suất của Silver liên quan đến việc bao gồm càng nhiều càng tốt và đánh giá từng yếu tố theo độ chính xác trong quá khứ và chất lượng cuộc thăm dò ý kiến.
Tuy nhiên, vào năm 2016, ấn phẩm 538 của Silver đã mang lại cho Hillary Clinton 71% cơ hội đắc cử tổng thống. Họ tóm tắt dự đoán của mình rằng: “Clinton có thể sẽ thắng và bà ấy có thể thắng với tỷ số cách biệt lớn”. Khi Trump thắng, Silver chỉ ra rằng những sự kiện chỉ có 30% khả năng xảy ra thì vẫn sẽ xảy ra 30%. Thật không may, nhiều độc giả của 538 đã hiểu sai dự báo và uy tín của Silver bị ảnh hưởng.
Việc truyền đạt giới hạn sự chắc chắn của một người là điều khó khăn – và thời điểm để làm đúng là trước khi sự kiện được dự báo.
Công việc của chúng tôi cũng có thể gặp phải các vấn đề liên quan đến xác suất và sự không chắc chắn. Và có nhiều cách để rút ra hoặc truyền đạt một kết luận sai lầm từ một nghiên cứu đáng tin cậy. Chúng ta có thể nghĩ rằng chúng ta đã tìm thấy thứ gì đó thực sự không bao giờ có ở đó (dương tính giả) hoặc chúng ta có thể không tìm thấy thứ mà lẽ ra chúng ta phải có (sai sót). Và khi chúng ta mô tả một phát hiện thực sự, chúng ta có thể nghĩ rằng nó ít nhiều quan trọng hơn thực tế.
Khi kết quả rút ra của chúng tôi không phản ánh thực tế cơ bản, nó sẽ khiến các bên liên quan đưa ra những quyết định tồi tệ. Các nhà nghiên cứu phải thận trọng trong các phân tích của mình, thách thức những phát hiện của họ và xem xét các giải thích thay thế. Và chúng ta nên cẩn thận giải thích mức độ chắc chắn hay không chắc chắn của một phát hiện.
Nghiên cứu và phát hiện này có vẻ đúng đắn, nhưng chỉ trong bối cảnh của nó
Đầu những năm 1980, Coca-Cola liên tục mất thị phần vào tay đối thủ cạnh tranh ngọt ngào hơn là Pepsi. Để thử và tăng doanh số bán hàng, họ quyết định thử nghiệm công thức làm mới cho loại đồ uống hàng đầu của mình. Kết quả từ nghiên cứu thị trường sâu rộng đã đưa ra kết luận: người tiêu dùng có xu hướng ưu tiên áp đảo đối với loại Coke mới, ngọt hơn. Rõ ràng là công ty nên tiếp tục làm mới sản phẩm đến mức một số nhà phân phối thậm chí còn đe dọa sẽ phản đối nếu họ không làm như vậy.
Sau khi phát hành, thị trường đã phản ứng mạnh mẽ với New Coke – nhưng không theo cách mà công ty đã dự đoán. Sự phẫn nộ và tẩy chay diễn ra gay gắt đến mức Coca-Cola nhanh chóng lùi bước, thu hồi sản phẩm và đưa sản phẩm gốc trở lại kệ hàng.
Kể từ đó, nhiều người đã suy đoán về việc nghiên cứu của Coke có thể khiến họ hiểu lầm một cách tồi tệ như thế nào. Một số chỉ ra bản chất của các cuộc thử nghiệm hương vị, trong đó người tham gia uống một ngụm duy nhất, thay vì uống hết một lon hoặc chai. Những người khác chỉ ra lòng trung thành của khách hàng. New Coke được ra mắt như một sự thay thế hoàn toàn cho công thức ban đầu chứ không phải là một lựa chọn khác, khi khách hàng đã xây dựng được gần một thế kỷ liên tưởng đến thương hiệu.
Trong cả hai trường hợp, những gì đúng trong phòng thí nghiệm không còn đúng trong thế giới thực.
Bản thân các nghiên cứu về trải nghiệm người dùng và những phát hiện của chúng có thể có vẻ hợp lý, nhưng nếu chúng không áp dụng vào bối cảnh mà chúng tôi quan tâm – bối cảnh của những người dùng thực tế – thì công việc của chúng tôi sẽ có rất ít giá trị. Hầu như bất kỳ yếu tố nào trong nghiên cứu của chúng tôi đều có thể khác biệt một cách có ý nghĩa với cuộc sống thực: thời gian, cách chúng tôi đặt câu hỏi và nhiệm vụ, mục tiêu và động lực của người tham gia, sự hiện diện của nhà nghiên cứu-người quan sát hoặc chính trải nghiệm đó.
Khi các phát hiện không thể khái quát hóa được, vấn đề bắt nguồn từ giá trị bên ngoài của nghiên cứu. Các nhà nghiên cứu phải xem xét cẩn thận bối cảnh nghiên cứu của họ và tái tạo các điều kiện mà họ quan tâm càng nhiều càng tốt. Và khi báo cáo những phát hiện của mình, chúng ta phải xem xét các bối cảnh có thể xảy ra mà trong đó chúng có thể không đúng.
Kết luận và tóm tắt
Có nhiều cách mà một nghiên cứu UX có thể sai lầm, nhưng nguyên nhân cốt lõi của sự thất bại thuộc một trong ba loại chính:
- Các vấn đề liên quan đến kế hoạch và thiết kế nghiên cứu. Một nghiên cứu có mục tiêu hoặc phép đo không rõ ràng hoặc thiên vị sẽ có sai sót ngay từ đầu. Ở đây, nhà nghiên cứu có quyền kiểm soát và trách nhiệm cao nhất.
- Vấn đề phân tích và giao tiếp. Chúng ta có thể không tìm thấy điều gì đó quan trọng hoặc báo cáo ảo tưởng về một phát hiện không thực sự có ở đó. Chúng ta cũng có thể đánh giá sai sức mạnh của một phát hiện và đánh lừa người khác về cách chúng ta trình bày nó.
- Vấn đề khái quát hóa. Thiết kế và phân tích nghiên cứu có thể hoàn hảo về mặt kỹ thuật, nhưng những phát hiện có thể không bao giờ xảy ra bên ngoài bối cảnh nghiên cứu của chúng tôi. Nó không cho chúng tôi biết bất cứ điều gì có ý nghĩa về người dùng thực tế của chúng tôi.
Theo nghĩa kỹ thuật, những điều này lần lượt liên quan đến giá trị nội tại, xác suất và độ không chắc chắn cũng như giá trị bên ngoài. Bất cứ khi nào và bằng cách nào một nghiên cứu UX thất bại, nó có thể làm giảm uy tín của chúng tôi và gây hại cho tổ chức của chúng tôi.
Để ngăn chặn những vấn đề này, Nhà nghiên cứu UX nên xem xét chúng trong từng giai đoạn của dự án và sử dụng các hệ thống (như danh sách kiểm tra và nhận phản hồi) để kiểm soát chúng. Nếu một nghiên cứu trước đây gặp phải một trong những vấn đề này, việc chẩn đoán nó có thể giúp bạn quyết định nên bỏ đi hay làm lại.
Bài viết này ban đầu được xuất bản trên The ¼″ Hole.
Lawton Pybus, Lawton Pybus là Giám đốc Nghiên cứu UX và Tiến sĩ về Yếu tố Con người có trụ sở tại Denver, CO.
Để lại một bình luận