در بیشتر لانچ‌هایی که از نزدیک دیده‌ام، مشکل اصلی نبودن بازخورد نیست؛ مشکل زیاد بودن آن است. صبح روز دوم لانچ، صندوق ایمیل پر از پیامهای نیمه‌کاره است، کانال پشتیبانی در تلگرام صد پیام خوانده‌نشده دارد، چند نفر زیر پست اینستاگرام نظر گذاشته‌اند و دو سه کاربر هم مستقیم به شماره شخصی بنیان‌گذار پیام داده‌اند. همه این‌ها ارزشمند است، اما هیچ‌کدام در جایی کنار هم قرار ندارد. نتیجه این است که تیم به‌جای تصمیم‌گیری، فقط واکنش نشان میدهد و هر بار به آخرین پیامی که خوانده است پاسخ میدهد.
به یاد دارم تیمی کوچک را که ظرف ده روز بعد از لانچ بیش از چهارصد پیام جمع کرده بود. بنیان‌گذار شبی را صرف خواندن همه پیام‌ها کرد و صبح روز بعد سه فیچر جدید به فهرست کارها اضافه شد. دو هفته بعد معلوم شد پرتکرارترین شکایت کاربران اصلاً در آن فهرست نبود، چون در پیامهای کوتاه و پراکنده‌ای پنهان بود که هیچ‌کس سه بار پشت سر هم آن‌ها را کنار هم نخوانده بود. مشکل کمبود دقت نبود، مشکل مقیاس بود. یک انسان خسته نمی‌تواند چهارصد پیام را همزمان در ذهن نگه دارد و الگوها را ببیند.
اینجاست که هوش مصنوعی میتواند کمک واقعی باشد، نه به‌عنوان جایگزین شنیدن صدای کاربر، بلکه به‌عنوان دستیاری که پیام‌ها را مرتب میکند تا شما وقت و ذهن خود را صرف تصمیم‌گیری کنید. در این مقاله پنج دسته ابزار را مرور می‌کنم که برای تیم‌های کوچک ایرانی عملی هستند، می‌گویم هر کدام کجا به درد می‌خورد و کجا گمراه‌کننده میشود، و در پایان یک چرخه هفتگی ساده پیشنهاد می‌دهم که بتوانید از فردا اجرا کنید. اگر هنوز برنامه روزهای اول را ننوشته‌اید، پیشنهاد می‌کنم ابتدا چک‌لیست هفته اول بعد از لانچ را هم مرور کنید.
چرا بازخورد بعد از لانچ زیر خروارها پیام گم میشود؟
بازخورد بعد از لانچ سه ویژگی دارد که تحلیل آن را از بازخورد معمولی سخت‌تر میکند. اول اینکه از کانال‌های بسیار متفاوتی می‌رسد و هر کانال قالب خودش را دارد. پیام تلگرام کوتاه و عاطفی است، ایمیل طولانی‌تر و مؤدبانه‌تر، و نظر شبکه‌های اجتماعی معمولاً یک جمله تند یا یک تشویق بی‌دلیل. دوم اینکه کاربران مشکل واقعی خود را به‌ندرت مستقیم می‌گویند. کسی که می‌نویسد «ثبت‌نام سخت است» ممکن است درباره فرم پیچیده حرف بزند، یا درباره کدی که هیچ‌وقت نمی‌رسد، یا درباره اینکه نمی‌داند از کجا باید شروع کند. سوم اینکه حجم پیام‌ها دقیقاً در زمانی بیشترین است که ظرفیت تیم کمترین است، چون همه درگیر رفع باگ‌های فوری هستند.
نتیجه این سه ویژگی یک خطای شناختی آشناست: صدای بلندترین کاربر به صدای اکثریت تبدیل میشود. کاربری که سه بار با لحن تند پیام میدهد، در ذهن تیم بزرگ‌تر از بیست کاربر ساکتی میشود که هر کدام یک بار به همان مشکل اشاره کرده‌اند. ما درباره همین سازوکار در مقاله فیدبک سمی هم نوشته‌ایم؛ فیدبک بد همیشه از کاربر بد نمی‌آید، گاهی از شیوه جمع‌آوری و خواندن ما می‌آید. ابزارهای هوش مصنوعی درست در همین نقطه کمک میکنند، چون پیام‌ها را بدون خستگی و بدون جانب‌داری شمارش و گروه‌بندی میکنند.
البته یک هشدار لازم است. هیچ ابزاری به شما نمی‌گوید چه چیزی را بسازید؛ فقط نشان میدهد کاربران درباره چه چیزی حرف می‌زنند و با چه شدتی. تصمیم نهایی، که بر پایه استراتژی و ظرفیت تیم گرفته میشود، همچنان با شماست. با همین نگاه به سراغ پنج دسته ابزار می‌رویم.
۱. مدلهای زبانی عمومی برای دستهبندی و خلاصهسازی پیام‌ها
ساده‌ترین و در عین حال مؤثرترین نقطه شروع، استفاده از یک مدل زبانی بزرگ برای خواندن دسته‌ای پیام‌هاست. کار به این شکل است که پیامهای هفته را از تلگرام، ایمیل و فرم‌ها در یک فایل متنی یا جدول جمع می‌کنید، مدل را موظف می‌کنید هر پیام را در یک دسته مشخص قرار دهد، مثلاً «مشکل فنی»، «سردرگمی در ثبت‌نام»، «درخواست فیچر»، «قیمت» و «تشویق»، و در پایان از آن می‌خواهید دسته‌ها را بر اساس تعداد و شدت مرتب کند. چیزی که ساعت‌ها طول می‌کشید، در چند دقیقه روی میز شما قرار می‌گیرد.
نکته مهم در کیفیت خروجی، دقت دستور شماست. اگر فقط بنویسید «این پیام‌ها را خلاصه کن»، خلاصه‌ای کلی و بی‌مصرف می‌گیرید. اگر بنویسید «برای هر پیام، مشکل اصلی کاربر را در یک جمله بنویس، سپس مشخص کن کاربر در کدام مرحله مسیر استفاده بوده و یک نقل‌قول کوتاه از خود پیام بیاور»، خروجی قابل ردیابی میشود و می‌توانید هر ادعا را به پیام اصلی برگردانید. من همیشه توصیه می‌کنم نقل‌قول را جزو خروجی اجباری کنید، چون مدل‌ها گاهی الگویی را «می‌بینند» که در داده وجود ندارد و نقل‌قول مستقیم بهترین ضدّ این اشتباه است.
محدودیت این روش در حجم و حریم خصوصی است. مدل‌ها برای متن‌های بسیار طولانی باید تکه‌تکه تغذیه شوند و در این صورت دسته‌بندی‌ها ممکن است بین تکه‌ها یکدست نباشد؛ راه‌حل ساده آن است که فهرست دسته‌ها را از ابتدا ثابت کنید و در هر دستهبندی همان فهرست را بدهید. از طرف دیگر، پیش از ارسال داده به هر سرویس بیرونی، نام، شماره تلفن و ایمیل کاربران را حذف کنید. این کار یک دقیقه وقت می‌گیرد و اعتماد کاربران اولیه را که به‌سختی به دست آورده‌اید حفظ میکند.
۲. ابزارهای تحلیل احساس و لحن برای فهمیدن شدت نارضایتی
شمارش پیام‌ها فقط نصف تصویر است. دو مشکل ممکن است هر کدام ده بار گزارش شده باشند، اما در یکی کاربران با آرامش توضیح داده‌اند و در دیگری با عصبانیت از ترک محصول حرف زده‌اند. تحلیل احساس به شما کمک میکند این تفاوت را ببینید. ابزارهای این دسته هر پیام را از نظر لحن، مثبت، خنثی یا منفی، و گاهی از نظر شدت، نمره‌گذاری میکنند و نمره‌ها را به تفکیک موضوع نشان می‌دهند.
در یکی از پروژه‌هایی که از نزدیک دنبال کردم، تیم متوجه شد شکایت از «سرعت بارگذاری» تعداد زیادی ندارد، اما تقریباً تمام پیامهای مربوط به آن لحنی بسیار تند دارند و در چند مورد با جمله‌ای مثل «دیگر برنمی‌گردم» همراه است. در مقابل، درخواست‌های مربوط به یک فیچر جانبی بسیار بیشتر بود، ولی همه با لحنی آرام و حتی دوستانه. اگر فقط تعداد را می‌دیدند، فیچر جانبی را در اولویت می‌گذاشتند؛ با نگاه به لحن، رفع مشکل سرعت اول شد و ریزش کاربران در هفته‌های بعد محسوس کم شد.
ضعف اصلی این ابزارها در زبان فارسی است. بسیاری از آن‌ها برای انگلیسی ساخته شده‌اند و در فارسی با کنایه، طنز و حتی عبارت‌های محاوره‌ای روزمره اشتباه میکنند؛ جمله‌ای مثل «دستتان درد نکند، باز هم از کار افتاد» ممکن است مثبت ارزیابی شود. بنابراین پیشنهاد می‌کنم نمره‌ها را فقط به‌عنوان راهنمای مرتب‌سازی به کار ببرید و از هر دسته منفی، ده پیام را خودتان بخوانید. اگر مدل زبانی بزرگ را برای تعیین لحن به کار می‌برید، معمولاً با فارسی بهتر از ابزارهای قدیمی تحلیل احساس عمل میکند، به شرط اینکه به آن بگویید کنایه و طنز را در نظر بگیرد.
۳. رونویسی و تحلیل خودکار مصاحبه‌ها و تماس‌های کاربران
باارزش‌ترین بازخوردها اغلب در گفتوگوی صوتی به دست می‌آید، و همان‌ها هستند که کمتر تحلیل می‌شوند، چون کسی حوصله گوش دادن دوباره به پنج مصاحبه چهل‌دقیقه‌ای را ندارد. ابزارهای رونویسی خودکار صدا را به متن تبدیل میکنند و بیشتر آن‌ها امکان خلاصهسازی و استخراج نکات کلیدی را هم دارند. با این کار هر مصاحبه به یک سند قابل جستجو تبدیل میشود که می‌توانید در آن عبارتی مثل «گیج شدم» یا «نفهمیدم» را جستجو کنید و ببینید در کدام لحظه مکالمه رخ داده است.
روشی که خودم توصیه می‌کنم این است: بعد از هر مصاحبه، رونوشت را به یک مدل زبانی بدهید و بخواهید سه چیز را جدا کند. اول، آنچه کاربر گفت (واقعیت‌ها و رفتار)، دوم آنچه کاربر خواست (راه‌حل‌های پیشنهادی)، و سوم آنچه کاربر احساس کرد (کلمه‌ها و لحن). این تفکیک مهم است، چون کاربران معمولاً راه‌حل پیشنهاد می‌دهند، در حالی که ارزش واقعی مصاحبه در شناخت مشکل پشت آن راه‌حل است. کاربری که می‌گوید «یک دکمه خروجی اکسل بگذارید» شاید واقعاً به گزارش‌گیری سریع برای مدیرش نیاز دارد و راه‌حل بهتری هم وجود دارد.
دقت رونویسی فارسی در سال‌های اخیر بهتر شده، اما هنوز با گویش‌های محلی، نویز پس‌زمینه و اصطلاحات تخصصی انگلیسی که وسط جمله فارسی می‌آید مشکل دارد. پیش از اینکه به رونوشت اعتماد کنید، یک بخش پنج‌دقیقه‌ای را با صدا مقایسه کنید و ببینید چند درصد خطا دارد. اگر خطا زیاد است، بخش‌های مهم را دستی اصلاح کنید؛ این هزینه کوچک جلوی تصمیم‌گیری بر پایه جمله‌ای را می‌گیرد که کاربر هرگز نگفته است. و البته، قبل از ضبط هر مصاحبه رضایت کاربر را بگیرید.
۴. ابزارهای تحلیل رفتار و جلسات ضبط‌شده کاربران
کاربران همه چیز را نمی‌نویسند و همه چیز را هم نمی‌دانند. بخش بزرگی از مشکلات محصول را فقط در رفتار آن‌ها میتوان دید: جایی که ماوس را بی‌هدف حرکت می‌دهند، دکمه‌ای که چند بار فشار می‌دهند بدون اینکه اتفاقی بیفتد، یا صفحه‌ای که بعد از چند ثانیه ترک میکنند. ابزارهای ضبط جلسه و نقشه حرارتی این رفتارها را ثبت میکنند و نسخه‌های جدیدتر آن‌ها با هوش مصنوعی جلسه‌ها را خودکار برچسب می‌زنند، مثلاً «کلیک‌های خشم‌آلود» یا «بازگشت‌های پی‌درپی»، تا مجبور نباشید صدها ویدئو را یکی‌یکی تماشا کنید.
قدرت واقعی این دسته زمانی آشکار میشود که آن را با بازخورد نوشتاری ترکیب کنید. فرض کنید ده کاربر نوشته‌اند «ثبت‌نام گیج‌کننده است». حالا در جلسه‌های ضبط‌شده می‌بینید که نیمی از کاربران در مرحله تأیید شماره موبایل متوقف می‌شوند و دوباره و دوباره دکمه ارسال کد را می‌زنند. ناگهان «گیج‌کننده» به یک مشکل مشخص تبدیل میشود: کد دیر می‌رسد یا اصلاً نمی‌رسد. این همان چیزی است که تیم‌ها در بازار ایران زیاد با آن روبه‌رو می‌شوند، چون پیامک‌های تأیید گاهی با تأخیر می‌رسند و کاربر تقصیر را به گردن محصول می‌اندازد.
نکته حریم خصوصی اینجا حساس‌تر است. هر ابزار ضبط جلسه باید فیلدهای ورودی مثل رمز عبور و اطلاعات پرداخت را پنهان کند، و بهتر است کاربران را از ضبط آگاه کنید. همچنین مراقب باشید ابزارهایی که روی سرورهای خارج از کشور کار میکنند ممکن است برای تیم ایرانی با محدودیت دسترسی یا پرداخت مواجه شوند؛ پیش از ورود به یک اشتراک بلندمدت، نسخه آزمایشی را در شرایط واقعی خودتان امتحان کنید.
۵. خوشهبندی معنایی برای پیدا کردن الگوهای پنهان
دستهبندی با فهرست از پیش تعیین‌شده یک ضعف دارد: فقط چیزی را پیدا میکند که از قبل انتظارش را داشته‌اید. خوشهبندی معنایی برعکس عمل میکند. در این روش، هر پیام به یک بردار عددی تبدیل میشود که معنای آن را نشان میدهد، و پیام‌هایی که از نظر معنا نزدیک‌اند، حتی اگر کلمه مشترکی نداشته باشند، در یک گروه قرار می‌گیرند. جمله‌های «پرداخت انجام نشد»، «از حسابم پول کم شد ولی سفارش ثبت نشد» و «درگاه بانک خطا داد» همه به یک خوشه می‌روند، بدون اینکه کسی قبلاً چنین دسته‌ای تعریف کرده باشد.
برای تیم‌های فنی که بنیان‌گذار یا مدیر محصول برنامهنویس دارند، این روش از همه ارزان‌تر و انعطاف‌پذیرتر است. چند خط کد کافی است: پیام‌ها را به مدل تولید بردار می‌دهید، با یک الگوریتم خوشهبندی ساده گروه‌بندی می‌کنید، و از یک مدل زبانی می‌خواهید برای هر گروه یک عنوان و یک خلاصه بنویسد. خروجی یک نقشه از مشکلات واقعی کاربران است، نه از مشکلاتی که تیم فکر میکند وجود دارند. تجربه من این است که معمولاً در هر دور تحلیل، یک یا دو خوشه ظاهر میشود که هیچ‌کس در تیم انتظارش را نداشته، و همان‌ها ارزشمندترین یافته‌اند.
البته خوشهبندی کامل نیست. گاهی دو موضوع متفاوت به‌خاطر شباهت زبانی در یک گروه می‌افتند و گاهی یک موضوع به چند گروه تقسیم میشود. پس خوشه‌ها را به‌عنوان فرضیه بخوانید، نه حقیقت. از هر خوشه پنج پیام نمونه بخوانید و مطمئن شوید عنوان پیشنهادی واقعاً آن را توصیف میکند. اگر تیم برنامهنویس ندارید، همان کار را می‌توانید با ابزارهای آماده تحلیل بازخورد انجام دهید که این مراحل را پشت یک رابط ساده پنهان کرده‌اند.
چطور این ابزارها را در یک چرخه هفتگی بنشانیم؟
ابزار بدون عادت فایده‌ای ندارد. تیمی که یک بار با هیجان همه چیز را تحلیل میکند و بعد دو ماه فراموش میکند، همان‌قدر کور است که تیمی که هیچ‌وقت تحلیل نکرده. پیشنهاد من یک چرخه هفتگی کوتاه است که برای تیم‌های سه تا ده نفره قابل اجراست. روز دوشنبه، همه پیامهای هفته گذشته را از کانال‌های مختلف در یک جدول جمع کنید و داده‌های شخصی را پاک کنید. سپس با مدل زبانی دستهبندی و تحلیل لحن را انجام دهید و اگر امکان دارد خوشهبندی معنایی را هم اجرا کنید.
روز سه‌شنبه، یک جلسه سی‌دقیقه‌ای بگذارید و سه مشکل برتر را بر اساس ترکیب تعداد و شدت انتخاب کنید. برای هر کدام یک نقل‌قول واقعی کاربر را روی صفحه نشان دهید، چون چیزی مثل جمله خود کاربر تیم را متقاعد نمی‌کند. بعد از آن، فقط یک یا دو مورد را وارد برنامه توسعه کنید و بقیه را در فهرست انتظار نگه دارید. تیم‌های کوچک معمولاً به‌خاطر سعی در حل همه چیز همزمان، هیچ‌چیز را کامل حل نمی‌کنند. در پایان هفته بعد، به کاربرانی که مشکل را گزارش کرده بودند خبر بدهید که رفع شده است. این کار هم اعتماد می‌سازد و هم کاربر را تشویق میکند دفعه بعد باز هم بنویسد؛ دقیقاً همان مشکلی که در مقاله چرا بیشتر لانچ‌ها فیدبک نمی‌گیرند بررسی کرده‌ایم.
و یک اصل را فراموش نکنید: هوش مصنوعی ابزار خواندن است، نه ابزار شنیدن. شنیدن یعنی گفتوگوی مستقیم با چند کاربر، دست‌کم هر هفته یک تماس. ابزارها به شما کمک میکنند بدانید با چه کسانی و درباره چه چیزی صحبت کنید، اما جایگزین آن گفت‌وگو نمی‌شوند. برای کاهش هزینه‌های دیگر در همین دوره، می‌توانید مقاله ابزارهای هوش مصنوعی برای کاهش هزینه تست و QA را هم بخوانید.
اگر محصول شما تازه لانچ شده یا در آستانه لانچ است، لانچینو جایی است که می‌توانید آن را به جامعه بنیان‌گذاران و کاربران اولیه ایرانی معرفی کنید و اولین بازخوردهای واقعی را جمع کنید. محصول خود را ثبت کنید، رای بگیرید و با همین چرخه هفتگی، هر بازخورد را به یک قدم بهتر برای محصولتان تبدیل کنید.