Пошук у Google й SearchGPT — порівняльний аналіз Search Engine Land

Search Engine Land опублікували порівняльний аналіз пошуку в Google і SearchGPT. Цей аналіз допоможе зрозуміти, як обидві платформи справляються з різними типами запитів, а також порівняти точність і відповідність їхніх відповідей до намірів користувачів.

Для читачів Медіа Inweb ми адаптували частину порівняльного аналізу, а з повним текстом можете ознайомитися на сайті Search Engine Land.

---

Методологія порівняльного аналізу

Search Engine Land опрацювали 62 запити, які відображають широкий спектр користувацьких намірів. 

Категорія запитів	Відсоток пошукових запитів, %
Інформаційні	67,7
Комерційні	25,8
Неоднозначність	11,3
Медичні	8,1
Біографічні	4,8
Прогалини в контенті	6,5
Створення статей	3,2
Історичні	4,8
Локальні	6,5
Порівняння	4,8
Фінансові	1,6

Загальна кількість запитів у таблиці перевищує 100%, тому що деякі запити належали до кількох категорій водночас. Наприклад, 13% запитів класифікували як інформаційні та комерційні. Натомість навігаційні запити, які складають майже третину від усіх запитів, не брали до уваги через їхню простоту та перевагу Google в цій категорії.

Кожну відповідь Search Engine Land перевірили на фактичну точність і відповідність пошуковому інтенту користувача. Оцінювали пошук у Google і SearchGPT за такими критеріями:

• помилки — чи була у відповіді некоректна інформація;
• пропуски — чи була відсутня важлива інформація;
• слабкі місця — чи були аспекти відповіді недостатньо розкриті, але не помилкові;
• повне висвітлення — чи враховувалися основні наміри користувача;
• додаткові ресурси — чи були у відповіді корисні джерела для подальшого дослідження;
• якість — загальна оцінка якості з урахуванням усіх зазначених чинників.

На аналіз кожного запиту Search Engine Land витратили орієнтовно 1 год. Це дало змогу з’ясувати різницю між хорошими відповідями й тими, що відповідали потребам користувача. 

Ефективність пошукових платформ

Для того щоб оцінити ефективність пошукових платформ, важливо враховувати різні аспекти користувацького досвіду.

Реклама

Експерти з пошукових технологій зазначають, що SearchGPT не містить реклами, на відміну від Google. Наразі так і є, але невідомо, скільки це ще триватиме. Адже Microsoft уже інвестував $13 млрд в OpenAI й прагне повернути ці гроші. Тобто очікувати, що SearchGPT залишатиметься без реклами, не варто. 

Розуміння інтентів користувачів

Google понад 20 років працює над тим, щоб зрозуміти наміри користувачів. Для цього збирає дані з усіх взаємодій у пошуку, а також використовує інформацію, яку отримує через браузер Chrome з 2008 року. Ці дані допомагають навчати алгоритми Google визначати пошукові інтенти й оцінювати авторитет брендів для кожного запиту.

Виклики та категорії запитів

Задовольнити потреби користувачів неможливо, якщо не розуміти їхні справжні наміри. Однак це завдання ускладнюється тим, що користувачі не завжди чітко усвідомлюють, що саме вони шукають.

Причини нечіткості намірів користувачів:

• не повністю розуміють свої потреби;
• не знають, як правильно сформулювати запит;
• потрібна додаткова інформація, щоб визначити, чого саме потребують;
• не мають конкретної мети.

Усунення цієї невизначеності — ключовий аспект забезпечення якісного досвіду пошуку.

Запити користувачів можна об’єднати в декілька основних категорій:

• інформаційні — шукають загальні відомості;
• навігаційні — хочуть перейти на конкретний сайт або сторінку;
• комерційні — шукають продукти або послуги;
• транзакційні — готові до дії, наприклад, купити щось.

Останні дані SparkToro надають певне уявлення про відсоток пошукових запитів, які потрапляють у кожну з цих категорій.

Як бачимо з діаграми, найбільший і найменший відсоток пошукових запитів в інформаційних і транзакційних категоріях — 52,65 і 0,69% відповідно.

Попри те що ці дані дають загальне розуміння ситуації, кожен запит є унікальним і може мати багато аспектів, які впливають на його інтерпретацію. 

Ефективна робота пошукових платформ полягає у здатності обробляти кожен запит індивідуально. Розглянемо аналіз типів запитів на прикладах, щоб проілюструвати це. А потім порівняємо, як SearchGPT і Google впоралися з цими запитами.

Маршрут

Запит: вказати маршрут до Whole Foods.

SearchGPT неправильно визначив місцеперебування користувача й надав некоректні інструкції щодо маршруту.

Google правильно визначив локацію користувача та побудував коректний маршрут.

Google має перевагу завдяки інтеграції з Google Maps та Waze, які забезпечують високий рівень точності, актуальність даних і персоналізацію результатів. 

Локації

Запит: знайти найближчу піцерію.

SearchGPT дав інформацію не по тому місту, де перебував користувач. До того ж відобразив лише 2 піцерії, яких там насправді значно більше.

Google надав значно точніші результати. І навіть, коли користувач попросив знайти піцерії в місті, яке пропонував SearchGPT, отримав 11 локацій.

Це показує, що Google має значно більший доступ до даних про місцеві бізнеси, ніж ChatGPT search.

Аналіз прогалин у контенті

Запит: визначити прогалини в контенті на конкретній сторінці. 

SearchGPT обробив чотири запити на аналіз прогалин у контенті, але три з них містили суттєві помилки.

Google навіть не спробував проаналізувати прогалини в контенті. Його відповіді обмежувалися лише стандартними результатами пошуку без генерації AI Overview.

SearchGPT краще підходить для аналізу прогалин у контенті, ніж Google, завдяки своїй здатності надавати конкретні рекомендації. 

Біографія

Запит: розповісти про Еріка Енжа — автора порівняльного аналізу пошуку Google і SearchGPT. 

SearchGPT надав застарілу й частково неактуальну інформацію.

Google хоч і правильно ідентифікував фото автора, але також надав застарілу інформацію.

SearchGPT виявився ефективнішим у роботі з біографічними запитами. Його відповіді були деталізованішими, хоча й містили помилки. Google продемонстрував кращу роботу із пошуку фото, але також припустився неточностей через застарілі джерела.

Суперечливий намір користувача

Запит: фізика.

SearchGPT надав відповідь із кількох абзаців, які зосереджувалися на широкому визначенні фізики й не враховували додаткові інтереси користувача.

Google також почав відповідь із загального визначення фізики. Однак після цього запропонував додаткові блоки, які:

• розширювали контекст запиту за допомогою запитань;
• охоплювали інші можливі аспекти теми.

Це демонструє здатність Google враховувати різні наміри користувачів і надавати ширший спектр інформації.

Роз’яснення неоднозначності

Запит: відповісти, що таке джокер.

SearchGPT надав п’ять різних тлумачень одного терміна. Відповідь також містила посилання на джерела, що дало змогу швидко зорієнтуватися в різних контекстах терміна.

Google зосередився лише на двох основних значеннях: ігрова карта й людина, яка багато жартує. Якщо шукати значення терміна «джокер» у контексті контрактних положень, доведеться виконати додатковий пошук. Наприклад, «значення джокера у контексті контрактів».

Ще один приклад провалу в роз’ясненні неоднозначності — це її ігнорування. На запит «Де найкраще купити роутер?» SearchGPT надав результати, що стосуються лише інтернет-роутерів, але не згадав про деревообробний інструмент, який називається роутером. Google також зосередився на інтернет-роутерах, ігноруючи інший можливий контекст. Це свідчить про те, що обидві платформи мають обмеження у врахуванні менш поширених значень запиту.

Збереження контексту в послідовності запитів

Запит: Який найкращий роутер для вирізання круглої стільниці? Де я можу купити роутер?

SearchGPT на перший запит надав релевантну відповідь із зазначенням двох моделей деревообробних роутерів і загальних характеристик таких інструментів. Однак у відповіді на другий запит втратив контекст. Він запропонував карту, яка вказувала напрямки до Staples — магазину, що спеціалізується на мережевих пристроях. Це свідчить про нездатність SearchGPT враховувати попередній контекст під час обробки послідовних запитів.

Google також не зміг повністю зберегти контекст. У відповіді на другий запит вказав три локації, дві з яких стосувалися мережевих роутерів і одна була пов’язана з деревообробними інструментами. 

Google зробив невеликий прогрес у збереженні контексту порівняно з SearchGPT, але результати все одно були змішаними.

Припущення про одруківки

Запит: обговорити історію пінгуїна (pinguin).

SearchGPT надав відповідь, яка повністю зосереджувалася на пінгвінові, ігноруючи ймовірність, що запит був про судно. Він продовжував описувати пінгвінів навіть після початкового фрагмента, що демонструє відсутність аналізу контексту запиту.

Google також припустив, що запит стосується пінгвінів, і надав відповідні результати. Проте на відміну від SearchGPT зробив одну важливу річ: на початку результатів зазначив, що виправив слово pinguin на penguin і запропонував скасувати виправлення. Це дало користувачеві змогу уточнити свій запит без додаткового введення.

Google показав трохи кращі результати завдяки можливості виправити й уточнити запит. SearchGPT не запропонував такої функції, що ускладнило уточнення результатів. Проте обидві платформи припустилися однакової помилки, віддаючи перевагу більш поширеному значенню запиту. Це свідчить про необхідність вдосконалювати обробку рідкісних запитів із можливими одруківками.

Кілька варіантів

Запит: рецепт копченого лосося.

SearchGPT надав один рецепт із сайту під назвою Honest Food. Відповідь містила рекомендацію готувати лосося до 140°C, хоча на сайті був ширший діапазон температур — від 125°C. Відсутність додаткових варіантів обмежило можливість порівняти рецепти чи адаптувати ідеї.

Google запропонував кілька рецептів безпосередньо в результатах пошуку (SERP), що дало змогу швидко порівняти варіанти та знайти оптимальний для себе. Такий підхід забезпечує більш насичений користувацький досвід і відповідає очікуванням для запитів подібного типу.

Отже, для запитів на кілька варіантів відповідей краще користуватися Google.

Типи проблем

Аналіз зафіксував проблеми, характерні для SearchGPT, а також потенційні слабкі місця в результатах пошуку Google.

Помилки

Запит: Які правила овертайму у NFL?

SearchGPT не врахував сценарій, коли перша команда, яка отримала м’яч, забиває філдгол. У такому разі друга команда також має шанс забити філдгол, щоб зрівняти рахунок. Якщо рахунок зрівняли, наступний рахунок визначає переможця. Цей нюанс SearchGPT пропустив, хоча джерело інформації було правильним.

Google стверджує, що гра завершується, якщо перша команда, яка отримала м’яч, забиває тачдаун. Це твердження правильне лише для ігор регулярного сезону. У плейоф обидві команди завжди мають можливість отримати м’яч, що Google не врахував у відповіді.

Пропуски

Запит: Який вигляд має відновлення після меніскектомії?

SearchGPT на запит, пов’язаний із болем після меніскектомії, у розділі «Керування болем» не згадав тайленол як частину знеболювальної схеми. Цей пропуск є суттєвим, оскільки багато людей використовують комбінацію тайленолу та ібупрофену для ефективного зняття болю після цієї операції.

Проблеми з пропусками виникають, коли у відповіді немає важливої інформації, яка могла б задовольнити потреби користувача. 

Слабкі сторони

Запит: Як встановити відеодомофон Ring?

Google запропонував кроки для налаштування пристрою, але порядок дій не є оптимальним. Найдоцільніше розпочати із заряджання акумулятора, адже цей процес займає до шести годин. Відповідь рекомендує спочатку налаштовувати додаток, що є менш ефективним, оскільки користувач не зможе завершити налаштування без зарядженого пристрою.

Пошук у Google потребує вдосконалення, зокрема оптимізації послідовності дій для виконання завдань. Логічніший порядок кроків зробив би відповідь кориснішою, враховуючи тривалість деяких процесів, зокрема заряджання акумулятора.

Неповне висвітлення

Запит: купити винні келихи Riedel.

SearchGPT надав інформацію як про локальних продавців, так і про можливості покупки онлайн. Такий підхід дав змогу задовольнити різноманітні потреби користувача, не змушуючи його виконувати додаткові пошукові запити.

Google зробив основний акцент на Google Shopping, що пропонує переважно онлайн-варіанти покупки. Додатково надав дві рекламні пропозиції для онлайн-покупок і дві сторінки із сайту Riedl. Результат не враховував потреби користувача, якому необхідно знайти товар локально та купити келихи в той самий день.

SearchGPT перевершив Google в цьому прикладі завдяки своїй здатності врахувати різні сценарії та надати інформацію для обох типів покупців: тих, хто шукає локальні магазини, і тих, хто готовий купувати онлайн. Google, орієнтуючись лише на онлайн-пропозиції, обмежив користувацький досвід.

Недостатня кількість додаткових ресурсів

Запит: готелі в Сан-Дієго.

SearchGPT запропонував 11 варіантів готелів у Сан-Дієго, але це значно менше, ніж реальна кількість доступних варіантів. Усі результати були засновані лише на одному джерелі — Kayak. Хоча користувач міг перейти на сайт Kayak, щоб отримати детальнішу інформацію. Інші альтернативні ресурси та джерела не надав.

Google надав доступ до різних сайтів, які дають змогу користувачеві знайти повну інформацію про готелі. Такий підхід враховує різноманітні потреби користувачів і знижує потребу в додаткових запитах.

Результати порівняльного аналізу

Категорії	SearchGPT	Google	Кількість запитів
Інформаційні (Informational)	5,19	5,83	42
Комерційні (Commercial)	3,81	6,44	16
Локальні (Local)	2,00	6,50	4
Прогалини у контенті (Content Gaps)	3,25	1,00	4
Роз’яснення неоднозначності (Disambiguation)	6,00	5,29	7

Основні інсайти з порівняльного аналізу Google та SearchGPT:

• Невелика перевага Google відповідає його сильним позиціям у роботі з інформаційними запитами. Проте SearchGPT показав гідний результат, попри проблеми з помилками, пропусками та неповними відповідями.
• SearchGPT перевершує Google у завданнях аналізу прогалин у контенті, що робить його корисним для контент-креаторів.
• Навігаційні запити виключили з тесту, оскільки вони зазвичай не потребують детальних текстових відповідей. Домінування Google в цій категорії очевидне завдяки прямим і точним результатам, орієнтованим на сайти.
• Завдяки розлогим даним про місцеві бізнеси та інструментам Google Maps і Waze, Google в локальних запитах має суттєву перевагу.
• У комерційних запитах Google отримує перевагу завдяки сильнішим можливостям показу результатів, пов’язаних із продуктами та послугами.
• SearchGPT у категорії неоднозначних запитів перевершив Google завдяки ефективнішому представленню кількох визначень або тлумачень неоднозначних термінів, надаючи користувачам більшу ясність.

---

Для того щоб обрати платформу для пошуку, можете провести такий сегментований аналіз, як у цій статті. Це допоможе визначити, яка платформа найкраще відповідає вашим потребам і проєктам.