• 31 Жовтня 2024

Як ШІ змінює управління даними у SaaS — основні інсайти з панелі TechCrunch Disrupt 2024

29 жовтня на TechCrunch Disrupt 2024 відбулася панельна дискусія, присвячена тому, як штучний інтелект (ШІ) змінює управління даними в SaaS-компаніях.

Учасниками стали:

Джордж Фрейзер, CEO Fivetran;
Чет Капур, CEO DataStax;
Ванесса Ларко, партнерка NEA.

Модерував дискусію Пол Сорс, провідний репортер TechCrunch.

Для читачів Медіа Inweb ми зібрали основні думки з цієї панелі, а повну версію ви можете переглянути на YouTube.

Фото: Що показали на Tesla Robotaxi 2024 — Robovan, Cybercab та танцюючі роботи Optimus

Роль даних у розвитку штучного інтелекту для SaaS

Дискусію відкрив Чет Капур, наголошуючи на тому, що дані є фундаментом для створення ефективних ШІ-рішень у SaaS. Він зазначив, що для генеративного ШІ критично важливо мати доступ до великих обсягів неструктурованих даних.

Саме з цією метою DataStax працює з Apache Cassandra, яка допомагає керувати великими обсягами даних для Netflix, Spotify та FedEx.

«Без даних немає ШІ, а без неструктурованих даних у масштабі ШІ втрачає свою цінність», — підкреслив Капур.

Капур додав, що сучасні великі мовні моделі (LLM), як-от ChatGPT, чудово справляються з генерацією контенту, проте їхня ефективність залежить від наявності релевантного контексту, який може надходити лише з внутрішніх даних компанії. Це знижує ризик помилок та підвищує точність відповідей.

Одним із важливих інструментів для цього є технологія RAG (пошук, агрегація, збирання), яка дозволяє інтегрувати зовнішні дані з контекстом із внутрішніх джерел, створюючи більш релевантні та корисні результати.

«Застосунок не повинен бути на 100% точним. Згадайте, як ви спілкуєтеся з оператором кол-центру. Чи завжди він точний? Ймовірно, ні, десь на рівні 65-70% точності. Все, що вам потрібно, — це досягти такої ж точності у вашій програмі, і тоді можете запускати його. Для цього потрібні такі системи, як RAG», — зазначив Капур.

Обробка даних у реальному часі: міф чи необхідність

Під час обговорення питання обробки даних у реальному часі Джордж Фрейзер наголосив, що цей термін часто неправильно розуміється, оскільки більшість бізнес-процесів потребує не реального часу, а низької затримки. Він пояснив, що у більшості випадків історичні дані є ціннішими, особливо для стратегічного аналізу та прийняття рішень.

«Я був науковцем і працював над реальними системами реального часу. Насправді ми говоримо про низьку затримку, вимірювану в секундах. Це те, що ми бачимо в тендерах на пропозиції, і ми можемо це реалізувати.

Але в більшості випадків це не використовується на практиці, адже майже не існує випадків, коли вам дійсно потрібні дані за останні 10 секунд. Для дуже рідкісних випадків це зазвичай варто реалізувати в самій системі запису даних», — зазначив Фрейзер.

Він додав, що обробка в реальному часі доцільна лише для вузьких сфер, як-от фінансові транзакції чи відстеження доставки, тоді як для більшості компаній важливішою є ефективність аналізу історичних даних.

Ванесса Ларко зазначила, що інтеграція даних у реальному часі може бути корисною для клієнтської підтримки, особливо в умовах певних ситуацій, наприклад, під час погодних подій.

Чет Капур підкреслив, що генеративний ШІ вимагає майже миттєвого доступу до даних, щоб забезпечити релевантність. Це особливо важливо для застосунків, які надають результати на основі останніх дій користувача.

«Наприклад, коли я відвідую сайт з подорожами, я хочу, щоб результати були релевантними до мого останнього запиту: якщо я шукав пляж 5 секунд тому, а гори — 30 секунд тому, я хочу, щоб найрелевантніший пошук з’явився саме зараз. 

Без релевантності в реальному часі генеративний ШІ не стане популярним. А без даних у реальному часі не буде релевантності, тому це надзвичайно важливо, особливо у порівнянні з тим, що роблять OpenAI та інші мовні моделі», — зазначив Капур.

Як побудувати ефективний конвеєр даних для ШІ

Чет Капур підкреслив, що побудова нового конвеєра даних є необхідною для SaaS-компаній, які хочуть максимально використовувати можливості генеративного ШІ. RAG (пошук, агрегація, збирання) став основною технологією для інтеграції даних, що дозволяє створювати точніші результати, мінімізуючи ризики «галюцинацій» ШІ.

«Інтеграція контекстуальних даних у контент дозволяє значно підвищити точність і уникнути потенційних помилок у роботі ШІ», — наголосив Капур.

Він додав, що RAG також дозволяє компаніям створювати персоналізовані рішення, що є ключем до покращення обслуговування клієнтів та підвищення конкурентної переваги. Це особливо важливо для глобальних компаній, які мають справу з великими обсягами неструктурованих даних.

Як законодавство впливає на локалізацію даних у SaaS

Однією з головних тем обговорення стала локалізація даних у різних юрисдикціях, яка є критичною для глобальних компаній. Джордж Фрейзер зазначив, що дотримання законів, таких як GDPR у Європі, вимагає зберігати дані у межах конкретної країни, що створює труднощі для масштабування ШІ-рішень.

«Локалізація даних є необхідністю, але вона ускладнює глобальну інтеграцію ШІ-рішень», — підкреслив Фрейзер.

Ванесса Ларко навела приклад, коли великі компанії, як-от LVMH, мають обмеження щодо передачі даних, особливо в Китаї, де дані не можуть покидати межі країни. Це ускладнює навчання великих мовних моделей (LLM) та інтеграцію персоналізованих рішень.

«Маскування та дублювання даних є основними методами для збереження конфіденційності та відповідності регуляторним вимогам», — зазначила Ларко.

Як ШІ допомагає створювати персоналізований досвід у SaaS

Персоналізація стала однією з найважливіших переваг генеративного ШІ. Ванесса Ларко зазначила, що персоналізація на основі ШІ допомагає покращити взаємодію з користувачами, але вимагає складних локальних рішень через обмеження на передачу даних між країнами.

«Як можна навчати LLM для персоналізації в Китаї, якщо ці результати мають бути доступні в Європі чи США? Це одна з головних проблем для глобальних проєктів», — підкреслила Ларко.

Вона наголосила, що для повноцінної персоналізації необхідно адаптувати ШІ-рішення до специфіки локальних ринків, зберігаючи при цьому конфіденційність і відповідність законодавчим вимогам.

Помилки SaaS-стартапів: відсутність фокуса та ігнорування дозволів

Ванесса Ларко закликає стартапи не намагатися охопити все відразу, а зосереджуватися на конкретних випадках використання та поступово їх розширювати:

«Почніть із чогось маленького і знайдіть людей із зацікавленістю та готовністю до розвитку», — підкреслила Ларко.

Вона додає, що найбільше марнування ресурсів відбувається через невдалі проєкти, тому важливо зосередитися на тому, щоб спочатку зробити одну річ правильно, а вже потім масштабувати:

«Зосередьтеся на конкретному випадку використання та розширюйте його поступово», — наголосила Ларко.

Джордж Фрейзер звернув увагу на важливість дотримання дозволів при роботі з даними клієнтів. За його словами, більшість проблем у SaaS виникає саме через ігнорування цього аспекту:

«Якщо ви створюєте щось, що працює з даними клієнтів, не забувайте про дозволи», — зазначив Фрейзер.

Він радить зберігати текстові дані в реляційних базах, адже вони краще підходять для управління складними питаннями дозволів:

«Реляційні бази даних ідеально підходять для управління складними питаннями дозволів», — додав Фрейзер.

Перспективи на 2025 рік: що чекає на трансформаційний ШІ

Учасники панелі дійшли згоди, що 2025 рік стане переломним у впровадженні трансформаційного ШІ. Вони очікують появу складніших ШІ-рішень, які дійсно трансформуватимуть сталі бізнес-процеси.

«Ми перебуваємо на ранніх етапах розвитку, і все може сильно змінитися. Буде це RAG чи щось інше, ми ще побачимо. Але компанії, які створюються сьогодні, хочуть бути готовими адаптуватися до майбутніх змін. Це викликає у засновників багато тривоги щодо того, чи доведеться їм переробляти все через п’ять років», — підсумував Капур.

Важливою стратегією стане поступове впровадження та масштабування рішень на основі результатів тестових проєктів.

«Наступний рік, я вважаю, стане роком трансформаційного ШІ. Тоді люди почнуть створювати програми, які насправді змінюють траєкторію розвитку компаній, у яких вони працюють», — Ванесса Ларко.

Також вона зазначила, що компанії, які активно експериментують з новими ШІ-інструментами, матимуть значну перевагу на ринку, але їм важливо фокусуватися на поетапному впровадженні рішень, аби не ризикувати.

Панельна дискусія на TechCrunch Disrupt 2024 підтвердила, що ШІ є основою для створення нового конвеєра даних у SaaS. Інтеграція RAG, персоналізація, локалізація даних та дотримання регуляторних вимог є ключовими викликами для лідерів галузі.

Поетапне впровадження ШІ-рішень і фокус на практичних результатах можуть допомогти SaaS-компаніям підготуватися до трансформацій, що очікуються у 2025 році.

SaaS

Софія Старк

• Media Editor

Агенція digital-маркетингу Inweb

Media Editor, дипломована журналістка із пристрастю до Digital та технологій. Маю стаж графічного дизайну розрізом у 5 років, вивчала основи SEO, email-маркетингу та була Head of SMM. Ваша персональна Сірі у світі digital, штучного інтелекту тощо. Педантична перфекціоністка із неймовірною допитливістю, тому збираю найцікавіше, щоб ви могли прочитати це в медіа. Обожнюю геймінг та практикую мобільну фотографію.