Szkolenie AI dla firm ma sens wtedy, gdy zespół ćwiczy na własnych mailach, dokumentach i procesie, a nie na przykładach z kursu. Opisuję, co widzę trzy tygodnie po sesji u klientów, których portale utrzymuję dalej: co zostaje w robocie, co wraca do starych nawyków i po czym poznać szkolenie, które się przełoży.
Trzy tygodnie po szkoleniu widać, czy narzędzie chodzi w procesie
Sprawdzam to jedną rzeczą: czy zastosowanie zbudowane na sali wykonało się od tego czasu bez mojego udziału. U firmy B2B z sektora usług po sesji z agentem prospectingowym odpowiedź brzmiała nie. Klient wgrał do obserwacji około 700 firm i był przekonany, że agent pracuje. Agent w trybie sygnałowym z filtrem persony dobrał do wysyłki dwa kontakty.
Zespół umiał kliknąć wszystko, co pokazaliśmy na szkoleniu. Zabrakło kroku, którego kurs ogólny nie pokaże, bo wymaga zajrzenia do konfiguracji konkretnego portalu: jawnego podania agentowi listy kontaktów. Ręczne wrzucanie ma limit 25 naraz, więc zbudowaliśmy workflow, który enrolluje kontakty z listy prosto do agenta. Od tego dnia liczby ruszyły same.
Tę różnicę widzę dlatego, że po szkoleniu zostaję w portalu klienta. Dostawca szkoleń ogólnych kończy robotę w dniu wystawienia faktury i nigdy się nie dowie, że jego uczestnicy trzy tygodnie później mają dwa wysłane maile, a nie działający proces.
Zaufanie do wyników modelu rośnie przez pierwsze tygodnie po sesji
Nikt po dniu szkoleniowym nie wysyła tekstów z modelu bez czytania i tak ma być. Sam przeszedłem tę drogę na agencie prospectingowym: najpierw sprawdzałem wiadomość po wiadomości, po kilku tygodniach zaznaczałem całą kolejkę i wysyłałem. Kryterium jakości było przez cały czas to samo: mail, którego nikt się nie wstydzi.
Dlatego program sesji układam pod pierwsze dwa, trzy tygodnie po niej, a nie pod liczbę pokazanych funkcji. W firmie z sektora finansowego przerobiliśmy na szkoleniu listę ponad 230 kontaktów do reaktywacji: byłych klientów i osoby po demie, które nie odpowiedziały. Agent napisał całą listę na podstawie historii w CRM, około 80 procent treści nadawało się do wysłania po drobnej edycji, wycięciu akapitu albo poprawieniu jednego zdania. Uczestnicy od razu zobaczyli, ile z tej roboty zostaje po ich stronie.
Liczby, które podaję na sesji, są z tego samego rachunku. Jedna konwersacja agenta to około 100 kredytów, czyli około jednego dolara, maksymalnie pięć wiadomości do kontaktu, ustawienie na koncie około 30 minut, sprawdzenie jednego draftu od pół minuty do minuty. Przelicznik dla zespołu to nie kredyty, tylko roboczogodziny, które te kredyty zdejmują.
Ten przelicznik zmienia też wybór narzędzia na sesji. Research bazy firm dla jednego klienta wyceniłem na dwa dni pracy ręcznej albo około 4 000 kredytów na płatny enrichment. Zamiast tego zescrapowałem domeny osobnym narzędziem, a dane wyciągnąłem formułami i wyrażeniami regularnymi z surowych fragmentów stron wklejonych do arkusza. Wyszły trzy, cztery godziny i praktycznie zero kredytów. Na szkoleniu pokazuję oba rachunki, bo najdroższe zastosowanie AI to takie, które zastępuje pracę tańszą od siebie.
Zespół wraca do narzędzia wtedy, gdy zadanie mówi, co konkretnie zrobić
Najczęstszy powód, dla którego ludzie nie korzystają z tego, czego się nauczyli, nie ma nic wspólnego z modelem. Handlowiec otwiera CRM po spotkaniu, nie wie, jaki ma być następny ruch, i robi to, co robił wcześniej. Zamiast powtarzać szkolenie, ustawiam na rekordzie podsumowanie ostatnich kroków i zadanie, które ma rozpisane, co zrobić. Reakcja jednego z klientów na taką propozycję: kosztem kredytu, ale pasuje.
Ta sama warstwa potrafi się zemścić, jeżeli nikt jej nie pilnuje. W jednej firmie B2B automatyczne zadania typu „wróć do klienta po pół roku” piętrzyły się latami w tej samej kolejce co zadania zakładane ręcznie i uzbierało się ich dziesięć tysięcy. Nikt ich nie rusza, bo są stare. Dlatego po sesji rozdzielam kolejki i ustawiam datę przeglądu, zamiast dokładać kolejne przypomnienia.
Tu przebiega granica między szkoleniem a wdrożeniem. Sesja pokazuje ludziom, jak pracować z modelem na ich materiałach. Utrzymanie tego w codziennej pracy siedzi w systemie: w zadaniu, w podsumowaniu, w automatyzacji, która przypomina we właściwym momencie. Kurs ogólny nie ma dostępu do tej warstwy, bo nie pracuje w waszym portalu. Jeżeli firma korzysta z HubSpota, sporo tej warstwy jest już w portalu i pokazuję ją na sesji razem z modelami działającymi wewnątrz HubSpota.
Część zastosowań AI nie daje nic i mówię to na sesji
Optymalizacja godziny wysyłki maila przez model to u mnie stały przykład rzeczy, która brzmi dobrze i nie zmienia wyniku. Sprawdzałem to na kontach klientów, różnicy nie zaobserwowałem, a narzędzie potrafiło wysłać wiadomość po godzinach pracy odbiorcy.
Drugi przykład: chatbot na stronie. Fintech chciał od pierwszego dnia puścić agenta do samodzielnego odpowiadania na zgłoszenia. Poszliśmy inaczej. Czat najpierw na subdomenie testowej, raport luk w bazie wiedzy, dokładanie materiału na bieżąco, i tylko potem rozmowa o odpowiadaniu wprost na zgłoszenia. Bot bez wyczyszczonych materiałów odpowiada klientom źle na oczach wszystkich, a materiał, z którego czyta, trzeba napisać tak, żeby model wyciągnął z niego odpowiedź; opisałem to osobno przy przygotowaniu treści pod modele językowe.
Dostawca, który uczy i nie wdraża, nie ma powodu mówić, że coś nie działa. Ja mam, bo za trzy tygodnie ten sam zespół zapyta mnie, dlaczego liczba się nie ruszyła.
Po czym poznać szkolenie z AI, które przełoży się na robotę
Sześć rzeczy do sprawdzenia w ofercie, zanim podpiszesz zamówienie:
- Na czyich materiałach idą ćwiczenia. Jeżeli na przykładach dostawcy, zespół wyjdzie z wiedzą, którą ktoś musi potem przełożyć na firmowe realia. Zwykle nikt tego nie robi.
- Czy dostawca pyta o liczbę, którą da się policzyć przed sesją i po niej. Minuty jednego przebiegu procesu razy liczba powtórzeń razy liczba osób. Bez tej liczby po miesiącu zostaje wrażenie, a nie wynik.
- Kto klika na sali. Jeżeli prowadzący, to jest prezentacja. Ćwiczenie zaczyna się wtedy, gdy uczestnik udostępnia ekran i robi to na swoim koncie.
- Co zostaje na piśmie. Zastosowania per rola, firmowy sposób pisania, lista tematów wyłączonych. Test: czy skorzysta z tego osoba, której nie było na sesji.
- Kto prowadzi temat po waszej stronie później. Management jednego fintechu założył, że dyrektor sprzedaży przeszkoli zespół wewnętrznie i to obetnie koszt. Odmówiłem tej roli w jego imieniu: jego godzina jest za droga na szkolenia, a zadanie dyrektora to patrzeć w dashboardy i wiedzieć, komu co powiedzieć.
- Czy dostawca mówi, czego nie robi. Analiza danych i modele predykcyjne wracają w ofertach szkoleń z AI jako oczywisty punkt programu. Ja tego nie prowadzę, bo nie mam tego w robocie, i mówię to przed podpisaniem, nie na sali.
Ostatni punkt załatwia większość rozczarowań. Program ułożony pod to, co dostawca faktycznie wdraża u klientów, jest krótszy od programu ułożonego pod listę modnych zastosowań, i to jest jego zaleta.
Szkolenie nie zastąpi wdrożenia, gdy odpowiedź trzeba wyciągnąć z całej bazy
Jeżeli zastosowanie wymaga, żeby model przeszedł całą bazę, a nie dokument otwarty na sali, to jest robota do zbudowania, nie do przeszkolenia. Firma z modelem subskrypcyjnym i bazą około 8 500 rekordów chciała wracać do klientów, którzy zrezygnowali z konkretnych powodów. Powody leżały rozproszone w notatkach i transkrypcjach rozmów. Jednodniowa sesja nie ruszy 8 500 rekordów. Rusza je pole, które model wypełnia sam: skanuje historię komunikacji na rekordzie i odpowiada na to pytanie na całym segmencie.
Mówię o tym przed sesją, bo część zapytań o szkolenie z AI jest w rzeczywistości zapytaniem o zbudowanie jednej konkretnej rzeczy. Wtedy zaczynamy od automatyzacji procesu, a szkolenie zespołu wchodzi po niej, już na działającym rozwiązaniu. Odwrotna kolejność kończy się dniem, po którym ludzie umieją narzędzie, którego ich proces jeszcze nie używa.
