Інтеграція з ChatGPT для пошуку та оцінки проектів на Upwork

Нещодавно я вирішив оновити свій профіль на Upwork і почати шукати там клієнтів. Однак пошук релевантних проектів на платформі займає неймовірно багато часу — це майже як парт-тайм робота!
Шукати лише по фільтрам на Upwork не дуже круто, тому що:1) Багато бюджетів, вказаних клієнтами, є лише плейсхолдерами2) Клієнти часто публікують проекти не в тій категорії
Тому коли я отримую сповіщення про проекти з Upwork на імейл, більшість із них все ж нерелевантні. Щоб оцінити кожен проект, мені потрібно прочитати опис. Тож я вирішив заюзати ChatGPT, щоб він оцінював проекти від 0 до 10 відповідно до їх опису та моїх скілів, а я отримував на імейл всі проекти з оцінкою, скажімо, більше 7.
Для налаштування такої автоматизації я використав Make (раніше — Integromat). Створив такий сценарій:

make scenario


Налаштування RSS модуля


Для початку я створив RSS модуль. У ньому я просто ввів посилання на стрічку проектів Upwork, де я попередньо налаштував деякі фільтри:

фільтри Upwork

Налаштування модуля OpenAI


Далі, модуль RSS надсилає кожен проект OpenAI на рев`ю. Для модуля OpenAI я використав такі налаштування:
Select Method: Create a prompt completionModel: text-davinci-002Prompt (розпишіть все максимально детально):
`Here's the project name on Upwork: {{1.title}}Here's the description: {{1.description}}
Please rate how this project is relevant to my skills from 0 to 10, where 0 - not relevant at all, 10- super best fit.
Who am I: I am an email marketing and cold outreach expert. I am based in Poland. I work with clients from Europe and USA.I am interested in jobs where client needs to set up cold outreach system, or build email marketing system. And I am also interested in marketing automation, where I need to connect CRM to some program via Make or Zapier.I work with ActiveCampaign, Lemlist, Instantly, and most email tools. I don't work with Klaviyo. What I can do:- setup a domain for cold outreach - warm up the domain and mailboxes- integrate the CRM system so that responses/bounces/unsubs are tracked via CRM- create hypotheses and prioritize portraits/personascreate emails and sequences- launch email campaign- track results and provide the feedback- monthly testing domain reputation- provide automated and regular email marketing campaigns- use workflows for segmentation and best engagement- track open rates/reply rates/so on for the best deliverability
Just return me a pure number of how this project is relevant without any other words.`

Налаштування імейл модуля


Третім модулем у моєму флоу є імейл. Після того, як OpenAI перевіряє та оцінює Upwork проект, я отримую імейл із оцінкою та назвою проекту в темі імейлу, а також описом вакансії у вмісті.
Ось налаштування мого імейл модуля:

налаштування імейл модуля


А ось як виглядає сам імейл:

імейл від OpenAI

Як бачите, автоматизація спрацювала. Але чи прийнятна якість пошуку та оцінка, і чи постійно я отримуватиму лише релевантні проекти?

Огляд результатів


Я отримав майже 250 мейлів (тобто 250 проектів) за 8 днів.
Проекти з оцінкою 10 від Open AI. Їх було всього 9 штук. Мій вердикт:● Я б оцінив лише 3 проекти у 10 балів; вони супер релевантні та відповідають моєму запиту.● Половина проектів були абсолютно нерелевантними: вимагали знання php, досвіду холодних дзвінків, досвіду роботи з певними тулзами, які я не зазначав у своєму запиті, перебування на Філіппінах (хоча я прописав OpenAI, що живу в Польщі).● Кілька проектів були більш-менш релевантними. Однак для мене вони зовсім не були головним пріоритетом. 
Висновок: треба детально описати Open AI не лише запити, які я хочу виконувати, але й ті, якими я займатися не хочу.
Проекти з оцінкою 9 (43 позиції). Мій вердикт:● Лише 4 проекти відповідають їх оцінці та є дуже релевантними.● Знову ж таки, багато проектів вимагають навичок, які я не зазначав (Amazon, графічний дизайн, копірайтинг і т.д.).● Багато мікро-проектів (вирішення дрібних проблем) або низькооплачуваних. Тому я вирішив встановити мінімальний рейт/фіксовану ціну, яка мені цікава.● Багато скілів треба включити до чорного списку (з чим не хочу працювати) на майбутнє.
Підводячи підсумок, можна сказати, що проекти з оцінкою 9 були менш релевантними, ніж з оцінкою 10. Я думав, що ця тенденція збережеться, і проекти з оцінкою 8 будуть ще менш підходящими. Проте результати мене здивували.
Проекти з оцінкою 8 (159 позицій). Мій вердикт:● Досить багато релевантних проектів, яким я б дав 8-10 балів.● Звичайно, було й багато нерелевантних описів.● Однак я помітив, що OpenAI схильний давати релевантним проектам 8, а не 9 або 10 балів. І проекти з оцінкою 8 не менш підходящі, ніж з оцінками 9 чи 10. Таке враження, що він рандомно ставить 8-10 балів.
Тепер давайте подивимося, які проекти отримали оцінку 0.Вони дійсно нерелевантні. Наприклад, багато проектів з оцінкою 0 вимагали знання Klaviyo (я зазначав, що не працюю з ним). Справедливості заради зазначу, що деякі проекти з Klaviyo також були оцінені 8-10.
Все ж, тут OpenAI гарно попрацював.

Ключові висновки:
1. Ви можете налаштувати автоматичний сценарій, за допомогою якого ChatGPT оцінюватиме проекти на Upwork.2. OpenAІ чудово відсікає нерелевантні пропозиції, і він відносно добре знаходить вакансії на 10 балів.3. З іншого боку, OpenAI важко оцінити проекти у 1-7 балів (таких результатів було геть мало). Отже він полюбляє бінарні моделі та хейтить релятивізм :)4. На майбутнє я даватиму OpenAI задачу оцінювати проекти як «так» або «ні» і показувати мені лише ті, що «так».5. Також, поряд з описом того, що має бути у проекті, треба прописувати те, чого там бути не має (чим більше умов – тим краще).6. ChatGPT потребує відгуку щодо того, як би оцінив цей проект я. 7. Для деяких проектів оцінка була чисто рандомною.

Олег Томенко


Більше по темі:
Spintax (spin syntax) в cold email outreach кампаніях
Оптимізація воронки продажів та маркетинг автоматизація для ІТ-компанії
Cold email outreach: 7 порад
Інтеграція Lemlist та Hubspot для колд аутріч кампаній