Парсер или импорт
- Только открытые неперсональные данные
- Запуск по расписанию
- Файл таблица или загрузка на сайт
от 8 000 ₽
Автоматизирую рутину, которую сотрудники делают руками
от 8 000 ₽ парсер от 2 дней, процесс с ИИ от 2 недель
Обсудить задачустолько стоит рутина за год768 часов, почти 19 рабочих недель одного человека
Ставка: зарплата с налогами, делённая на рабочие часы. В году считаю 48 рабочих недель.
Окупится примерно за 2 недели
2 неделиокупаете работу
309 120 ₽остаётся в первый год
Один штрих: рабочая неделя. Чёрные окупают работу, остальные уже ваши.
Цена здесь нижняя граница пакета, доля это допущение. Точную смету даю после разбора процесса, калькулятор её не заменяет.
Если узнаёте своё
-
Цены и наличие обновляете руками
-
Отчёт собирается из пяти таблиц полдня
-
Сервис вырос, и всё стало виснуть без видимой причины
Это к разбору нагрузки -
У пользователей крутится загрузка, хотя результат уже готов
Это к разбору нагрузки -
Сервер заполняется быстрее, чем докупаете место
Это к разбору нагрузки
Числа в примерах условные. Подставьте свои.
Сначала замер
В gptml снаружи всё выглядело как сбой воркера. Замеры показали другое: база была одним файлом на 108 МБ, и каждая запись пересохраняла его целиком. Автоматизацию я начинаю с цифр, потому что без них легко починить то, что не ломалось.
Автоматизация бизнеса начинается с одного измеримого процесса: парсер открытых данных, регулярный отчёт, загрузка прайса на сайт. Если задача считается в часах и деньгах, сразу видно, окупится ли работа.
-
Так выглядело снаружиВоркер зависает, заявки падают с ошибкой
Что показал замерОдин файл базы на 108 МБ. Каждая запись пересохраняла его целиком, и сервер замирал на секунды.
-
Так выглядело снаружиРежим «воркеры и API» снова не работает
Что показал замерПод нагрузкой счётчик очереди перезаписывал выбранный режим. Гонка записей. Добавил блокировку и 27 тестов, включая 80 параллельных распределений.
-
Так выглядело снаружиИстория заявок пропадает через час
Что показал замерСама она не пропадает. Хранение 3 дня, на пороге диска уборщик срезал его до 2, и разом ушло около 4,5 тыс. записей.
-
Так выглядело снаружиИз каталога исчезли товары: 1 400 вместо 3 400
Что показал замерКеш Битрикса. После сброса цифры сошлись, каталог никуда не девался.
На gptml три воркера и четыре дорожки разбирают очередь круглосуточно: один я довёл, два написал. На момент аварии это было около 3 000 заявок в день. Владельцы проекта сами сильно тестировали и находили большую часть багов.
Воркеры работают круглосуточно и бьют как молотокВладелец gptml, август. Пересказ из переписки.
Что можно заказать
ИИ в одном процессе
- Один измеримый процесс
- Подключение модели и проверка результата
- Журнал и понятные ошибки
от 40 000 ₽
Разбор нагрузки
- Замеры диска базы и канала
- Отчёт с цифрами
- Два варианта решения
по смете
ОбсудитьСрок: парсер от 2 дней, процесс с ИИ от 2 недель.
Подойдёт, если
- Можно назвать, сколько времени процесс занимает сейчас
- Данные открытые или ваши собственные
- Сервис уже работает и упёрся в производительность
Не подойдёт, если
- Нужен сбор персональных данных с чужих сайтов или обход защиты. За это не берусь
- Задача звучит как «внедрить ИИ» без конкретного процесса. Сначала выберем один процесс
Как работаю
Определяем, что значит готово
Сразу и понятно: что входит, как проверяем, сколько стоит.
Работаю на копии
На рабочий сайт изменения попадают после проверки, откат готов заранее.
Даю два варианта
Быстрее и дешевле или надёжнее. Выбираете вы.
Показываю статус
Что сделано, что в работе, чего жду от вас.
- Я
- Скрипты, сервер, подключение моделей, замеры и инструкция
- Вы
- Примеры данных, доступы, проверка результата
Вопросы
Сколько стоит парсер сайта?
Парсер или импорт данных от 8 000 ₽ и от 2 дней работы. Автоматизация процесса с ИИ от 40 000 ₽ и от 2 недель.
Законно ли парсить цены?
Беру только открытые неперсональные данные и слежу за нагрузкой на чужой сайт. Если у источника есть API, использую его.
Что будет, если сайт-источник изменится?
Закладываю сообщение об ошибке, чтобы парсер не выгрузил пустоту молча. Правка входит в поддержку или считается отдельно, это обсуждаем заранее.
Сможем ли мы сами вести это дальше?
Пишу инструкцию для людей без технического опыта. На gptml новые сборки воркеров уходили архивом с инструкцией, и партнёры, оба не программисты, запускали их у себя сами.
Почитать: Почему сайт медленно загружается, Ошибки 502 и 504 на сайте, Интеграция 1С с сайтом.