Автоматизация действий на компьютере. Анализ экрана, распознавание текста, визуальный редактор и тд

[VladimirT]

Кибор - интегрированная среда для создания программ автоматизации действий на компьютере.
http://kibor-bot.com/kibor_set.rar


Создание сценариев возможно как с помощью Си образного языка, имеющего в своем арсенале более 100 функций анализа экрана, идентификации на нем различных объектов, распознавания текста, работы с окнами и контролами приложений, работы с памятью процессов, эмуляции действий клавиатуры и мыши, работы с интернетом и т.д.  Так и с помощью Визуального редактора кода, который не требует от пользователя знаний языка программирования.

Это делает Кибор пригодным к использованию как опытным программистом, так и пользователю далекому от программирования, так как создание сценариев возможно с помощью наглядных блок схем алгоритма работы программы, которые потом транслируются в программный код.

При запуске программы появляется главное окно, открытое на вкладке Код. При написание кода возможно кроме спец функций использование Api.

Перейдя на вкладку Шпион, пользователь может использовать инструмент позволяющий получать параметры окон и контролов приложений, в котором будет осуществляться автоматизация.

На вкладке Графика возможно проанализировать экран на наличие динамичных зон, узнать наиболее подходящие настройки функций анализа экрана с учетом изменения яркости или формы объекта и подготовить все нужные шаблоны для использования их в скрипте.

Работа с Визуальным редактором кода Кибор интуитивно понятна. Логика строится с помощью настраиваемых блоков и установлением переходов между ними по принципу Истина/Ложь.
Так же есть инструмент быстрого создания блок схем, работа которого происходит таким образом:
Пользователь запускает запись действий и программа записывает и генерирует нужные блоки для Визуального редактора в зависимости от действий. В этом режиме возможно создание и настройка блоков работы с клавиатурой и мышью, идентификации объектов и распознавания текста. После остановки записи эти блоки переносятся в Визуальный редактор и пользователь строит с них алгоритм работы программы соединяя в нужной последовательности и логике.

Кибор имеет встроенный модуль распознавания текста OCR, позволяющий указывать в скрипте зону экрана с которой будет распознаваться текст и использовать его в программе.
Имеется инструмент настройки и обучения данной функции.

В наличие сервис для фрилансеров. Инструмент загрузки скриптов на сервер позволяет давать доступ к использованию их другим пользователям в демо режиме ограниченное количество времени,без возможности увидеть и сохранить  скрипт. Возможность генерировать запускаемые exe файлы позволяют распространять свои скрипты в демо режиме без установки Кибор на машине пользователя.
Панель управления лицензированием дает возможность разработчику скрипта продлить использование скрипта выборочным пользователям по уникальному ключу.

[VladimirT]

В Кибор появилась возможность использовать Python.

Возможно выполнение скрипта с файла, вызов функций Питона с файлов.
Так же возможно выполнение отдельных команд Питона в коде Кибор и взаимный обмен данными.
Скрипт Питона можно запускать синхронно и асинхронно с выполнением скрипта Кибор.

Описание новых функций:

runpython()

Запускает интерпретатор Питон.
Возвращает 1 при удачном запуске
0 при неудаче.

closepython()

Завершает работу с интерпретатором.
Возвращает 1 если завершил работу.
0 если интерпретатор не был запущен.

wpython("print(^'yes^')");

Отправляет Питону команду print('yes') и нажимает Ентер. Не синхронная. Не ждет окончания команды.
Возвращает 1 при удаче.

rpython()

Считывает последний ответ с Питона.
Возвращает string.
То есть если перед этим мы отправили print('yes'), то прочитаем yes
Данная функция может считать ответ только один раз. При повторных попытках считывания или если Питон не готов выдать ответ (выполняет какую то задачу) эта функция вернет ERROR_READ_PYTHON

wrpython("print(^'yes^')");

Посылает Питону print('yes') и сразу же получает ответ. Возвращает string. В данном случае yes.. Синхронная. После отправки ждет отработки кода и получения ответа.
Синхронность работы не распространяется на вызов Питон функций.

fpython("C:\Program Files (x86)\Kibor\script.txt")

Считывает скрипт Питона с файла и выполняет его. Ответ, если есть необходимость надо получать так же как и в случае wpython функцией rpython
В файле допускаются функции и их вызов.
Перевод срока в файле является Ентером.

Примеры запуска скриптов Питона в Кибор

[VladimirT]

Было много обновлений.
Последнее, это новый визуальный редактор кода.
Данный редактор выполнен в виде отдельного приложения.
Его главное отличие состоит в том, что он универсален и расширяем.
Его функционал можно добавлять с помощью шаблонов, которые находятся в папке с программой.
В шаблоне полностью описан Блок, который необходимо добавить в библиотеку, от его внешнего вида, до кода который он генерирует. Поэтому этот редактор можно настраивать что бы он генерировал код на разных языках.
Кроме того он поддерживает резиновые связи, создание циклов и много другого.

Релиз первой версии Визуального редактора.
https://kibor-bot.com/forum/topic.php?forum=1&topic=175

Демонстрационные видео
Создание бота для рыбалки. Работает с анализом экрана.
https://youtu.be/P-idnAwtQ2g

Автоматизация на сайте (авторизация и создание темы). Работает через Python и Selenium
https://youtu.be/BaJBUEcFQ-U

Создание полубота для betcity (ставки на спорт)
Бот получает информацию со страницы игры Баскетбол. Сканирует идущее время партий, фамилии, счет.
Выводит эту информацию на экран в виде текста.
Если секунды попали между 20 и 30 переходит на страницу игры. Это для демонстрации. Можно настроить на любые параметры.
https://youtu.be/dT6jO1PreR4

Как расширить возможности визуального редактора. Создание своих блоков.
https://youtu.be/rvWn7s4xUwY

[RXL]

У нас на работе портировали Flash-приложение в JS+WebGL методом конверсии через TypeScript (потому как все переписать просто нереально). Для тестирования рендеринга использовали виртуалки с программным вводом клавиатуры и мыши и распознование графических элементов по скриншоту, потому как не факт, что нужная кнопка может быть найдена по старым координатам. Выглядело грандиозно, но после отладки конвертора и фреймворка больше не используется.

[VladimirT]

В этом я не разбираюсь..