Колишній дослідник OpenAI випускає прототип Flipbook: безпосереднє створення пікселів за допомогою моделей відео на основі ШІ

Згідно з моніторингом від Beating, колишній дослідник OpenAI Зайн Шах та його команда випустили Flipbook, експериментальний прототип, який безпосередньо генерує пікселі екрана за допомогою моделей штучного інтелекту, замінюючи традиційні веб-технології, такі як HTML та CSS. Кожна «сторінка», яку переглядають користувачі, є зображенням, створеним штучним інтелектом, а натискання будь-якої області зображення генерує нове зображення для подальшого дослідження. Весь інтерфейс позбавлений HTML-коду, фіксованих посилань і попередньо визначених кнопок, навіть текст представлений у вигляді пікселів на зображенні. Режим відео базується на відкритому вихідному коді моделі генерації відео DiT (Diffusion Transformer) LTX Studio від ізраїльської компанії Lightricks, оптимізованій для потокової передачі у 1080p при 24fps на екрани користувачів через WebSocket, з бекендом, підтримуваним серверless GPU від Modal Labs. Шах зазначив, що поточна функціональність Flipbook обмежена, і команда розробляє його з урахуванням візуальних пояснень, але це демонструє більш широкий напрямок: оскільки моделі стають точнішими та зберігають стан, вони можуть розширитися до структурованих інтерфейсів користувача, включаючи сценарії програмування. Раніше Шах працював у дослідженнях штучного інтелекту та робототехніки в OpenAI, згодом обіймав посаду експерта з творчих технологій у Samsung, а також є випускником YC S13. До команди входять колишні інженери з Humane та Slack, Едді Джіао та колишній інженер Apple Дрю О’Карр.