Поскольку генеративный ИИ продолжает доминировать в заголовках газет, иногда трудно найти реальные примеры использования ИИ. Writer — стартап из Сан-Франциско, который работает над созданием продуктов для написания текстов с использованием генеративного ИИ с учетом интересов предприятия.
Сегодня компания анонсировала новую функцию для своей модели Palmyra, которая генерирует текст из изображений, включая графики и диаграммы, под названием Palmyra-Vision.
Мэй Хабиб, соучредитель и генеральный директор компании, говорит, что они приняли стратегическое решение сконцентрироваться на мультимодальном контенте, и возможность генерировать текст из изображений является частью этой стратегии.
“Мы собираемся сосредоточиться на мультимодальном вводе, то есть на генерации текста и информации, которая передается с помощью текста”, — рассказал Хабиб.
Следуя этой путеводной звезде, компания решила анализировать изображения, а не создавать их. Она оставляет за собой право в какой-то момент создавать диаграммы и графики на основе данных. По словам Хабиба, компания использует многомодельный подход для получения результатов Palmyra-Vision, где каждая модель выполняет определенную работу по определению того, что находится на изображении, а затем генерирует текст с точностью до четырех девяток.
У этого есть несколько вариантов использования, в том числе веб-сайт электронной коммерции, генерирующий текст из тысяч изменяющихся изображений для заполнения веб-сайта новейшими товарами без необходимости, чтобы человек следил за каждым изменением, или автоматически интерпретирующий ключевые выводы из диаграмм и графиков. Другой пример — проверка соответствия. Например, фармацевтическая компания может использовать Palmyra-Vision для выполнения автоматической проверки соответствия FDA копии рекламы, чтобы убедиться, что реклама соответствует требованиям FDA, изложенным в соответствующем документе.
Наконец, продукт может интерпретировать и обобщать рукописные заметки в текст, но Хабиб говорит, что для обеспечения точности требуется обучить модель для отдельных случаев использования, таких как медицинское обслуживание или страхование.
Хабиб говорит, что не рекомендуется использовать эти инструменты без проверки человеком в рамках рабочего процесса. Она считает, что это абсолютно необходимо, потому что любая модель может галлюцинировать (выдумывать что-то) или просто неправильно понимать факты, и важно, чтобы люди проверяли результаты. Хотя они всегда рекомендуют это каждому клиенту, и большинство из них понимают это на данный момент, она считает, что в конечном итоге потребуется более автоматизированный рабочий процесс, чтобы это происходило последовательно для всех клиентов, над чем, по ее словам, они работают.
На сегодняшний день компания привлекла 126 миллионов долларов, согласно данным Crunchbase, и в настоящее время ведет переговоры с крупными платформами облачной инфраструктуры о партнерстве, поскольку они пытаются масштабировать компанию. Последним шагом был раунд серии стоимостью в 100 миллионов долларов в сентябре прошлого года под руководством Iconiq.
Последняя версия Palmyra с возможностью преобразования изображений в текст доступна уже на сегодняшний день.
