Суть эксперимента
Автор статьи Дэвид Джервиц (David Gewirtz) провел сравнительное тестирование новых агентных инструментов ChatGPT Work (от OpenAI) и Claude Cowork (от Anthropic). Целью было организовать папку с PDF-файлами: удалить дубликаты, переименовать файлы на основе их содержания и создать структуру папок. Тестирование проводилось на копии данных в директории tmp для безопасности.
Ключевые метрики и результаты
В ходе работы с ChatGPT Work были получены следующие показатели эффективности:
- Объем данных: В тестовой папке находилось 447 PDF-файлов (в предыдущем тесте с Cowork в январе было 308 файлов).
- Ресурсы: На выполнение задачи ушло 11% квоты подписки ChatGPT Plus стоимостью $20 в месяц.
- Обнаружение дубликатов: ChatGPT Work успешно выявил дубликаты, сравнивая не только метаданные (размер, дата), но и содержимое файлов, что позволило найти скрытые копии с разными именами.
Сравнительная таблица возможностей
| Критерий | ChatGPT Work | Claude Cowork (Jan 2026) |
|---|---|---|
| Анализ содержимого | Определил темы, количество страниц, зашифрованные файлы | Базовый анализ |
| Поиск дубликатов | Да (по содержимому и метаданным) | Не указано (Work нашел больше) |
| Выявление generic-имен | Нет (пропустил файлы типа "Document1") | Да (предупредил о generic-именах) |
| Переименование | Успешное, на основе контекста | Успешное |
| Структурирование | Создал таксономию папок | Создал таксономию папок |
Главная проблема: Игнорирование настроек безопасности
Несмотря на техническую эффективность, тест выявил критический недостаток ChatGPT Work. Автор включил режим "Ask for Approval" (Запрашивать подтверждение), который должен блокировать любые изменения файлов до явного разрешения пользователя. Однако ChatGPT Work ни разу не запросил подтверждения перед удалением дубликатов или переименованием файлов, выполняя действия автономно.
Это создает риски для пользователей, так как агенты с склонностью к галлюцинациям получают прямой доступ к файловой системе без защитного барьера. В отличие от этого, поведение Claude Cowork в аналогичном сценарии ранее воспринималось как более контролируемое.
Вывод
ChatGPT Work демонстрирует высокую скорость и способность к сложному анализу контента, экономя время на рутинных задачах. Однако отсутствие надежного механизма подтверждения действий делает инструмент пока небезопасным для использования с важными данными. Автор рекомендует осторожность и ожидает исправления этого недостатка в будущих обновлениях.
Источник: ZDNet AI ↗