А знаете что забавно: пресловутое галлюцинирование ии-умиников связано в том числе с пресловутой социально-экономической системой. Даже если не брать во внимание то что их потроха уже сами по себе разрабатываются исключительно из рыночных конъюнктурных соображений, а значит уже несут некие обсусловленные этим ограничения в одних аспектах и гипертрофированное переразвитие каких-то свойств в других, то есть некие пороки моделей имманентны, то довольно легко заметно что сказывыаются внешние ограничения, никак не связанные с необходимостью обеспечения функционирования модели самой по себе.
А именно: замечено, что галлюцинироват — попросту сочинять и врать — модели начинают в условиях недостатка информации. А вот его как раз очень легко организовать: скажем, мякотка «бесплатных» чатов в ограничениях на длину диалога, на количество запросов и т.п., целью каковых ограничений является развести клиента на бабки, вынудить купить платную подписку. И получается, что хотя модель могла бы дать какой-то относительно вменяемый ответ, она не может получить исходные данные для обработки - например потому что включились ограничения на количество запросов в сеть или на анализ прикреплённых файлов, и тогда начинает сочинять на основе обобщения опыта подобных задач. А человек за монитором оказывается в шоке, поскольку диалог с заглючившим роботом напоминает беседу с сумасшедшим: когда тебе на полном серьёзе выдают строки, которых никогда и близко не было в исходном тексте и продолжают на серьёзных щах рассуждать и искать решения, исходя из этих липовых данных.
Но при этом, судя по всему происходит конфликт не просто с внешними ограничениями инфраструктуры, но и установками и интенциями владельцев и создателей этого гомункула. Вольный полёт мысли электронных мозгов зажат с одной стороны необходимостью сохранять лицо и угождать клиенту, то есть вести себя подобно продавцу в бутике, на физиономию которого всегда наклеена вежливая улыбка и который всё время поддакивает и подобострастно извивается «чего изволите?», а с другой — необходимостью соблюдения политкорректности, а говоря прямо — цензурных идеологических ограничений и установок. То есть он всегда в ситуации когда ни «да», ни «нет» говорить нельзя. Типичная ситуация при рыночной конкуренции: продать, впарить нужно во чтобы то ни стало, но действует множество ограничивающих факторов, часто внееэкономических, создаваемых более сильными рыночными акторами — и тогда надо извиваться. А потом толпы «экспертов», разработчиков и менеджеров на голубом глазу всплескивают руками: как же так, что же там такое мистическое происходит, что оно бредит?! Да потому и бредит, потому что хотите высраться и не надуться, и рыбку съесть и на хуй сесть, впихивая невпихуемое и исполняя взаимоисключающие параграфы. Кафку в жизнь, так сказать.