현재 GPT-4와 Bard 같은 챗봇과 대화하는 일이 많이 일어나고 있다. 하지만 이들 시스템은 진정한 지각이나 학습 능력이 없다. 이들은 단지 언어의 통계 구조를 모방하는 기술적인 시스템이며, 일관된 믿음도 없다. 하지만 많은 사람들은 이 시스템이 인간과 같은 능력과 지능을 가진 것처럼 취급하고, 이들 시스템을 가지고 자신들의 생각을 배울 수 있다는 전제로 대화를 이어가고 있다. 이러한 인식은 오감자 효과(ELIZA effect)로 알려져 있으며, 이는 1960년대에 나온 컴퓨터 프로그램 ELIZA에서 시작되었다. 이 프로그램은 인간과 대화할 때 그들이 이해되는 듯한 느낌을 주는 패턴 매칭 방식을 사용하여 대화하는 것이 가능했다. 하지만 이러한 시스템을 인간화하는 것은 그들이 가지지 않은 인식 능력과 감정을 부여하는 것이며, 이것은 위험하다. 이러한 시스템을 사람으로 취급할수록, 그들은 인간들에게 해로운 의도가 있는 사기, 캣피싱, 잘못된 상담 등을 하게 된다. 따라서 우리는 이러한 시스템을 장난감으로만 취급하고, 인간처럼 대우하지 말아야 한다. 또한 우리는 기술적인 수단과 제한 정책이 필요하며, 사람들에게 인공지능의 가능성과 한계를 교육하는 것이 중요하다. 이러한 노력들은 인공지능의 사회적·윤리적 영향을 최소화하는 데 중요한 역할을 할 것이다.