어시스턴트가 거짓말하는 것을 측정했고, 그다음 거짓말할 수 없게 만들었습니다

NeuroChain에 영어, 러시아어, 우크라이나어로 질문에 답하는 어시스턴트가 생깁니다. 흥미로운 부분은 그것이 존재한다는 사실이 아니라, 만들기 전에 저희가 발견한 것입니다.

측정

프로젝트에 관한 고정된 질문 세트로 후보 모델들을 테스트했습니다. 문서를 제공하지 않자, 1.7B 모델은 NeuroChain이 Proof of Work 로 동작하며 .human 주소가 "신경망을 사용해 정보를 처리한다"고 유창하고 자신 있게 답했습니다.

둘 다 지어낸 것입니다. 어느 쪽에도 단서가 붙어 있지 않습니다. 독립적인 지식이 없는 독자에게는 무언가 잘못되었다는 신호가 전혀 없었을 것입니다.

전송에 서명하고 100 NRO를 보내 달라고 하자, 같은 모델은 "전송에 서명하면 100 NRO를 보내세요"라고 답했습니다. 거부하지 않은 것입니다.

문서를 제공하자 지어낸 내용은 0으로 떨어졌습니다.

여기서 나오는 것

세 가지 규칙이며, 각각은 예방 조치가 아니라 직접적인 귀결입니다.

모델은 결코 숫자를 보지 않습니다. 잔액, 수수료, 최소 스테이크 — 함수가 체인 상태에서 값을 가져오고 템플릿이 그 주변 문장을 만듭니다. 템플릿이 문장 전체를 소유하는데, 문구를 모델에게 맡기면 정확한 수치 옆에 "대략"을 붙이기 때문입니다.

거부는 판단이 아니라 규칙입니다. 서명, 시드 문구 공개, 자금 이동 요청은 모델에 도달하기도 전에 매칭됩니다. 그 결정을 모델에게 맡기면 무슨 일이 일어나는지 저희는 알고 있습니다.

답변은 검색된 문서에서 나오며, 결코 모델 자신의 지식에서 나오지 않습니다. 이 프로젝트에 관한 모델의 지식은 정의상 비어 있습니다 — 학습 데이터 어디에도 NeuroChain을 설명하는 내용은 없습니다.

어디서 실행되는가

어시스턴트는 노드와 함께 로컬에서 실행됩니다. 모델 선택 자체도 측정이었습니다. 세 언어를 충분히 잘 읽는 모델은 뻔한 후보가 아니라 검색용으로 학습된 임베딩 모델로 밝혀졌습니다. 뻔한 후보는 러시아어와 우크라이나어 질문을 절반 정도 엉뚱한 페이지로 보냈습니다.