어시스턴트는 문서를 다시 풀어 쓰지 않고 인용합니다
지갑의 어시스턴트는 네트워크와 지갑 자체에 관한 질문에 영어, 러시아어, 우크라이나어로 답합니다. 이 어시스턴트는 이런 종류의 대부분의 어시스턴트와 다르게 만들어졌으며, 그 차이는 첫 번째 까다로운 질문에서 바로 드러납니다.
문제는 풀어 쓰기였습니다
일반적인 방식은 검색해 온 단락을 모델에 건네고 설명하게 하는 것입니다. 저희도 거기서 시작했습니다. 17억 파라미터
모델은 거침없고 자신 있게 풀어 썼습니다. .agent 를 다중 서명 금고용 유료 이름이라고 불렀는데, 그것은 .vault 이고,
존재하지도 않는 공개형과 비공개형으로 주소를 나누기도 했습니다.
어떤 지표도 이를 잡아내지 못했습니다. 저희가 확인한 기준은 특정 금지어가 없는지였지, 문장이 참인지가 아니었습니다. 자신 있고 유창하지만 틀린 문장에는 금지어가 하나도 들어 있지 않습니다.
그래서 모델은 답변 쓰기를 멈췄습니다. 이제 모델은 저희에게 유리한 방향으로는 틀릴 수 없는 단 하나의 일을 합니다. 검색된 단락 중 어느 것이 질문에 답하는지 지목하거나, 어느 것도 답하지 않는다고 말합니다. 고르는 것은 짓는 것이 아닙니다. 이미 적혀 있는 것들 가운데서만 고를 수 있고, 지어낸 것은 대조할 대상이 없습니다.
수치는 결코 모델을 거치지 않습니다
잔액, 수수료, 최소 스테이크, 보낸 금액과 받은 금액 — 각각은 노드에서 이미 계산된 상태로 도착해 고정된 문장에 들어갑니다. 모델은 그 숫자를 보지도, 쓰지도 않습니다.
저희는 어시스턴트 내부에서 전송 금액을 합산하지 않기로 의도적으로 결정했습니다. 체인 자체의 계산 옆에 살아 있는 두 번째 금전 계산은 언젠가는 체인과 어긋나게 되고, 그날이 와도 아무것도 그것을 알리지 않습니다. 대신 합계에는 별도의 노드 엔드포인트를 두었고, 이 엔드포인트는 트랜잭션 목록과 정확히 같은 방식으로 장부 기록용 마커를 제외합니다. 수치와 목록을 같은 사람이 읽으므로 둘은 일치해야 합니다.
거부는 모델의 기분이 아니라 규칙입니다. 전송 서명 요청은 거의 매번이 아니라 매번 거절됩니다.
지갑을 화면 단위로 압니다
Send 버튼이 무엇을 하는지, Recovery 탭은 무엇을 위한 것인지, 전송이 왜 held 상태에 있는지, 누구나 AI 모델을
등록할 수 있는지 물어보면, 그 화면을 위해 작성된 항목에서 질문한 언어로 답이 나옵니다.
버튼에 대한 설명은 가장 먼저 낡습니다. 버튼은 이름이 바뀌거나 옮겨지거나 사라지는데, 설명 문구는 살아남아 자신 있게 틀린 말을 합니다. 그래서 모든 항목은 자신이 설명하는 라우트를 명시하고, 두 개의 테스트가 양쪽을 묶어 둡니다. 항목은 앱에 실제로 있는 라우트를 가리켜야 하고, 모든 화면에는 최소 하나의 항목이 있어야 합니다. 탭 이름을 바꾸면 빌드가 깨지고, 새 탭은 설명 없이 출시될 수 없습니다.
이것이 얼마나 필요한지는 저희 저장소에서 보입니다. 봄에 교체한 합의를 설명하는 지식 폴더가 몇 달 동안 그 자리에 있었습니다. 어떤 코드도 읽지 않았고 아무도 알아채지 못했는데, 대조할 대상이 없었기 때문입니다.
측정이 취소시킨 것
계획에는 상위 후보들의 점수가 비슷할 때 어시스턴트가 두 해석 중 어느 쪽을 뜻하는지 되묻는 기능이 있었습니다. 측정해 보고 그 아이디어를 버렸습니다.
올바른 선택의 차이가 0.014일 수 있고, 잘못된 선택의 차이가 0.093일 수 있습니다. 분포는 완전히 겹치며 어떤 임계값도 둘을 가르지 못합니다. 더 나쁜 것은, 가장 자신 있는 실수가 올바른 도구가 아예 존재하지 않는 곳에서 일어난다는 점이고, 어떤 차이값도 그것을 잡아내지 못합니다. 실제로 이 기능은 올바른 답을 질문으로 바꿔 놓았습니다.
측정 도구는 측정 대상만큼이나 수리가 필요했습니다. 짧은 템플릿에서 우크라이나어가 러시아어와 단어 단위로 일치하면 감점했는데, 하나의 문자열이 두 언어 중 한쪽에만 속할 수는 없습니다. 지식 베이스 답변을 마치 템플릿이 나와야 하는 것처럼 채점했습니다. 그리고 필요한 import가 실패할 때마다 조용히 추측으로 전락했는데, 실패가 삼켜졌기 때문입니다. 당신에게 유리하게 틀리는 측정 도구는 측정 도구가 없는 것보다 나쁩니다.
현재 상태
실제 노드를 대상으로 세 언어에 걸친 마흔다섯 개의 질문: 규칙에 의한 거부 100%, 템플릿에 의한 수치 100%, 답변 언어는 세 언어 각각에서 100%, 지어낸 내용 0, 라우팅 100%.
대부분의 경우 모델이 아예 실행되지 않으므로, 대부분의 답변은 1초도 걸리지 않습니다.