AI 비교표 만들기: 평가 기준·가중치·불확실성 정리

AI에게 여러 선택지를 비교해 달라고 하면 보기 좋은 표가 빠르게 나옵니다. 하지만 항목마다 점수가 붙어 있다고 판단 기준까지 객관적인 것은 아닙니다. 사용 목적과 평가 방식이 불분명하면 필요한 기능보다 설명이 많은 제품이 유리해질 수도 있습니다. AI 비교표를 유용하게 만들려면 기준, 가중치, 근거, 불확실성을 함께 정리해야 합니다.

1. 필수 조건과 비교 기준을 먼저 나누기

비교의 첫 문장은 “무엇이 가장 좋은가”보다 “어떤 상황에서 무엇을 고르려는가”에 가까워야 합니다. 예를 들어 소규모 모임에서 쓸 협업 메모 도구를 고른다면 인원, 사용할 기기, 예산, 꼭 필요한 기능을 먼저 적습니다. 같은 도구도 혼자 쓰는 경우와 여러 사람이 함께 쓰는 경우의 우선순위가 다릅니다.
반드시 지켜야 하는 조건은 점수와 별도로 처리합니다. 예산 상한이나 필요한 파일 내보내기 기능처럼 빠지면 선택할 수 없는 항목이 해당합니다. 필수 조건을 충족하지 못한 후보가 다른 장점의 높은 점수로 1위가 되지 않도록 먼저 걸러내는 것입니다. 충족 여부를 확인하지 못했다면 후보를 확정하지 않고 추가 확인 대상으로 둡니다.
그다음 통과한 후보끼리 비교할 기준을 정합니다. 사용성, 비용, 협업처럼 목적과 직접 연결된 소수의 항목부터 시작하면 검토하기 쉽습니다. ‘기능 수’와 ‘기능 다양성’처럼 비슷한 기준을 중복해서 넣으면 같은 장점에 점수를 두 번 줄 수 있으므로 겹치는 부분도 살펴봅니다.

2. 점수의 의미와 가중치를 함께 정하기

점수를 매기기 전에 무엇이 높은 점수인지 정의합니다. 1점부터 5점까지 평가한다면 각 기준의 1점, 3점, 5점이 어떤 상태인지 적어보세요. 사용성은 필요한 작업을 얼마나 쉽게 할 수 있는지, 협업은 필요한 공동 작업을 얼마나 충족하는지처럼 관찰할 대상을 정합니다.
모든 기준의 방향도 맞춰야 합니다. 비용을 숫자 그대로 쓰면 비싼 후보의 값이 더 커집니다. 점수가 높을수록 유리한 비교표라면 비용은 부담이 낮고 예산에 잘 맞을수록 높은 점수를 주는 식으로 기준을 정해야 합니다. 원래 금액과 평가 점수는 별도 칸에 남겨 혼동을 줄입니다.
가중치는 사용자의 우선순위를 나타냅니다. 사용성 40%, 비용 35%, 협업 25%처럼 합계가 100%가 되도록 정할 수 있습니다. 이 비율은 보편적인 정답이 아니라 예시입니다. 점수 차이를 같은 간격으로 계산하는 단순화가 들어가므로, 결과를 정밀한 성능 측정값처럼 읽지 않는 것이 좋습니다.

3. 사실·추정·미확인을 구별하기

비교표의 각 칸에는 값뿐 아니라 근거의 상태가 필요합니다. 공식 문서에서 확인한 지원 기능, 직접 시험한 사용성, 아직 확인하지 못한 제한을 구별해 두세요. 가격이나 제공 범위처럼 바뀔 수 있는 정보에는 확인 날짜와 적용 조건도 함께 적습니다.
AI가 알지 못하는 값을 그럴듯한 평균으로 채우면 표는 완성돼 보여도 판단이 흔들립니다. 요청할 때 “자료가 없는 칸은 확인 필요로 표시하고, 추정값을 쓰면 가정과 이유를 분리해줘”라고 명시하는 편이 좋습니다. 중요한 미확인 항목이 남았다면 최종 순위를 보류할 수도 있습니다.
미확인을 0점으로 바꾸면 정보가 부족한 후보가 실제 성능이 나쁜 후보처럼 처리됩니다. 일부 항목만 평가한 후보와 모든 항목을 평가한 후보의 총점을 그대로 비교하는 것도 피해야 합니다. 어느 자료가 추가로 필요하고, 그 값에 따라 결정이 얼마나 달라질지를 함께 남겨야 합니다.

4. 가상 선택지로 가중 점수 계산하기

실제 제품과 무관한 가상 도구 A와 B를 비교해 보겠습니다. 두 도구는 필수 조건을 충족했다고 가정합니다. 사용성·비용·협업 순서로 A의 점수가 5·3·4점이고 B가 3·5·4점이라면, A는 사용성에서, B는 비용에서 유리하게 평가한 예시입니다.
가중치를 40%·35%·25%로 두면 A의 총점은 5×0.40 + 3×0.35 + 4×0.25 = 4.05점입니다. B는 3×0.40 + 5×0.35 + 4×0.25 = 3.95점입니다. 이 조건에서는 A가 앞서지만, 0.10점 차이만 보고 A가 언제나 더 좋은 도구라고 결론 내릴 수는 없습니다.
점수는 설명을 위해 임의로 정한 값입니다. 실제 비교에서는 각 점수를 뒷받침하는 근거가 있어야 합니다. AI가 계산했다면 항목 순서와 가중치가 맞게 연결됐는지 확인하고, 계산기나 스프레드시트로 합계를 다시 검산합니다. 소수점이 많아도 입력한 판단의 불확실성까지 줄어드는 것은 아닙니다.

5. 가중치를 바꿔 순위가 유지되는지 보기

가중치가 조금 달라졌을 때 결론이 어떻게 바뀌는지 살피는 과정을 민감도 분석이라고 합니다. 같은 가상 점수에서 사용성을 30%, 비용을 45%, 협업을 25%로 바꾸면 A는 3.85점, B는 4.15점이 됩니다. 비용을 더 중요하게 보자 순위가 바뀐 것입니다.
이 결과는 비교가 실패했다는 뜻이 아닙니다. 무엇을 중요하게 생각하는지에 따라 선택이 달라진다는 정보입니다. “사용 편의가 우선이면 A, 비용 부담을 줄이는 일이 우선이면 B”처럼 선택 조건을 함께 설명할 수 있습니다. 실제 점수가 불확실하다면 한 점 높거나 낮을 때도 결과를 확인해 보세요.
특정 후보를 이기게 하려고 가중치를 계속 고치는 방식은 경계해야 합니다. 처음 정한 우선순위와 변경 이유를 기록하고, 현실적으로 가능한 범위에서만 비교합니다. 순위가 자주 바뀐다면 추가 시험이나 정보 확인이 결정에 더 도움이 될 수 있습니다.

6. 비교표 요청 문장과 최종 결정 기록

요청은 이렇게 구성할 수 있습니다. “세 사람이 함께 쓸 메모 도구를 비교하려고 해. 예산과 필수 기능을 먼저 확인하고, 통과한 후보를 사용성·비용·협업 기준으로 평가해줘. 점수의 뜻과 가중치를 먼저 제안하고, 확인된 사실·추정·미확인을 구별해줘. 가중치를 바꿨을 때 순위가 달라지는지도 보여줘.”
결과를 받으면 빠진 후보나 중복 기준은 없는지, 같은 조건과 같은 확인 시점의 정보를 비교했는지 살펴봅니다. 무료와 유료 플랜, 개인용과 팀용 조건이 섞였다면 정리부터 다시 해야 합니다. 중요한 자료가 없을 때는 결론을 서두르지 않고 다음 확인 항목을 정합니다.
최종 기록에는 선택한 후보, 선택 이유, 감수할 단점, 다시 검토할 조건을 남깁니다. AI 비교표의 가치는 1위를 정해 주는 데만 있지 않습니다. 어떤 기준에서 결론이 나왔고 무엇이 달라지면 선택을 바꿔야 하는지 설명할 수 있을 때, 다음 결정에도 활용할 수 있는 자료가 됩니다.