AI 답변엔진이 우리 홈페이지에서 읽어 가는 것

AI 답변엔진이 어떤 회사를 인용할지 정할 때 실제로 읽어 가는 것은, 사람이 보는 화면이 아니라 자바스크립트가 실행되기 전의 원본 HTML입니다. 국내 웹 제작사 15곳을 그 방식으로 열어봤습니다. AI를 막아둔 곳은 한 곳도 없었고, 12곳은 AI 크롤러의 존재를 robots.txt 에 한 줄도 적지 않았습니다. 크롤러가 가져갈 수 있는 본문은 1,047자에서 28,466자까지, 27배 차이가 났습니다.

어떻게 쟀는지

네이버에서 「홈페이지 제작 업체」를 검색해 실제로 노출되는 국내 웹 제작사 15곳을 골랐습니다. GROX 도 그 안에 넣었습니다. 각 사이트의 robots.txt, 홈페이지 HTML, llms.txt 를 직접 받아서 답변엔진 크롤러가 실제로 받는 것을 셌습니다.

자바스크립트는 실행하지 않았습니다. 브라우저가 화면을 그리기 전의 원본 HTML만 봤습니다. 대부분의 크롤러가 받아 가는 것이 그것이기 때문입니다. 측정일은 2026년 9월 5일이고, 사이트는 언제든 바뀌므로 그날 하루의 단면입니다.

결과: 문은 열려 있는데 아무도 신경 쓰지 않는다

먼저 확인할 것은 차단이 0곳이라는 사실입니다. AI가 우리 글을 가져가는 것을 막아둔 곳이 한 군데도 없었습니다. 그런데 12곳은 robots.txt 에 AI 크롤러 이름을 한 줄도 적지 않았습니다. 막지도 않았지만 허용한 것도 아닙니다. 그냥 그런 것이 있다는 사실이 고려된 적이 없는 상태입니다.

meta description 은 15곳 전부 있었습니다. 검색엔진 시대의 습관은 자리를 잡았다는 뜻입니다. 답변엔진 쪽만 비어 있습니다.

크롤러가 받는 텍스트는 27배 차이 난다

같은 「홈페이지 제작 업체」인데, 크롤러가 홈에서 가져갈 수 있는 글자 수가 1,047자에서 28,466자까지 벌어졌습니다. 중앙값은 약 6,000자입니다.

A사

28,466자

B사

19,056자

C사

17,289자

D사

14,723자

E사

13,888자

F사

8,251자

G사

8,229자

H사

5,986자

I사

5,593자

GROX

4,431자

J사

4,124자

K사

1,822자

L사

1,699자

M사

1,264자

N사

1,047자

하위권 사이트를 브라우저로 열어보면 화면은 멀쩡합니다. 사진이 크고 움직임이 있고 보기에도 좋습니다. 다만 그 내용이 대부분 이미지와 스크립트 안에 들어 있어서, 텍스트로 남는 것이 천 자 남짓입니다. 답변엔진이 인용할 문장을 찾을 자리가 그만큼 좁습니다.

딱 한 곳만 다르게 하고 있었다

15곳 중 한 곳은 robots.txt 를 이렇게 써 뒀습니다.

• 답변엔진 크롤러를 한 그룹으로 묶어 접근을 허용하고, 로그인·장바구니·관리자 경로만 따로 막았습니다.
• 모델 학습 크롤러는 별도 그룹으로 갈라서 적었습니다.

두 종류를 나눈 것이 핵심입니다. 답변에 인용되는 것과 학습 데이터로 쓰이는 것은 사업적으로 다른 문제인데, 그 구분이 파일에 드러나 있는 곳은 여기 한 곳뿐이었습니다. 나머지 14곳은 두 종류를 나눌 이유 자체가 검토된 흔적이 없습니다.

llms.txt 를 넣은 5곳 중 2곳은 규격을 오해했다

llms.txt 는 사이트가 무슨 글을 갖고 있는지 기계가 읽기 좋게 정리한 목차 파일입니다. 5곳이 갖고 있었는데, 그중 2곳은 접근 허용 규칙만 적어 뒀습니다. robots.txt 문법입니다. 파일 이름만 바꿔 넣은 것입니다. 목차가 있어야 할 자리에 접근 규칙이 들어가 있으니 읽는 쪽에서는 가져갈 것이 없습니다.

새 관행이 퍼질 때 형식이 내용보다 먼저 도착하면 이런 모양이 됩니다.

우리 점수도 같은 표에 올립니다

남의 사이트만 재고 끝내면 이 글은 신뢰를 얻지 못합니다. GROX 도 같은 잣대로 재면 이렇습니다.

• robots.txt 에 AI 크롤러 이름이 한 줄도 없었습니다. 위에서 센 12곳에 우리도 들어갑니다.
• 홈에서 크롤러가 받는 본문이 4,431자로 15곳 중 10위입니다. 상위권의 6분의 1 수준입니다.
• llms.txt 는 만들어 뒀는데 목록이 비어 있었습니다. 크롤러에게 빈 메뉴판을 내밀고 있었습니다.
• 회사를 가리키는 외부 좌표가 인스타그램 하나뿐입니다. 네이버에서 「그록스」를 검색하면 워해머 40,000 이라는 게임의 종족 설명이 나옵니다. 우리는 나오지 않습니다.

첫 번째는 이 글을 쓰면서 고쳤습니다. 답변엔진 크롤러와 모델 학습 크롤러를 그룹으로 갈라 적고 둘 다 열었습니다. 인용되는 것이 이 사이트의 목적이고, 학습에 쓰이는 것도 막을 이유가 없다고 판단했습니다. 둘 다 열면서 굳이 가른 이유는 의사 표시입니다. 판단이 달라질 수 있는 두 가지를 한 줄로 뭉뚱그려 두면, 나중에 한쪽만 닫고 싶을 때 어디를 고쳐야 하는지가 파일에 남지 않습니다.

네 번째는 이름 문제라기보다 좌표 문제입니다. 사이트가 스스로 우리는 이 회사다 라고 말하는 것만으로는 개체가 서지 않고, 바깥에서 같은 곳을 가리키는 주소가 여러 개 쌓여야 합니다. 우리는 그게 하나입니다.

세 번째는 이 글로 채워집니다. 첫 항목이 생기니까요.

홈페이지를 새로 만들 계획이라면, 만드는 쪽에 이걸 먼저 물어보세요. 크롤러가 받는 것을 재본 적이 있는지. 문의 남기기