INSIGHT — AI 상위노출
llms.txt, 만들어야 하나 — 제안 배경과 구글의 공식 입장
한눈에 답변
llms.txt는 2024년 9월 제러미 하워드(Jeremy Howard)가 제안한 형식으로, 사이트의 핵심 페이지를 LLM이 읽기 쉬운 마크다운 목록으로 정리한 파일입니다. 표준이 아니라 제안이고, 구글은 AI 개요·AI 모드에 나오기 위해 새로운 기계용 파일이나 AI 텍스트 파일을 만들 필요가 없다고 공식 문서에 적었습니다. 만드는 비용은 작지만 색인과 본문을 대신하지 못하므로, 만든다면 사이트 목록과 어긋나지 않게 자동 생성하는 편이 낫습니다.
무엇이고 누가 제안했나
llmstxt.org에 따르면 llms.txt는 제러미 하워드가 2024년 9월 3일 제안한 형식입니다. 사이트 루트에 /llms.txt를 두고, 마크다운으로 사이트 이름(H1), 한 문단 요약(인용 블록), 그리고 핵심 페이지 링크 목록(H2 섹션)을 적습니다. LLM이 사이트를 짧은 문맥 안에서 파악하게 돕자는 취지입니다.
이것은 제안된 형식이지 검색엔진이 정한 표준이 아닙니다.
구글의 공식 입장
구글 검색 센터의 AI 기능 문서는 이렇게 적고 있습니다.
“You don’t need to create new machine readable files, AI text files, or markup to appear in these features.”
AI 개요·AI 모드에 나오려면 색인되고 스니펫과 함께 표시될 수 있으면 되고, 별도 파일은 필요 없다는 뜻입니다. OpenAI·Anthropic·Perplexity의 크롤러 문서도 접근 규칙으로 robots.txt를 이야기할 뿐 llms.txt를 노출 조건으로 들지 않습니다.
robots.txt와 헷갈리지 않기
| robots.txt | llms.txt | |
|---|---|---|
| 역할 | 크롤러의 접근 허용·차단 규칙 | 읽을 만한 페이지 안내 목록 |
| 근거 | 각 사 크롤러 문서가 준수를 명시 | 제안 단계(llmstxt.org) |
| 막으면/없으면 | 검색·AI 답변에서 빠질 수 있음 | 알려진 불이익 없음 |
AI 노출에 실제로 영향을 주는 쪽은 robots.txt입니다. 검색용 크롤러(OAI-SearchBot·PerplexityBot·Claude-SearchBot)를 막지 않았는지가 llms.txt보다 먼저입니다.
그래도 만든다면
만드는 데 드는 비용은 작고 해가 될 이유도 없습니다. 다만 하나만 지킵니다 — 실제 페이지 목록과 어긋나지 않게. 손으로 관리하면 새 글을 추가할 때마다 빠뜨리기 쉽습니다.
이 사이트의 llms.txt는 빌드할 때 기록·인사이트 목록에서 자동으로 만들어집니다. 페이지가 늘어도 따로 고칠 필요가 없습니다.
크롤러별 차이는 ChatGPT 검색 노출 조건에, 전체 우선순위는 SEO·AEO·GEO·LLMO 차이에 있습니다.
자주 묻는 질문
- llms.txt를 만들면 ChatGPT나 구글 AI에 더 잘 나오나요?
- 그렇다는 근거는 없습니다. 구글은 AI 개요·AI 모드에 나오기 위해 새로운 기계용 파일이나 AI 텍스트 파일이 필요 없다고 공식 문서에 적었고, 주요 답변엔진이 llms.txt를 노출 기준으로 쓴다고 밝힌 공식 문서도 찾지 못했습니다.
- 그럼 만들 필요가 없나요?
- 해가 되지는 않으니 만들어도 됩니다. 다만 손으로 관리하면 실제 페이지 목록과 어긋나기 쉬우므로, 사이트 빌드 때 페이지 목록에서 자동으로 만드는 방식을 권합니다. 이 사이트의 llms.txt도 그렇게 만듭니다.
- robots.txt와 llms.txt는 무엇이 다른가요?
- robots.txt는 크롤러가 무엇을 가져가도 되는지 정하는 규칙이고, OpenAI·Anthropic·Perplexity 모두 자기 크롤러가 이를 따른다고 밝힙니다. llms.txt는 무엇을 읽으면 좋은지 안내하는 목록일 뿐 접근을 허용하거나 막는 기능이 없습니다.