색인성이란 무엇인가요?
색인 가능성은 검색 엔진에서 웹 페이지의 색인을 생성할 수 있는 기능입니다. 색인 가능한 페이지만 검색 결과에 표시될 수 있습니다.
웹 페이지를 색인화하려면 Google과 같은 검색 엔진에서 색인을 생성해야 합니다:
- 페이지 URL 찾기
- 크롤링(콘텐츠 다운로드)
- 처리(크롤링된 페이지에서 주요 정보 이해 및 추출)
그래야만 해당 페이지가 검색 결과에 표시됩니다.
웹 크롤러가 제 역할을 하지 못하고 사이트의 페이지를 크롤링하지 못하면 해당 페이지가 적절하게 색인화될 수 없습니다. 색인화하지 않으면 웹사이트의 페이지는 검색 엔진에 보이지 않는 상태로 유지되므로 검색 트래픽을 유도할 수 없습니다.
색인성이 중요한 이유는 무엇인가요?
색인 생성 기능을 사용하면 검색 엔진이 웹사이트 페이지를 SERP에 표시할 수 있습니다. 색인화가 없으면 사이트로 자연 검색 트래픽을 유도할 수 없습니다.
때로는 특정 페이지를 색인화할 수 없도록 만드는 것이 더 합리적일 수 있습니다. 예를 들어 랜딩 페이지, 품질이 낮은 페이지 또는 '구독해 주셔서 감사합니다' 페이지의 경우 색인화할 수 없는 페이지가 선호됩니다. 결국 이러한 페이지가 검색 결과에 표시되는 것을 원치 않을 것이기 때문입니다.
하지만 URL의 순위를 매기려면 해당 페이지가 크롤링과 색인화가 모두 가능한지 확인해야 합니다.
페이지가 색인화되는 이유는 무엇인가요?
'색인 생성 가능'으로 표시되려면 페이지가 다음 기준을 충족해야 합니다:
1. 페이지가 크롤링 가능해야 합니다.
웹 페이지가 색인화되려면 검색 엔진의 크롤러가 먼저 해당 콘텐츠에 액세스하여 크롤링할 수 있어야 합니다. 웹 페이지의 '크롤링 가능성'에 직접적인 영향을 미치는 것 중 하나는 robots.txt 파일입니다.
robots.txt 파일은 웹사이트의 루트 디렉터리에 있는 작은 파일입니다. 이 파일의 역할은 웹 크롤러에게 지침을 제공하고 사이트에서 크롤링해서는 안 되는 페이지를 알려주는 것입니다. 그렇지 않으면 봇은 기본적으로 웹사이트에서 찾을 수 있는 모든 페이지를 크롤링합니다.
이러한 '제한'을 설정하는 것이 합당한 경우도 있습니다. 하지만 색인화하려는 페이지를 무의식적으로 차단하고 있지는 않은지 확인하는 것이 중요합니다.
2. 페이지에 "색인 없음" 태그가 없어야 합니다.
"noindex" 태그는 검색 엔진에 특정 페이지의 색인을 생성하지 않도록 지시하는 페이지 내 지시어입니다. 기본적으로 SERP에 페이지가 표시되지 않도록 합니다.
랜딩 페이지, 로그인 페이지, 얇거나 품질이 낮은 페이지, '감사' 페이지 등 특정 페이지를 "색인하지 않음"으로 설정하고 "비공개"로 유지하는 것이 좋습니다.
그러나 색인화하려는 페이지에서 이 지시어를 잘못 사용하거나 삭제하는 것을 잊어버리면 자연 검색 트래픽을 잃게 됩니다.
Ranktracker의 사이트 감사 도구를 사용하여 웹사이트를 크롤링하여 색인화하려는 페이지에 "noindex" 태그가 없는지 확인할 수 있습니다.
3. 페이지가 정식 페이지여야 합니다.
페이지 코드의 표준 태그(rel="canonical")는 중복, 거의 중복 및 유사한 페이지의 기본 버전을 정의합니다. 즉, 표준 페이지만 색인화할 수 있고 표준이 아닌 버전은 제외됩니다.
페이지에 표준 태그를 추가하지 않으면 Google은 내부 및 외부 백링크, XML 사이트맵, 리디렉션 등의 신호에 의존하여 색인에서 해당 클러스터를 '대표'할 URL을 결정합니다.
즉, 페이지를 검색 결과에 표시하려면 다른 페이지를 표준 버전으로 선언해서는 안 됩니다. 색인 가능한 페이지에 대해 자체 참조 표준 태그를 사용하는 것이 좋은 SEO 관행입니다.
Google이 페이지 색인을 생성하도록 돕는 방법
Google의 사이트 페이지 색인 생성을 돕기 위해 수행할 수 있는 작업은 다음과 같습니다:
1. Google에 사이트맵 제출
사이트맵은 기본적으로 웹사이트의 모든 페이지가 포함된 목록(일반적으로 XML 형식)입니다.
사이트맵의 역할은 사이트에서 색인화하려는 페이지에 대해 Google에 알리는 것입니다.
사이트맵을 제출하기 전에 웹사이트의 현재 상태를 반영하는지 확인하고 끊어진 링크, 고아 페이지 등과 같은 오류를 수정하세요.
Google 검색 콘솔을 사용하여 사이트맵을 Google에 제출할 수 있습니다.
2. URL 검사 도구를 통해 개별 페이지 제출
몇 개의 개별 URL에 대해서만 색인 생성 또는 재색인을 요청하려면 Google 검색 콘솔의 URL 검사 도구를 사용하면 됩니다.
URL 검사 도구는 Google 검색 콘솔에 있는 진단 도구로, 웹페이지의 Google 색인 버전에 대한 인사이트를 제공하고 URL을 실시간으로 테스트하고 페이지의 렌더링된 버전을 볼 수 있게 해주는 등 여러 가지 기능을 제공합니다.
또한 개별 페이지를 Google에 제출할 수도 있습니다.
새 URL의 색인 생성 또는 업데이트된 URL의 재크롤링 및 재색인을 요청하려면 '색인 생성 요청' 버튼을 선택하여 Google에 요청할 수 있습니다. 라이브 URL에 오류가 없는 경우 Google은 페이지를 크롤링 대기열에 추가합니다.
하지만 하루에 색인 생성을 요청할 수 있는 URL 수에는 제한이 있다는 점에 유의하세요.
3. 더 나은/빠른 검색을 위한 내부 링크 제공
크롤링을 장려하고 웹사이트의 색인 생성 속도를 높이는 또 다른 방법은 내부 링크를 사용하는 것입니다.
Google 크롤러는 인터넷을 검색할 때 링크로 형성된 경로를 따라 이동합니다. 따라서 웹사이트의 한 페이지가 다른 페이지로 링크되면 크롤러는 기존 경로를 따라 새로운 콘텐츠를 발견합니다.
내부 링크가 없는 페이지를 "고아 페이지"라고 합니다.
그렇기 때문에 가장 중요한 페이지를 오가는 내부 링크를 제공하는 것이 중요합니다. 물론 이는 일반적으로 잘 구성된 사이트를 만들 때 자연스럽게 발생합니다.
하지만 웹사이트에 고아 페이지(해당 페이지로 연결되는 내부 링크가 없는 페이지)가 있는지 확인하는 것도 나쁘지 않습니다. Ranktracker의 사이트 감사 도구를 사용하면 됩니다.
참고로, 구글은 노팔로우 링크를 크롤링하지 않으므로 색인화 가능한 페이지를 가리키는 내부 링크에 '노팔로우' 태그가 없는지 확인해야 합니다.
자주 묻는 질문
인덱서빌리티에서 Robots.txt 파일의 역할은 무엇인가요?
robots.txt 파일은 웹 크롤러에게 사이트의 어떤 페이지 또는 섹션을 크롤링해서는 안 되는지 지침을 제공하여 크롤링 가능성과 그에 따른 페이지의 색인 생성에 영향을 미칩니다.
내 페이지가 색인화되었는지 확인하려면 어떻게 해야 하나요?
Google 검색 콘솔을 사용하여 페이지가 색인되었는지 확인할 수 있습니다. 이 도구는 URL의 색인된 상태에 대한 인사이트를 제공합니다.
고아 페이지가 색인 생성에 미치는 영향은 무엇인가요?
고아 페이지로 연결되는 내부 링크가 없는 페이지는 검색 엔진에서 발견되고 색인화될 가능성이 낮습니다. 사이트 내에서 모든 중요한 페이지가 잘 연결되어 있는지 확인하면 색인 가능성이 향상됩니다.
페이지가 크롤링 가능하고, '색인 없음' 태그가 없으며, 제대로 표준화되어 있는지 확인하면 색인이 생성되고 검색 엔진 결과에 표시될 가능성을 높일 수 있습니다. 정기적인 감사와 전략적인 내부 링크는 이 목표를 더욱 지원할 수 있습니다.
