2026.08.26제215호

버너스리가 모범으로 든 URL은 넉 달 만에 사라졌어요

버너스리가 모범 사례로 든 URL은 넉 달 만에 사라졌지만, 그 글 자체는 28년째 같은 주소에서 열려요. 링크 로트의 원인과 AI 시대의 의미를 정리했어요

AI·테크

넉 달 만에 죽은 링크, 28년째 살아 있는 글

1998년, 팀 버너스리는 “Cool URIs don’t change”라는 짧은 글을 썼어요. 우리말로 옮기면 “좋은 주소는 변하지 않는다” 정도예요. 웹을 만든 사람이 웹 관리자들에게 보내는 잔소리에 가까운 글이었고, 핵심 문장은 이거예요.

“URI¹는 변하지 않아요. 사람이 그걸 바꿀 뿐이에요.”

그는 글 안에서 좋은 주소의 예시를 몇 개 골라 보여줬어요. 그중 하나가 미국 잡지 『Money』의 기사 주소였는데, 버너스리는 여기에 “괜찮아 보인다”는 코멘트까지 달았어요. 그런데 그 주소가 붙어 있던 사이트 pathfinder.com은 1999년 4월에 타임워너가 통째로 내려버렸어요. 그가 모범 사례로 지목하고 넉 달 남짓 지난 시점이었어요.

구독자님, 반면 버너스리 본인의 그 글은 지금도 1998년 발행 당시의 주소에서 그대로 열려요. 28년째요.

모범 사례로 꼽힌 주소는 넉 달 만에 사라졌고, 그것을 지적한 글은 그대로 남았어요. 링크가 사라지는 원인은 기술이 아니라 누가 그 주소를 계속 유지하기로 했는지예요. 그리고 이 오래된 문제가 2026년에 갑자기 다시 중요해졌어요. 웹을 읽는 주체가 사람에서 기계로 옮겨가면서, 링크의 역할이 ‘가는 길’에서 ‘증거’로 바뀌었거든요.

웹은 생각보다 훨씬 빨리 사라져요

먼저 얼마나 사라지는지부터 보죠. 퓨 리서치 센터가 2024년에 내놓은 조사가 이 분야에서 가장 인용할 만한 실측이에요. 커먼 크롤² 데이터에서 연도별로 약 90만 개씩 페이지를 뽑아 2013년부터 2023년까지 추적한 연구예요.

결과는 이랬어요. 2013년에 존재하던 웹페이지의 38%가 2023년 10월 기준으로 접속되지 않았어요. 10년이 지나면 셋 중 하나 이상이 사라진다는 뜻이에요. 심지어 2023년 페이지도 8%가 이미 접속 불가였어요. 1년도 안 돼서요.

더 눈에 띄는 건 위키백과예요. 위키백과 문서 5만 개를 조사했더니 54%가 최소 하나 이상의 죽은 참고문헌 링크를 갖고 있었어요. 우리가 무언가를 확인할 때 가장 먼저 여는 그 페이지의 절반 이상이, 자기 근거의 일부를 이미 잃어버린 상태라는 얘기예요.

법정으로 가면 더 심해요. 하버드 로스쿨의 조너선 지트레인과 로런스 레식 팀이 2014년에 발표한 연구를 보면, 1996년부터 2011년까지 미국 연방대법원 판결문에 인용된 URL의 약 50%가 원래의 내용을 담고 있지 않았어요. 『하버드 로 리뷰』 논문에 인용된 링크는 상황이 더 나빠서, 원문이 그대로 남아 있는 건 26.8%뿐이었어요.

여기서 이 연구가 구분한 두 개념이 중요해요. 링크 로트(link rot)는 주소를 눌렀을 때 오류가 뜨는 경우예요. 레퍼런스 로트(reference rot)³는 주소는 멀쩡히 열리는데 내용이 바뀌어 있는 경우고요. 연구진이 발견한 건 후자가 훨씬 더 흔하다는 사실이었어요. 즉, 열리지 않는 링크보다 열리지만 내용이 달라진 링크가 더 많아요. 이게 왜 위험한지는 조금 뒤에 다시 이야기할게요.

한 가지 짚어둘 건, 이 수치들이 전부 미국 중심 표본이라는 점이에요. 한국어 웹의 소실률을 같은 방법으로 측정한 공개 자료를 저는 아직 못 봤어요. 다만 네이버 블로그·카페 서비스 종료, 다음 뷰나 미투데이처럼 통째로 사라진 플랫폼들, 언론사 기사 DB 개편을 떠올려 보면 한국 쪽이 더 나을 이유는 딱히 없어 보여요.

버너스리의 진단: 이건 기술이 아니라 조직 문제예요

여기서 1998년 글로 다시 돌아가 볼게요. 버너스리가 흥미로운 건, 그가 이 문제를 기술적 결함으로 보지 않았다는 점이에요.

그는 관리자들이 대는 변명들을 하나씩 받아 적어놓고 반박해요. “사이트를 개편했어요”, “파일을 옮겨야 했어요”, “그 파일은 이제 존이 아니라 제인이 관리해요”, “예전엔 CGI 스크립트를 썼는데 지금은 바이너리 프로그램을 써요.” 그러면서 그는 이렇게 되물어요. 애초에 왜 주소 안에 존의 이름이 들어가 있었냐고요.

그의 처방은 한 문장으로 요약돼요. 주소를 설계한다는 건, 대부분 무엇을 넣지 않을지를 정하는 일이에요.

그가 빼라고 한 목록은 이래요. 저자 이름(사람은 퇴사해요), 주제 분류(분류 체계는 계속 바뀌어요), 문서 상태(draft, latest, old 같은 것들), 접근 권한 구분(팀 전용, 회원 전용, 공개), 파일 확장자(.html도 언젠가 바뀌어요), 소프트웨어 흔적(cgi-bin, .pl), 심지어 디스크 이름까지요. 남겨도 되는 건 사실상 하나, 발행 날짜뿐이에요. 날짜는 절대 바뀌지 않으니까요.

404 이 목록을 다시 읽어보면 공통점이 하나 보여요. 빼라고 한 항목들이 전부 조직 내부의 사정이에요. 누가 담당인지, 어느 부서 소속인지, 어떤 단계에 있는지, 어떤 기술 스택을 쓰는지. 주소가 깨지는 건 서버가 고장 나서가 아니라, 조직이 자기 내부 구조를 바깥에 노출된 이름에 새겨 넣었기 때문이에요. 조직이 바뀌면 이름도 따라 무너지죠.

저는 이걸 주소는 조직도의 화석이라고 표현하고 싶어요. 어떤 회사의 URL 구조를 훑어보면 그 회사가 몇 년도에 무슨 팀 개편을 했는지 대충 읽혀요. /2019/newbiz/, /ai-innovation/, /dx-center/ 같은 경로들이요. 그리고 그 팀이 사라지는 순간 그 경로도 같이 사라져요.

버너스리는 이걸 도덕적 의무로까지 밀어붙여요. “2년 뒤에도, 20년 뒤에도, 200년 뒤에도 지켜낼 수 있는 주소를 정하는 것이 웹마스터의 의무”라고요. 1998년 기준으로도 좀 과한 표현처럼 들리는데, 지금 보면 오히려 부족했던 것 같아요.

AI가 웹을 읽기 시작하면서 링크의 역할이 바뀌었어요

지난 28년 동안 깨진 링크는 주로 불편이었어요. 클릭했는데 404가 뜨면 짜증나고, 다시 검색하면 그만이었죠. 그런데 지금은 상황이 달라요. 사람이 직접 검색하는 대신 AI에게 물어보고, AI가 웹을 읽어서 답을 만들고 그 아래 출처를 붙여주는 구조가 됐거든요. 이 구조에서 링크는 ‘이동 경로’가 아니라 ‘그 말이 사실이라는 증거’로 기능해요.

그런데 그 증거가 잘 작동하지 않아요.

컬럼비아 저널리즘 리뷰의 토 센터가 2025년 3월에 발표한 조사가 있어요. 언론사 20곳의 기사에서 발췌문을 뽑아 챗봇 8종에게 출처를 물었어요. 총 1,600건의 질의였고, 결과는 이랬어요. 60% 이상이 틀린 답이었어요. 그록3는 오답률이 94%였고, 인용으로 제시한 200개 링크 중 154개(77%)가 오류 페이지로 연결됐어요. 제미나이와 그록3는 응답의 절반 이상에 존재하지 않거나 깨진 URL이 포함돼 있었고요.

이 조사에서 제가 가장 인상 깊게 본 건 다른 부분이에요. 유료 프리미엄 모델의 오답률이 오히려 더 높았어요. 모를 때 모른다고 하지 않고, 자신 있게 틀린 답을 내놨거든요. 출처 링크가 붙어 있으니 더 믿음직해 보이는데, 눌러보면 없는 페이지인 거죠.

여기서 앞서 이야기한 레퍼런스 로트가 다시 등장해요. 링크가 404로 죽으면 그래도 우리는 알아챌 수 있어요. 문제는 주소는 살아 있는데 내용이 바뀐 경우예요. AI가 3년 전에 학습한 내용을 지금의 URL을 근거로 제시하면, 사람은 그 링크를 눌러 확인하지 않는 한 절대 알 수 없어요. 그리고 대부분은 안 눌러요.

그리고 웹은 반대 방향에서도 닫히고 있어요

문제가 하나 더 있어요. 위 이야기가 ‘기계가 웹을 잘못 읽는’ 문제라면, 이번엔 ‘웹이 기계에게 문을 닫는’ 문제예요.

클라우드플레어가 2025년 7월 1일에 정책을 바꿨어요. 새로 등록되는 도메인은 기본값으로 AI 크롤러를 차단하고, 사이트 주인이 허용해야 들어올 수 있게요. 인프라 사업자가 이걸 기본값으로 돌린 건 처음이었어요. 동시에 크롤링에 요금을 매기는 ‘Pay Per Crawl’도 내놨고요.⁴

이 결정의 배경에 클라우드플레어가 공개한 지표가 하나 있어요. 크롤-투-리퍼 비율⁵, 즉 AI 회사가 어떤 사이트를 몇 번 긁어가야 방문자 한 명을 돌려보내주는지를 보는 숫자예요. 2025년 6월 넷째 주 기준으로 앤트로픽은 약 70,900대 1이었어요. 7만 번 긁고 한 명 보내주는 셈이에요. 반대로 미스트랄은 0.1대 1로, 긁는 것보다 보내주는 게 열 배 많았어요. 회사마다 편차가 엄청나요.

다만 이 숫자는 조심해서 읽어야 해요. 클라우드플레어 스스로 밝혔듯, 앱에서 발생한 트래픽에는 리퍼러 헤더가 안 붙어서 웹 기반 도구의 비율이 실제보다 과장될 수 있어요. 그래도 큰 흐름은 분명해요. 이 지표에서 대부분의 AI 회사는 사이트를 크롤링하는 횟수에 비해 그 사이트로 돌려보내는 방문자 수가 훨씬 적어요.

그래서 무슨 일이 벌어질까요. 사이트들이 문을 닫아요. robots.txt⁶로 막고, 유료화하고, 로그인 뒤로 숨겨요. 합리적인 선택이에요. 그런데 그렇게 되면 확인하는 쪽이 곤란해져요.

사람이 직접 확인하려면 링크를 눌러야 하는데, 링크의 상당수는 이미 죽었어요
AI에게 물으면 답은 나오는데, 그 출처의 60%가 틀렸어요
원문을 확인하러 가면, 크롤러 차단과 페이월에 막혀요

세 방향 모두에서 검증 경로가 사라지고 있어요. 이게 링크 로트가 2026년에 다시 중요해진 진짜 이유예요.

오스왈드의 시선

저는 이 문제를 ‘아카이빙 문제’로 보는 시각이 좀 답답해요. 인터넷 아카이브가 열심히 저장해주면 되는 거 아니냐는 식으로요. 아카이브는 이미 사라진 페이지를 나중에 찾아볼 수 있게 해주는 수단이에요. 주소가 깨지는 것 자체를 막아주지는 못해요.

컨설팅을 하면서 웹사이트 개편 프로젝트를 몇 번 지켜봤는데, URL 구조 이야기가 나오는 시점은 거의 항상 맨 마지막이었어요. 브랜드 결정하고, 디자인 확정하고, CMS 고르고, 그다음에 개발자가 “리다이렉트 어떻게 할까요?”라고 물어요. 그때쯤이면 이미 정보구조가 새 조직도를 따라 짜인 뒤예요. 그리고 개편 후 몇 달간 유입이 떨어지면 다들 콘텐츠 탓을 해요. 사실은 그동안 쌓아둔 링크를 개편 과정에서 스스로 끊어버린 결과인데요.

GTM 전략을 짜면서 제가 자주 쓰는 표현이 있어요. “지금 만드는 이름은 3년 뒤의 당신이 감당해야 한다.” 제품명, 요금제 이름, 기능 이름, 그리고 URL. 전부 같은 원리로 움직여요. 이름 안에 현재 상황을 많이 넣을수록 지금은 설명이 편하고, 나중엔 반드시 깨져요. /2024_최종_진짜최종.pptx와 /cgi-bin/browse.pl은 정확히 같은 실패예요.

그런데 AI 시대에 한 가지가 결정적으로 달라졌어요. 예전에 안정적인 URL은 SEO 자산이었어요. 지금은 AI가 답변의 근거로 그 주소를 댈 수 있는지의 문제예요. 주소를 오래 그대로 유지하는 조직과 개편할 때마다 주소를 바꾸는 조직 사이의 격차가 앞으로 훨씬 크게 벌어질 거라고 봐요. 링크가 유지되면 시간이 지날수록 인용이 쌓이고, 인용이 쌓이면 그 도메인 자체가 근거로 취급되기 시작하니까요.

물론 이건 제 해석이고, 아직 이걸 뒷받침할 만한 공개 데이터는 충분치 않아요. AI 답변에서 어떤 도메인이 얼마나 인용되는지를 장기 추적한 연구는 이제 막 시작되는 단계예요. 다만 저는 이 방향에 미리 대비해둘 만하다고 생각해요. 리다이렉트 규칙 하나를 유지하는 데 드는 비용은 0에 가까우니까요.

마치며

정리하면 이래요.

웹은 빠르게 사라져요. 2013년 페이지의 38%가 이미 없고, 위키백과 문서의 54%가 죽은 참고문헌을 갖고 있어요.
원인은 기술이 아니라 조직이에요. 주소 안에 담당자·부서·기술 스택 같은 내부 사정을 새겨 넣으면, 조직이 바뀔 때 이름도 같이 무너져요.
AI가 웹을 읽으면서 깨진 링크의 대가가 커졌어요. 링크는 이제 사람이 눌러 이동하는 길이면서, AI 답변이 근거로 제시하는 출처이기도 해요. 그런데 토 센터 조사에서 챗봇 출처의 60% 이상이 틀렸고, 동시에 웹은 크롤러의 접근을 막는 쪽으로 가고 있어요.

당장 해볼 수 있는 건 의외로 작아요. 다음에 사이트나 문서 체계를 개편하실 일이 생기면, 새 주소를 정하기 전에 지금 주소에서 뺄 수 있는 것부터 목록으로 적어보세요. 부서명, 담당자, 상태, 확장자. 그것만 걷어내도 다음 개편에서 살아남을 확률이 확 올라가요. 버너스리 원문은 지금도 같은 자리에 있으니(아래 참고자료), 30분이면 다 읽으실 수 있어요.

💬 혹시 개편이나 마이그레이션 때문에 예전 링크를 통째로 날려본 경험 있으신가요? 그때 무엇을 가장 아쉬워하셨는지 댓글로 들려주세요. 링크 유지 체크리스트를 만들어서 다음 호에 반영해볼게요.

📨 사이트 개편을 앞두고 계신 분이 주변에 있다면 이 글을 전해주세요.

여러분의 생각이 다음 호를 만듭니다

이번 호에서 가장 공감했거나, 다른 경험을 한 지점은 무엇인가요?

SEND A COFFEE

이 관점이 좋았다면, 다음 글에 커피 한 잔

오스왈드에게 커피와 함께 짧은 쪽지를 보내주세요. 응원은 다음 취재와 집필에 보탭니다.

참고자료 & 더 읽기

핵심 출처

Tim Berners-Lee, “Cool URIs don’t change”, W3C Style Guide, 1998. 원문 보기 ··· 오늘 뉴스레터의 출발점이에요. 28년째 같은 주소에 살아 있다는 사실 자체가 이 글의 논증이에요.
Athena Chapekis, Samuel Bestvater, Emma Remy, Gonzalo Rivero, “When Online Content Disappears”, Pew Research Center, 2024년 5월 17일. 보고서 보기 ··· 링크 로트를 이야기할 때 인용할 만한 가장 견고한 실측이에요. 방법론 섹션까지 읽어보시길 권해요.
Jonathan Zittrain, Kendra Albert, Lawrence Lessig, “Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations”, Harvard Law Review Forum, Vol. 127, 2014. 논문 보기 ··· ‘링크 로트’와 ‘레퍼런스 로트’를 구분한 연구예요. 오늘 글에서 가장 중요한 개념이 여기서 나와요.
Klaudia Jaźwińska, Aisvarya Chandrasekar, “AI Search Has a Citation Problem”, Columbia Journalism Review / Tow Center, 2025년 3월 6일. 조사 보기 ··· 챗봇 8종을 1,600건으로 비교한 조사예요. 도구별 오답률 표가 특히 볼 만해요.
Cloudflare, “The crawl before the fall… of referrals”, Cloudflare Blog, 2025년 7월 1일. 분석 보기 ··· 크롤-투-리퍼 비율 개념과 회사별 수치가 정리돼 있어요. 측정 한계도 본문에 솔직하게 적어뒀어요.

배경 지식

Cloudflare, “Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large”, 2025년 7월 1일. 보도자료 보기 ··· AI 크롤러 기본 차단 전환의 원문이에요. 웹의 접근 규칙이 바뀐 분기점으로 기록될 문서라고 봐요.
“Pathfinder (website)”, Wikipedia. 문서 보기 ··· 버너스리가 모범 사례로 든 그 사이트의 최후예요. 1999년 4월에 문을 닫았어요.
Perma.cc, 하버드 로스쿨 도서관 혁신 연구소. 서비스 보기 ··· 위 논문에서 제안한 해법이 실제 서비스가 된 사례예요. 문제 제기가 인프라로 이어진 드문 경우라 볼 만해요.

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

URI (Uniform Resource Identifier): 웹에서 자원을 가리키는 주소 체계예요. 우리가 흔히 말하는 URL은 URI의 한 종류예요. 버너스리는 ‘어디에 있는지’보다 ‘무엇을 가리키는지’가 중요하다는 뜻에서 URI라는 표현을 썼어요. ↩
커먼 크롤 (Common Crawl): 웹 전체를 주기적으로 긁어 모아 무료로 공개하는 비영리 아카이브예요. 대규모 언어 모델 학습 데이터의 출발점으로도 많이 쓰여요. ↩
레퍼런스 로트 (reference rot): 링크는 정상적으로 열리는데 그 안의 내용이 원래 인용했던 것과 달라진 상태예요. 오류가 안 뜨니까 눈치채기 어렵고, 그래서 링크 로트보다 더 까다로워요. ↩
Pay Per Crawl: 사이트 주인이 AI 크롤러의 접근에 요금을 매길 수 있게 하는 클라우드플레어의 기능이에요. 크롤링을 막거나 허용하는 이분법 대신 가격을 붙이는 방식이에요. ↩
크롤-투-리퍼 비율 (crawl-to-refer ratio): AI 서비스가 어떤 사이트를 몇 번 크롤링해야 방문자 한 명을 그 사이트로 돌려보내는지를 나타내는 비율이에요. 숫자가 클수록 ‘많이 가져가고 적게 돌려준다’는 뜻이에요. ↩
robots.txt: 사이트 최상단에 두는 텍스트 파일로, 어떤 크롤러가 어디까지 들어와도 되는지를 적어두는 관례예요. 법적 강제력은 없고 크롤러의 자발적 준수에 기대는 신사협정에 가까워요. ↩