AI 챗봇은 구글이 싫어하는 것이 되었다 – 콘텐츠 스크래퍼

간단 요약

AI 챗봇인 제미니와 챗GPT는 콘텐츠를 스크래핑하여 깔끔한 형식으로 제시하고 있으며, 모두 인공지능의 이름으로 이루어지고 있습니다.

AI 기반의 강력한 LLM인 챗GPT, 퍼플렉시티, 클로드, 제미니는 이번 10년의 가장 핫한 기술 혁신으로 여겨지고 있습니다. 사실, 이들은 구글이나 유사한 현대 검색 엔진에 비해 더 나은 검색 결과를 생성한다고 불리고 있습니다.

하지만 독립적이고 통합된 AI 챗봇의 사용으로 검색 결과는 혼란스러워졌습니다. 예전에는 구글 검색 결과의 상위에 실제 데이터 기반의 유용한 콘텐츠를 가진 웹사이트가 있었습니다.

AI 챗봇은 전체 검색 엔진 결과 방정식을 왜곡했다고 보고되고 있습니다. 사용자와 웹 게시자는 AI 챗봇이 신뢰할 수 없는 사이트에서 콘텐츠를 스크래핑하여 유용하지 않은 콘텐츠를 생성하고 있다고 불평합니다.

이는 AI 챗봇을 사용하여 정보를 얻는 것이 잘못된 데이터나 목적에 맞지 않는 불충분한 정보를 받을 수 있음을 의미합니다. 콘텐츠 스크래핑은 구글이 항상 반대해온 것으로, SEO가 풍부하고 진정한 인간이 제작한 콘텐츠를 위한 길을 열기 위함입니다.

검색 결과를 장악하는 AI 챗봇의 문제

이 주제에 대한 연구를 하면서, 네티즌들의 흥미롭게도 일관된 견해를 발견했습니다. 대부분은 AI 기반 LLM이 이미 손상되고 관리되지 않는 구글 검색 순위에 대한 궁극적인 사형선고가 되어, 유용하지 않은 콘텐츠가 검색 결과에서 순위를 차지하고 AI 챗봇에 의해 선택되도록 한다고 제안했습니다.

AI 챗봇에 대한 진실을 더 깊이 파고들 필요도 없습니다. 단순히 기존 콘텐츠를 추출하고 재포장하여 쿼리로 요청받았을 때 즉시 생성하는 것입니다. 챗GPT와의 몇 차례 상호작용에서, 그것은 인터넷 검색 결과에서 정보를 가져와서 구식이고 유효하지 않은 정보를 제공했습니다.

실망한 나는 내가 배우고자 하는 주제에 대한 유용한 정보를 수집하기 위해 인터넷에서 수동으로 검색하기 시작했습니다. 이는 AI 챗봇의 존재와 사용을 명백히 부정합니다. 문제를 더해, AI 챗봇의 콘텐츠 재사용은 콘텐츠가 생성된 원래 블로그/사이트의 가치를 떨어뜨렸고, 그들의 사이트 수익에도 영향을 미쳤습니다. 낮은 사이트 트래픽은 낮은 수익으로 이어져 사이트의 비즈스에 부정적인 영향을 미쳤습니다.

콘텐츠 스크래핑에서 AI 챗봇의 역할 이해하기

콘텐츠 스크래핑은 한 포털에서 콘텐츠를 복사하여 다른 사이트에 거의 변경 없이 게시하는 것을 의미합니다. 구글은 항상 이를 반대해왔으며, 콘텐츠의 독창성과 가치를 유지하기 위해서입니다.

2011년, 구글은 가짜 웹사이트의 콘텐츠 스크래핑을 방지하기 위해 팬더 업데이트를 출시하여 원본 콘텐츠를 생성한 사이트가 순위를 차지하도록 도왔습니다. 과거에 여러 인기 기술 블로그에서 작가로 일하면서, 기본 규칙은 브레인스토밍을 통해 원본 콘텐츠를 만드는 것이었습니다. 그 개념은 수천 개의 유용한 블로그, 리스트, 뉴스 및 유사한 콘텐츠를 생성하는 데 잘 작동했습니다.

하지만 AI LLM은 이제 무작위 웹사이트(가치 있는 콘텐츠를 제공하는 사이트 포함)에서 콘텐츠를 쉽게 가져와 사용자에게 제공하고 있으며, 콘텐츠의 독창성 개념은 과거의 일이 되어버렸습니다. 웹 미디어 게시자의 불만을 관리하기 위해 구글은 웹 콘텐츠에 대해 EEAT 형식을 강조하고 있습니다. EEAT는 경험(Experience), 전문성(Expertise), 권위(Authority), 신뢰성(Trustworthiness)의 약자입니다.

EEAT는 유용한 원본 콘텐츠를 생성하는 데 효율적인 촉매제가 될 수 있지만, 엉망이 된 검색 알고리즘 업데이트는 그러한 콘텐츠가 순위를 차지하는 것을 방지하고 AI 챗봇이 유용하지 않은 콘텐츠를 스크래핑하여 첫 페이지에 순위를 매기는 원인이 되어 사용자들을 더욱 잘못 인도하고 있습니다.

AI 챗봇이 블로깅/웹 출판 경제에 미치는 영향

** 나는 AI 챗봇이 콘텐츠를 스크래핑하여 원래 출처에서 클릭률, 수익 및 사용자 트래픽에 미친 영향을 보여주는 여론 조사/설문 조사/연구에서 이 표 형식의 데이터를 얻었습니다.

AI는 원래 제작자들의 콘텐츠를 사용하여 후자를 검색 순위에서 밀어내고 사용자에게 자신을 홍보했습니다. 이는 웹 콘텐츠 출판 경제에 엄청난 타격을 주었고, 시청률과 수익에 나쁜 영향을 미쳤습니다.

문제를 더 악화시키기 위해, 미디어 게시자는 구글의 AI 크롤러가 그들의 콘텐츠를 스크래핑하는 것을 차단할 수 없습니다. 그렇게 하면 구글 검색 크롤러도 차단되기 때문입니다. 결과적으로 게시자는 AI 챗봇이 그들의 콘텐츠를 스크래핑하는 것을 방지할 수 없으며, 그들의 도달 범위와 수익에 상당한 감소를 초래하고 있습니다.

AI 챗봇: 혁신인가, 오래된 콘텐츠를 재포장하는 현대 기계인가

구글은 한때 “인간을 위한 콘텐츠, 인간에 의해” 정책에 집중하여 순위를 매기고 가치를 제공할 수 있는 합법적인 콘텐츠를 촉진했습니다. 현재 상황을 보면, 구글은 이제 AI가 웹의 구석구석에서 가능한 모든 데이터를 스크랩하고 이를 사용자 기기로 리디렉션하도록 허용하고 있는 것 같습니다. 이는 AI 통합을 추진하기 위한 시도입니다.

검색 알고리즘 업데이트는 한때 검색 결과의 첫 페이지를 차지했던 인기 블로그 사이트와 미디어 아울렛의 잃어버린 입지를 개선하고 되찾는 데 큰 도움이 되지 않는 것 같습니다.

여러분은 어떻게 생각하십니까? 유용한 인간 중심 블로그/웹 미디어의 시대는 끝났고, AI가 스크랩된 제한적이고 재생산된 콘텐츠로 정보 교환을 지배하는 새로운 세계 질서가 되었습니까? 댓글로 알려주세요.

AI 챗봇은 구글이 싫어하는 것이 되었다 – 콘텐츠 스크래퍼에 대한 생각이 있다면 아래 댓글란에 자유롭게 남겨주세요. 또한, 비디오 튜토리얼을 위해 우리의 DigitBin 유튜브 채널을 구독해 주세요. 감사합니다!