=======================
=======================
=======================
출처: http://mndd.tistory.com/90
티스토리 블로거 분들의 고충 중 하나가 바로 구글 애드센스 크롤러 문제라고 꼽을 수 있겠습니다.
크롤러가 뭐냐?
크롤러란 스파이더 또는 로봇이라고도 하며 웹페이지 콘텐츠를 확인한 후 색인하는 Google의 소프트웨어입니다. 말 그대로 이 로봇이 웹 사이트에 들어가 웹 사이트의 성격을 파악하고, 주제와 비슷한 광고를 수집하여 제공하는 기능을 갖춘 것 입니다.
그런데 저 위 크롤러 오류 때문에 많이 거슬리는데요, 이 크롤러 오류를 해결하기 위해 티스토리 블로그 html/css편집에 skin.html 안에
< meta name="robots" content="all" / > 이 메타 태그를 적으면 해결된다고는 하나, html을 수정하면 다시 처음부터 최적화 들어가게 되고, 지금까지 애드센스 전환구매실적이 초기화되면서 단가도 떨어지고 엉뚱한 광고가 나오게 되면서 수익금이 반토막 난다는 것이죠. (저도 얼마 전에 알았습니다)
크롤러가 하루에 한 번씩 웹 사이트에 방문하여 페이지를 읽습니다.
날짜가 지나갈 수록 웹 페이지와 성격이 비슷한 광고를 찾는데요, 여기서 스킨이나 html을 수정하게 되면 다시 처음부터 광고를 찾기 시작합니다. 그렇기 때문에 광고 클릭 수도 현저히 줄어들고 수익금도 당연히 낮아질 수 밖에요.
티스토리의 구글 크롤러 오류는 대부분 스킨 미리보기 때문에 발생한다고 합니다. 놔두면 그냥 없어져요. 크롤러 오류가 난다고 해서 광고가 변경되거나 수익금을 받는데 지장은 없습니다.
제 생각으론 구글 애드센스를 처음 시작하고 나서 수정을 되도록이면 적게 하는 편이 낫다고 생각합니다. 도움이 되셨길 빕니다.
=======================
=======================
=======================
출처: http://tamhum.tistory.com/76
애드센스 관리 페이지를 살펴보다 구석진 곳에서 크롤러 오류라는 것을 발견했는데 무언가 불이익을 볼 것 같은 글이 잔뜩 써 있더라구요.
"Google 크롤러가 페이지를 크롤링하려고 했는데 robots.txt 파일에서 이를 허용하지 않았습니다. "
그래서 여기저기 검색을 해 본 결과, 티스토리에서 막아놨다는.. 근본적인 해결방법은 없다는 글 뿐..
그래도 약간이나마 해결할 수 있는 방법이라고 쓰여 있는 것을
1. Skin.html 수정 화면에서 <head> 다음 줄에 적기.
<meta name="robots" content="all"/>
<meta name="robots" content="index,follow">
2. Skin.html 수정 화면에서 [#_article_rep_desc_#] 위아래로 적기.
<!-- google_ad_section_start -->
" [#_article_rep_desc_ #]"
<!-- google_ad_section_end -->
이상입니다.
저도 이제서야 적용시켜서 과연 얼마나 효과가 있을지 모르겠지만 방법을 잊어버릴 것 같아 적어 놓습니다.
효과가 있는 지는 사용 후 다시 적겠습니다.
=======================
=======================
=======================
출처; http://forlov3u.blog.me/20130242236
일반적인 개인 블로그와 미니홈피 형태들은 웹 수집을 위해서, 즉 포털 사이트에서 자신의 블로그등의 글들이 웹에 노출하기 위해서는 포털 사이트에 일반검색 등록과 RSS 검색 등록을 하면된다.
하지만 개인이 만들어 놓은 홈페이지나 기업 혹은 그에 준하는 기타 홈페이지는 단순하게 포털 사이트의 검색엔진과 로봇들이 자신의 홈페이지를 검색하도록 몇가지 설정을 하는 것이 좋다.
그러한 것 중에 META 태그와 robots.txt 파일이 있다.
META 태그는 웹 주소 즉 홈페이지 주소를 치고 들어가면 노출되는 index.html, index.php 등 첫번째로 노출 되는 곳에 작성하면 된다.
또한 META 태그는 첫 페이지의 HEAD 사이에 존재해야 한다.
<html><head><title></title><meta name ...></head><body> ...
일반적인 META 태그의 종류
<META http-equiv="content-type" content="text/html;charset=euc-kr">
euc-kr은 한글로 문서가 작성되었다는 것을 의미한다.
<META http-equiv="refresh" content="10;url=10초 후 이동할 홈페이지 주소">
즉 10초 후에 자동으로 홈페이지가 url에 적힌 곳으로 이동한다고 생각하면된다. contet="X .. 에서 X는 초 단위.
<META name="Title" content="홈피이름">
<META name="Subject" content="홈페이지주제 입력">
<META name="Description" content="홈피에대한 설명">
포털 사이트의 검색엔진이 검색 결과값이 된다. 해당 홈페이지 검색시 출력되어지는 홈페이지 설명에 해당
<META name="Classification" content="카테고리 분류">
<META name="Keywords" content="검색 키워드">
ex) content="html, 태그, 웹 프로그램밍"
<META name="Author" content="홈피 만든사람 ">
<META name="Publisher" content="만든단체 또는 회사">
<META name="Other Agent" content="홈피 책임자">
<META name="Reply-To(Email)" content="메일주소">
<META name="Filename" content="파일이름 입력">
<META name="Author-Date(Date)" content="제작일">
<META name="Location" content="위치/국가">
<META name="Distribution" content="배포자">
<META name="Copyright" content="저작권">
<META name="Generator" content="문서를 무엇으로 만들었는지 명시">
Content="Notepad" - 메모장으로 만듬 -0-
<META name="robots" content="noindex, nofollow">
여기서 Content 값은 index, noindex, follow, nofollow가 있다.
index는 검색해서 유출 즉 색인 되도록하는 것, noindex는 반대의 의미이다.
follow는 검색엔진이 반드시 링크를 따라가야 한다는 것을 명시한다.
nofollow는 조금 더 특이한 경우 자주 사용을 한다.(단순히 링크만 따라가지 못하도록 하는 것이 아닌 ..)
여기서 가장 웹 검색에서 중요한 것은 Keywords, Description, Classification 이다.
하지면 웹 검색의 기본에 충실하다면 Keywords 하나만 중요하다고 할 수 있다.
각 각의 웹을 검색하는 엔진들의 특정한 표준규약 부분에 있어서의 Keywords는 검색을 대부분 하며, 나머지는 웹을 검색하는 엔진에 따라서 약간씩 차이가 있다.
robots.txt 파일 - 해당 파일은 http://홈페이지 주소/robots.txt 로 존재해야한다.
이 파일은 웹 검색을 하는 자동화 되어 있는 로봇들을 위해서 필요하며 특정한 로봇(특정 포털 사이트 및 검색 수집을 하는 웹 봇)들이 검색을 하지 못하도록 할 수 도 있다.
(사실 이 규약을 지키지 않고 무조건 긁어가는 자료 수집형 봇들도 있다.)
robots.txt 파일 내용
User-agent:
Disallow:
여기서 User-agent는 접근을 허용하거나 하지 못하도록 설정한다
만약 Disallow는 로봇에 의해서 검색되어지는 디렉토리 및 파일들 중에 특정한 것을 노출하지 못하도록 한다.
ex 1) 홈페이지가 모든 검색 로봇들에게 노출
User-agent: *
Disallow:
ex 2) 홈페이지가 모든 검색 로봇들에게 노출되지 않도록 설정
User-agent: *
Disallow: /
ex 3) 특정 검색 로봇에게만 노출되지 않도록 설정
User-agent: 로봇이름
Disallow: /
ex 4) 특정 검색 로봇들에게만 노출 하도록 설정
User-agent: 검색당할 로봇 이름
Disallow:
User-agent: *
Disallow: /
ex 5) 특정 디렉토리 및 특정 파일 노출 차단
User-agent: *
Disallow: /blog/
Disallow: /robot_bot/
Disallow: /*.x??
Disallow: /*.jpg$
Disallow: /*.gif$
보안에 관련된 재미있는 이야기를 하자면 robots.txt 파일은 위험적인 요소가 될 수 있다.
이것은 노출 혹은 노출을 차단하도록 설정하든 문제점이 있다.
이러한 위험에서 벗어나고자 한다면 아주 기본적인 방법만을 사용해야 한다. 아니면 조금더 고급스러운 방식으로 사용하든지 ..
[출처] 홈페이지 검색을 위한 META 태그와 robots.txt|작성자 Yury
=======================
=======================
=======================
출처: http://anikorea.tistory.com/306
티스토리를 운영하면서 잊어버렸던 Html을 기억해내고 수정하고 글 작성을 하고..
이렇게 즐기다 우연히 애드센스를 알게되 애드센스를 신청하고 ..
블로그에 광고가 걸리고 몇개월 동안 애드센스때문에 신경쓰는 부분이 많아지고 문제점도 많아지고..
그래서 한동안 글 쓰는것도 힘든 상황에 애드센스로 더 이상 신경쓰지 말자 라는 생각으로 왠만한 문제점은 못 본듯 지나치는데 애드센스 에서 '티스토리 크롤링' 문제로 계속 쪽지가 오니 신경이 쓰여 글 작성을 합니다.
위 쪽지가 제게 구글 애드센스에서 보내는 크롤링 메세지 입니다.
처음에는 크롤링 요청이 20여개 였는데 이젠 50개를 넘어서네요.
해결을 위해 robots.txt파일을 수정해야 하지만 티스토리의 경우는 사용자가 이 파일에 접근할 권한이 없습니다. 그러므로 이 문제를 근본적으로 해결할 방법은 없습니다.
인터넷 검색을 통해 알아본 결과 근본적인 문제 해결 방법은 없습니다.
다만 메타테그를 이용해 조금이라도 크롤링되는 부분을 줄일수있다는 글이 있더군요.
메타태그 활용
다음 메타태그를 티스토리 스킨/html 수정 화면에서 상단의 html 화면에서 <head> 다음줄에 붙여넣으시면 됩니다.
<meta name="robots" content="all"/>
<meta name="robots" content="index,follow">
이렇게 수정해주시면 조금이나마 도움이 된다고 하니 참고해 보세요.
저두 이 글을 작성하고 적용해야 겠습니다.
근본적으로 티스토리에서 사용자에게 접근권한을 주던가, 아니면 티스토리에서 로봇접근을 허용하도록 설정해주길 기대해 봅니다.
글 인용 : http://www.domawe.com/2013/02/blog-post.html
=======================
=======================
=======================
출처: http://mastmanban.tistory.com/723
로그인이 필요한 사이트의 애드센스 크롤러 설정 방법
요즘 왠만한 사이트들은 구글 애드센스를 달아 두고 있습니다. 애드센스의 단다가 예전만 하지 못하여 큰 수익은 바라지 못하지만 그래도 아직까지 구글 애드센스 만한 CPC는 없는거 같습니다.
그리고 애드센스 단가가 예전만 못하다고는 하지만 사이트 트래픽이 많을 경우 꽤 많은 수익을 기대해 볼수도있습니다. 그러기 위해선 애드센스 최적화를 통하여 조금 이라도 애드센의 수익을 올리려고 노력을 해야 하겠습니다.
애드센스에는 구글 검색에서와 같이 크롤러 개념이 있습니다. 구글 애드센스 크롤러가 주기적으로 애드센스 게시자의 사이트를 방문하여 타켓팅 정보를 읽어 가서 좀더 문맥과 광고의 매치가 이루어 지게끔 타켓팅을 도와 줍니다.
그런데 사이트 특성상 로그인을 해야 지만 페이지를 볼수 있고 애드센스를 볼수 있다면 애드센스 크롤러는 정보를 제대로 읽어 갈수 없습니다. 그렇게 되면 애드센스 게시자 사이트는 문맥 광고가 잘 이루어 지지 않아 수익이 좋지 않을 것입니다.
이럴 경우 애드센스 관리자 페이지에서 크롤러 설정에서 로그인 정보를 알려 주어 애드센스 크롤러가 제한된 페이지를 읽어 갈수 있도록 로그인 정보를 알려 주면 됩니다.
애드센스 크롤러 로그인 정보를 알려 주기 위해선 애드센스 메인 페이지에서 [계정 설정 ▷ 크롤러 액세스 설정 수정] 을 클릭해 주시기 바랍니다.
[계정 설정] 페이지에서 제일 아래로 내리시면 "액세스 및 승인" 부분에서 [크롤러 액세스 설정 수정]을 클릭 하시면 됩니다.
크롤러 액세스 설정 사이트로 이동 하시면 크롤러 오류 리스트가 나오는데 아래 부분에 "크롤러 로그인 정보" 텍스트 옆에 있는 [로그인 추가] 버튼을 눌러 주시기 바랍니다.
그러면 팝업창이 하나 뜨면서 로그인이 필요한 페이지의 정보를 입력하는 팝업창이 하나 뜹니다. 로그인 페이지의 정보를 입력해 주시면 됩니다.
| 제한된 디렉토리 또는 URL | 로그인을 해야지만 애드센스와 문맥을 볼수 있는 페이지 |
| 로그인 URL | 크롤러가 게시물을 보기 위해 방문해야 할 로그인 페이지 |
| 로그인 방식 | POST, GET 등 방식 선택 |
| 로그인 변수 | 로그인 정보를 전달할 변수와 값 |
아마 사이트 관리자 라면 위 내용을 다 이해 하시리라 생각 됩니다. 애드센스 크롤러의 로그인 추가 정보를 입력 완료 하였으면 [로그인 테스트] 로 제대로 입력 되었는지 확인을 한 다음 [로그인 추가] 버튼을 눌러 완료 하시면 됩니다.
그러면 "크롤러 로그인 정보" 리스트에 입력한 정보가 나타 나는데 "상태" 부분에서 [문제해결] 링크를 클릭하여 웹마스터 도구를 이용한 사이트 확인을 해주시기 바랍니다.
이렇게 하시면 애드센스 크롤러 설정은 끝이 납니다. 앞으로 로그인이 필요한 사이트에 게시된 애드센스의 타켓팅이 좀더 정확해 지고 그에 따른 수익의 변화도 있으리라 생각 됩니다. 로그인이 필요한 사이트의 관리자 분 중 애드센스를 게시 하고 계시다면 위와 같이 애드센스 크롤러 설정을 통하여 좀더 높은 수익을 예상해 보시기 바랍니다. ^^
이 애드센스 크롤러 설정은 로그인이 필요한 사이트에 게시된 애드센스 사용자를 위한 것이기 때문에 저같이 일반 블로그를 관리 하시는 분들은 설정할 필요는 없을거 같습니다. 블로그의 경우 정보를 보기 위해 로그인을 해야 하는 일이 없고 로그인이 필요한 경우는 블로그 관리자 페이지 인데 블로그 관리자 페이지에는 애드센스가 게시되어 있지 않기 때문에 필요가 없을거 같습니다.
로그인이 필요한 사이트에 게신된 애드센스 관리자 분들만 참고 하시기 바랍니다. ^^
=======================
=======================
=======================
출처: http://babyfafa.tistory.com/152
블로그를 운영하면서 추가적인 수익을 창출할수 있다면 얼마나 좋을까 해서 시작한 애드센스!
초반에는 나름 페이지CTR(클릭수를 페이지 노출수로 나눈값)이 높게 나왔지만 언젠가 부터 그 수치가 절반 이하로 떨어지기 시작하였다.
포스팅수가 점차적으로 늘어나고 방문자수도 늘어났는데, 왜 클릭수도 떨어지고 CTR도 떨어질까 고민하던 와중에 받은 구글 애드센스 뉴스레터 6월호.
그중에서도 관심있는 내용은 "크롤러 오류 수정으로 광고의 관련성 높이기" 다.
애드센스 크롤러로 사이트를 정확하게 크롤링하면 광고 관련성을 높이고 궁극적으로는 수입을 늘릴수 있다는 내용의 글이다.
이 메일을 받기전에도 계정의 크롤러 오류 보고서 섹션을 검토하던중 애드센스 크롤러 오류가 발생한 도메인을 발견을 했었는데 해결방법 항목을 클릭하여 문제를 해결하려고 하였으나 설명이 충분하지 못하여 그냥 두고 있었는데 이번 기회에 문제를 해결하여 CTR를 높여보자.
그래서 메일의 "크롤러 오류 해결하기" 버튼을 클릭해 보았다.
클릭을 하니 애드센스 홈의 계정설정 메뉴로 바로 들어가서 "크롤러 오류 보고서" 화면으로 들어와졌다.
크롤러 오류 보고서 내용을 보면 콘텐츠를 확인하여 관련 광고를 게재하려면 구글 크롤러가 페이지에 액세스해야 하는데 이 과정에서 문제가 발생했다. 구글 크롤러가 콘텐츠에 액세스 하지 못하게 되면 광고도 자주 게재할 수 없게 되어 수익은 물론 게재 비율도 낮아진다. 관련성이 낮은 광고가 게재되어 CTR이 낮아질 수도 있으니 이 오류를 해결하고 애드센스 실적을 높이려면 "해결 방법" 항목에서 링크를 클릭하여 안내에 따르라고 한다.
그래서 해결 방법에서 '로봇이 거부됨'을 클릭했다.
역시나 해결 도움말을 보아서는 해결할수 없도록 원인에 대한 설명만 나와있고, 방법이 없다.
방법이라고 해서 robots.txt 파일에서 크롤러에 액세스 권한을 부여하라고 나와있지만, 포털의 블로그를 사용하는 블로거들이 자신이 이용하는 블로그의 robots.txt 파일을 접근할 권한은 없다.
그래도 무슨 방법이 있겠지 하여 관련글이 있는 블로그를 검색해 보았다.
내용을 찾아보니 위와 같은 코드를 <body> ..코드..</body> 사이에 넣으면 해결된다고 한다. 티스토리의 경우는 관리자에 들어가서 HTML/CSS 편집의 skin.html 해당 위치에 삽입해 주면 된다.
[관련코드]
<meta name="robots" content="all" />
<meta name="robots" content="index,follow">
크롤러도 주기적으로 자동 업데이트 되는 것이니 당장은 오류가 해결되는 것은 아니지만 정말 저 코드로 오류가 해결되는지는 지켜보아야겠다.
그리고 크롤러가 오류가 나더라도 "구글 섹션타켓팅 코드를 삽입"해 두면 해결되는 것이 아닌지도 궁금하다.
* 2012/05/25 - [IT/블로그] - 구글 애드센스 섹션타켓팅 방법과 효과
=======================
=======================
=======================
출처: http://cinebox.tistory.com/363
구글애드센스 "로봇거부" 에러발생시 대처방법
대부분 티스트로리를 사용하시는 분들은모두 구글에드센스 사용하실텐데요
구글애드센스의 홈 계정 설정에 들어가시면 크롤러 에러여부를 확인할 수있는것은
다들 아실텐데요
얼마전 크롤러 오류 메세지가 뜨더라구요
로봇거부라고 하더군요
로봇거부가 되면 구글광고가 다양하게 주제에 맞게 광고가 게재가 잘 되지않아
수익발생에 차질이 있다고 하네요
티스토리의 경우는 완전한 설치형 블로그이기때문에
robots.txt파일을 업로드 할 수가 없다고 합니다
구글 해결책에는 도메인을 통해 업로드하면 해결되는데
http://cinebox.tistory.com/robots.txt
이렇게 하면 간단한 것을
완전한 설치형이기에 html문서에서 메타태그를 사용하여
에러를 수정하여야 한다고 합니다
| meta name = "Robots" content="ALL" meta name = "robots" content="Index,follow" |
=======================
=======================
=======================
'WEB > 블로그' 카테고리의 다른 글
| 블러그(티스토리,네이버,다음,구글 등등) SSL 적용과 검색영역 관련 (0) | 2020.09.18 |
|---|---|
| 추천하는 메타블로그 * RSS피드 등록 (0) | 2020.09.15 |
| 블로그 애드센스 광고 시작 , 팁 관련 (0) | 2020.09.15 |
| 티스토리 중간에 광고 넣기 관련 (0) | 2020.09.15 |
| 애드센스 광고 중단 해결법 관련 (0) | 2020.09.15 |