웹 크롤러는 사용자가 검색하기 전에 수천억 개에 달하는 웹페이지에서 정보를 모아 이를 검색 색인에 정리한다.
크롤러는 과거 크롤링으로 만들어진 웹 주소 목록과 웹사이트 소유자가 제공한 사이트맵에서 크롤링을 시작한다. 웹사이트를 방문한 크롤러는 사이트에 있는 링크를 사용하여 다른 페이지를 찾는다. 크롤링하는 동안 새로운 사이트, 기존 사이트의 변경사항, 깨진 링크를 주의 깊게 살핀다. 크롤링할 사이트, 크롤링 횟수 및 각 사이트에서 가져올 페이지 수는 컴퓨터 프로그램이 결정한다.
구글에서는 사이트 소유자에게 웹마스터 도구를 제공하여 사이트 소유자가 구글에서 사이트를 크롤링하는 방법의 세부 사항까지 스스로 결정할 수 있도록 한다. 사이트 소유자는 페이지를 어떻게 처리할 것인지에 관해 자세한 지침을 제공할 수 있으며, 재크롤링을 요청하거나 'robots.txt'라는 파일을 사용하여 아예 페이지가 크롤링되지 않도록 할 수도 있다. 구글은 비용을 받고 특정 사이트를 더 자주 크롤링하지 않으며 사용자에게 최고의 검색결과를 보장하기 위하여 모든 웹사이트에 동일한 도구를 제공한다.[6]
검색 알고리즘[편집]
사용자에게 수십억 개의 웹페이지가 아닌 질문에 대한 답을 제공하기 위해, 구글의 검색 알고리즘은 크게 다섯 가지 방법을 활용한다. 검색어의 의미를 이해하기 위해 단어를 분석하기, 검색어와 일치하는 정보가 포함된 웹페이지를 검색하기, 페이지의 유용성을 평가하여 순위를 매기기, 사용자의 위치나 이전 검색 기록과 같은 맥락을 고려하여 사용자에게 알맞은 검색 결과를 제공하기, 검색 결과가 사용자의 검색 유형에 유용한지 고려하여 최상의 결과를 제공하기.[7]
광고[편집]
구글은 광고주에게 애드워즈 프로그램을 제공한다. 이 프로그램을 통해 입찰함으로써 검색 결과 옆에 뜨는 텍스트 광고를 구매할 수 있다. 희소성이 높은 키워드는 클릭당 광고비가 더 비싸게 책정된다.
애드센스를 통해서 광고를 하고 싶어하는 회사와 관련 사이트를 연결하는 역할을 한다. 애드워즈와 유사한 자동화 프로그램을 통해 둘을 연결해 준다.
구글은 클릭당 지불 데이터를 가지고 해당 광고를 클릭 할 때만 비용을 내도록 한다.
구글 애널리틱스(Google Analytics)는 광고주에게 해당 광고의 효과를 즉시 확인 할 수 있는 무료 툴을 제공한다. 이 프로그램은 매시간 클릭수와 판매량, 해당 키워드의 트래픽, 클릭이 판매로 이어진 비율 등 광고 효과를 즉각 확인 할 수 있게 해준다.
미디어 업체로 하여금 광고 판매에 들어가는 비용을 줄임으로써 롱테일(long tail)이라는 형태로 변화하도록 한다. 그렇게 한다면 기존에는 광고를 잘 하지 않던 이들까지도 타킷팅이 잘 된 저렴한 광고를 구매하도록 끌어들일 수 있다는 것이다.
구글은 사용자들에게 신문이나 책, 잡지를 자유롭게 검색하도록 권장한다. 해당 발행물들 역시 검색 트래픽을 활용해서 무료로 자신들을 홍보하고 광고를 판매해 수익을 창출한다. TV 방송사나 영화사들은 유튜브를 홍보채널 겸 온라인 배급시스템으로 활용하도록 권장한다. 광고주들에게는 구글이 2007년에 인수한 디지털 광고 서비스 업체 더블클릭(Doubleclick)을 통해 온라인 광고를 하도록 권한다.
구글의 수입은 2004년 32억 달러이던 것이 2007년에는 166억 달러로 뛰었다. 세계적 불황을 비웃기라도 하듯, 구글은 2008년에 42억 달러의 수익을 거두었고 매출은 218억 달러로 상승했다. 그리고 그 가운데 97%가 광고 수입이었다.
2008년, 구글의 광고 수입은 5개 방송사(CBS, NBC, ABC, FOX, CW)의 광고 수입을 합한 것에 맞먹었다. 2011년에 이르면 미국 내 웹 광고는 600억 달러(전체 13%)에 달할 것으로 전망된다. 게다가 구글은 tv, 라디오, 신문에 광고를 판매함으로써 시장점유율을 가일층 확대할 사업구상을 이미 개시했다.
사용자가 텍스트 광고를 클릭할 때만 광고료를 부과해서 광고주들 중에서 우군을 확보했고, 무료이자 2009년 초반까지 광고가 붙지 않았던 구글 뉴스로 뉴스독자들 중에서 우군을 확보했으며, 광고 수익과 신규 고객을 발생시켜 줌으로써 웹사이트와 소규모 사업자들 중에서 우군을 확보했다. 구글은 두 번째 경매 프로그램 애드센스 때부터 수입의 20%만 자기 주머니에 넣고 나머지는 웹사이트들에게, 아니 구글 표현을 빌리자면 사업 파트너들에게 돌려 주었다. 2008년에 구글은 총 50억 달러가 넘는 돈을 수십만에 달하는 '파트너들'에게 제공했다.