ํฌ๋กค๋ง์˜ ์œ„๋ฒ•์„ฑ์€?
top of page
๋ฒ•๋ฅ ์ •๋ณด ์ƒ์„ธ

ํฌ๋กค๋ง์˜ ์œ„๋ฒ•์„ฑ์€?


์ •๋ณด์˜ ๋ฐ”๋‹คโ€™์ธ ์ธํ„ฐ๋„ท์—์„œ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ผ์ผ์ด ์„ ๋ณ„ํ•ด ๋‚ด๋Š” ์ผ์€ ๋งŽ์€ ์‹œ๊ฐ„๊ณผ ๋…ธ๋ ฅ์ด ํ•„์š”ํ•˜๋‹ค. ์ด์— ํฌ๋กค๋ง(์†Œํ”„ํŠธ์›จ์–ด๋ฅผ ์ด์šฉํ•ด ์œ ์šฉํ•œ ์ •๋ณด๋ฅผ ์ฐพ์•„ ์ˆ˜์ง‘ํ•˜๋Š” ๋ฐฉ์‹)์„ ํ†ตํ•ด ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ์‹ฌ์‹ฌ์น˜ ์•Š๊ฒŒ ์กด์žฌํ•œ๋‹ค.

๊ทธ๋Ÿฐ๋ฐ ์ตœ๊ทผ ํฌ๋กค๋ง ํ–‰์œ„์ž์— ๋Œ€ํ•œ ๋ฏผยทํ˜•์‚ฌ์ƒ ์ฑ…์ž„์ด ์ธ์ •๋˜๋Š” ๋ฒ•์›์˜ ํŒ๋ก€๋“ค์ด ์†์† ๋“ฑ์žฅํ•˜๊ณ  ์žˆ๋‹ค. ์–ผํ• ๊ฒฐ๊ณผ๋งŒ์„ ๋ด์„œ๋Š” ํฌ๋กค๋ง ํ–‰์œ„๋Š” ์œ„๋ฒ•ํ•œ ํ–‰์œ„๋กœ์„œ ๊ธˆ์ง€๋˜๋Š” ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค.

ํฌ๋กค๋ง์ฃ„๋Š” ์—†๋‹ค?

์‹ค์ƒ์€ ๊ทธ๋ ‡์ง€ ์•Š๋‹ค. ํฌ๋กค๋ง ํ–‰์œ„ ๊ทธ ์ž์ฒด๋Š” ์œ„๋ฒ•ํ•˜์ง€๋„ ์ ๋ฒ•ํ•˜์ง€๋„ ์•Š์€ ๋ฌด์ƒ‰ํˆฌ๋ช…ํ•œ ๊ฐœ๋…์ด๋‹ค. ์šฐ๋ฆฌ ํ˜•๋ฒ• ์–ด๋””์—๋„ โ€™ํฌ๋กค๋ง์ฃ„โ€˜๋ฅผ ๋‘๊ณ  ์žˆ์ง€ ์•Š๋‹ค๋Š” ์ ์„ ๋ช…์‹ฌํ•ด์•ผ ํ•œ๋‹ค.

๋ฌธ์ œ๋˜๋Š” ๊ฒƒ์€ ํฌ๋กค๋ง ํ–‰์œ„๊ฐ€ ์šฐ๋ฆฌ ํ˜•๋ฒ•์ด ๋ณดํ˜ธํ•˜๊ณ  ์žˆ๋Š” ๋‹ค๋ฅธ ๋ฒ•์ต์„ ์นจํ•ดํ•˜์—ฌ ๋ณ„๊ฐœ์˜ ์ฃ„๋ฅผ ๊ตฌ์„ฑํ•˜๋Š” ๊ฒฝ์šฐ์ด๋‹ค. ์š”๋ฆฌ์˜ ๋„๊ตฌ๋กœ์„œ ์‹์นผ์„ ๊ตฌ์ž…ํ•˜๋Š” ํ–‰์œ„๋Š” ์œ„๋ฒ•ํ•˜์ง€ ์•Š์ง€๋งŒ ์‚ด์ธ์˜ ๋„๊ตฌ๋กœ์„œ ๊ตฌ์ž…ํ•˜๋Š” ํ–‰์œ„๋Š” ์‚ด์ธ์˜ˆ๋น„์ฃ„๋กœ์„œ ์œ„๋ฒ•ํ•œ ํ–‰์œ„๊ฐ€ ๋  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๊ณผ ๊ฐ™๋‹ค.

ํฌ๋กค๋ง ํ–‰์œ„์—์„œ ๋ฌธ์ œ๋˜๋Š” ๋Œ€ํ‘œ์ ์ธ ๋‘ ๊ฐ€์ง€ ๋ฒ•์  ๋ฌธ์ œ๋ฅผ ์‚ดํŽด๋ณด๋ ค ํ•œ๋‹ค.

ํ•˜๋‚˜๋Š” ์ •๋ณดํ†ต์‹ ๋ง๋ฒ• ์ œ48์กฐ ์ œ1ํ•ญ ์œ„๋ฐ˜ ๋ฌธ์ œ์ด๊ณ , ๋˜ ๋‹ค๋ฅธ ํ•˜๋‚˜๋Š” ์ €์ž‘๊ถŒ๋ฒ• ์ œ93์กฐ ์ œ1ํ•ญ ์นจํ•ด ๋ฌธ์ œ์ด์ด๋‹ค.

โ€˜๋กœ๋ด‡๋ฐฐ์ œํ‘œ์ค€โ€™ ๊ทผ๊ฑฐ ๋  ์ˆ˜ ์žˆ์ง€๋งŒ ์˜๋ฌด ์•„๋ƒ

๋จผ์ € ์ •๋ณดํ†ต์‹ ๋ง๋ฒ•์— ๋Œ€ํ•˜์—ฌ ์‚ดํŽด๋ณด๋„๋ก ํ•˜๊ฒ ๋‹ค. ์ •๋ณดํ†ต์‹ ๋ง๋ฒ•์€ โ€˜์ •๋‹นํ•œ ์ ‘๊ทผ๊ถŒํ•œ ์—†์ด ๋˜๋Š” ํ—ˆ์šฉ๋œ ์ ‘๊ทผ๊ถŒํ•œ์„ ๋„˜์–ด ์ •๋ณดํ†ต์‹ ๋ง์— ์นจ์ž…โ€™ํ•˜๋Š” ํ–‰์œ„๋ฅผ ๊ธˆ์ง€ํ•˜๊ณ  ์žˆ๋‹ค. ์—ฌ๊ธฐ์„œ ์ ‘๊ทผ๊ถŒํ•œ์˜ ๋ถ€์—ฌ๋Š” ์„œ๋น„์Šค์ œ๊ณต์ž๊ฐ€ ํ•˜๋ฏ€๋กœ, ํฌ๋กค๋Ÿฌ๊ฐ€ ์„œ๋น„์Šค์ œ๊ณต์ž๋กœ๋ถ€ํ„ฐ ๋ฐ›์€ โ€™์ ‘๊ทผ๊ถŒํ•œ์˜ ์œ ๋ฌดโ€˜๊ฐ€ ๋ณธ์กฐ ์œ„๋ฐ˜์„ ๊ฐ€๋ฆ„ ์ง“๋Š”๋‹ค.

ํ•œํŽธ ํฌ๋กค๋Ÿฌ๋“ค์ด ์‰ฝ๊ฒŒ ์ ‘ํ•  ์ˆ˜ ์žˆ๋Š” โ€˜๋กœ๋ด‡๋ฐฐ์ œํ‘œ์ค€โ€™์„ ๋‘๊ณ  ๊ฐœ๋ฐœ์ž๊ฐ„ ์˜๊ฒฌ์ด ๋‚˜๋‰˜๊ธฐ๋„ ํ–ˆ๋‹ค. ๋กœ๋ด‡๋ฐฐ์ œํ‘œ์ค€์ด๋ž€ ์‚ฌ์ดํŠธ ๊ด€๋ฆฌ์ž๊ฐ€ ํฌ๋กค๋ง ๊ฐ€๋Šฅ ๋ฐ ๋ฒ”์œ„์— ๊ด€ํ•œ ๋‚ด์šฉ๋“ค์„ ๊ธฐ์žฌํ•œ โ€˜robots.txtโ€™ ํŒŒ์ผ์„ ์›น ์‚ฌ์ดํŠธ์˜ ์ตœ์ƒ๋‹จ์— ๋“ฑ๋กํ•ด ๋†“์œผ๋ฉด, ๊ตฌ๊ธ€ ํฌ๋กค๋Ÿฌ๊ฐ€ ํ•ด๋‹น ์›น ์‚ฌ์ดํŠธ๋ฅผ ํฌ๋กค๋ง ํ•  ๊ฒฝ์šฐ ๋ฏธ๋ฆฌ ๊ทธ ๋‚ด์šฉ์„ ํ™•์ธํ•ด ํ—ˆ์šฉ๋œ ์ •๋ณด๋งŒ์„ ํฌ๋กค๋ง ํ•˜๊ธฐ๋กœ ํ•œ ์ผ์ข…์˜ ๊ตฌ๊ธ€์˜ ์•ฝ์†์ด๋‹ค.

๋”ฐ๋ผ์„œ ์„œ๋น„์Šค์ œ๊ณต์ž๊ฐ€ robot.txt ํŒŒ์ผ์„ ๋“ฑ๋กํ•ด ๋†“์€ ๊ฒฝ์šฐ, ๊ทธ ๋ฌธ์„œ์˜ ๋ชฉ์ ๊ณผ ๋‚ด์šฉ์ด ํฌ๋กค๋Ÿฌ์—๊ฒŒ ์ ‘๊ทผ ๊ฐ€๋Šฅ ๋ฒ”์œ„๋ฅผ ๋ช…์‹œ์ ์œผ๋กœ ์•ˆ๋‚ดํ•ด ์ฃผ๋Š” ๋‚ด์šฉ์˜ ๋ฌธ์„œ๋ผ๋Š” ์ ์—์„œ, ์ด๋Š” ํฌ๋กค๋Ÿฌ์˜ ์ ‘๊ทผ๊ถŒํ•œ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋Š” ์œ ์šฉํ•œ ๊ทผ๊ฑฐ๊ฐ€ ๋  ์ˆ˜ ์žˆ๋‹ค.

๋‹ค๋งŒ, ์ด๋Š” robot.txt๊ฐ€ ๋“ฑ๋ก๋ผ ์žˆ๋Š” ๊ฒฝ์šฐ์˜ ํŒ๋‹จ์— ํ•œ์ •๋จ์„ ์œ ์˜ํ•ด์•ผ ํ•œ๋‹ค. ํ˜น์ž๋Š” robot.txt๊ฐ€ ๋“ฑ๋ก๋ผ ์žˆ์ง€ ์•Š๋‹ค๋Š” ์‚ฌ์‹ค์„ ๋“ค์–ด, ํฌ๋กค๋ง์„ ๋ชจ๋‘ ํ—ˆ์šฉํ•œ ๊ฒƒ ์•„๋‹ˆ๋ƒ๊ณ  ์ฃผ์žฅํ• ์ง€๋„ ๋ชจ๋ฅธ๋‹ค.

๋กœ๋ด‡๋ฐฐ์ œํ‘œ์ค€์€ ๊ฐ•์ œ๋ ฅ ์—†๋Š” ๊ตฌ๊ธ€ ํฌ๋กค๋Ÿฌ์˜ ๊ถŒ๊ณ ์— ๋ถˆ๊ณผํ•˜๋‹ค. ์„œ๋น„์Šค ์ œ๊ณต์ž๊ฐ€ ๋ฐ˜๋“œ์‹œ robot.txt๋ฅผ ๋“ฑ๋กํ•ด์•ผ ํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ๋ฉฐ ๊ทธ๋Ÿด ์˜๋ฌด๋„ ์—†๋‹ค.

๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์ œ์ž‘์ž์˜ ๊ถŒ๋ฆฌ ์นจํ•ด ๋”ฐ์ ธ์•ผ

๋‘ ๋ฒˆ์งธ๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์ œ์ž‘์ž์˜ ๊ถŒ๋ฆฌ ์นจํ•ด ๋ฌธ์ œ์ด๋‹ค. ํฌ๋กค๋ง์˜ ์ตœ์ข… ๋ชฉ์ ์€ ๋ฐ์ดํ„ฐ์˜ ์ˆ˜์ง‘์— ์žˆ๋‹ค. ๋‚ฑ๊ฐœ์˜ ๊ฐœ๋ณ„ ์ •๋ณด๋ฅผ ์ผ์ผ์ด ์ˆ˜์ง‘ํ•˜๋Š” ๊ฒƒ์— ๋งŽ์€ ์‹œ๊ฐ„๊ณผ ๋น„์šฉ์ด ํˆฌ์ž…๋˜๊ธฐ ๋•Œ๋ฌธ์—, ์ˆ˜์ง‘๊ณผ ์ €์žฅ์˜ ๊ณผ์ •์„ ์•Œ๊ณ ๋ฆฌ์ฆ˜ํ™” ํ•œ ํ”„๋กœ๊ทธ๋žจ์œผ๋กœ ํ•˜์—ฌ๊ธˆ ์ž๋™์ ์œผ๋กœ ๊ทธ๋ฆฌ๊ณ  ํšจ์œจ์ ์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ฒŒ ํ•˜๋ ค ํ•˜๊ธฐ ์œ„ํ•จ์ด๋‹ค.

์ˆ˜์ง‘ํ•˜๋Š” ๊ฒƒ์ด ๋‚ฑ๊ฐœ์˜ ๋ฐ์ดํ„ฐ์ธ ๊ฒฝ์šฐ๋ผ๋ฉด ํฐ ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•˜์ง€ ์•Š๋Š”๋‹ค(๋ฌผ๋ก  ์ •๋ณดํ†ต์‹ ๋ง ์นจ์ž…์˜ ๋ฌธ์ œ๋Š” ๋ณ„๊ฐœ์ด๋‹ค). ๊ทธ๋Ÿฌ๋‚˜ ํฌ๋กค๋ง์˜ ๋ชฉ์ ์„ ๊ณ ๋ คํ•˜๋ฉด, ๊ฐ€์žฅ ํƒ๋‚˜๋Š” ํฌ๋กค๋ง ๋Œ€์ƒ์€ ์ด๋ฏธ ํƒ€์ธ์ด ์ˆ˜์ง‘ํ•ด ์ฒด๊ณ„ํ™” ํ—ค ์ •๋ ฌํ•œ ๋ฐ์ดํ„ฐ์˜ ๋ญ‰์น˜, ์ฆ‰ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์ผ ๊ฒƒ์ด๋‹ค.

๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ์žฌ์‚ฐ์  ๊ฐ€์น˜๋Š” ์‚ฌ๋ญ‡ ๋‹ค๋ฅด๋‹ค. ๋ฉ€๋ฆฌ ๊ฐˆ ๊ฒƒ ์—†์ด ํฌ๋กค๋ง ํ–‰์œ„์˜ ๋ชฉ์ ๋งŒ ๋ณด๋”๋ผ๋„ ์ด๋ฅผ ์‰ฝ๊ฒŒ ์•Œ ์ˆ˜ ์žˆ๋‹ค. ๋น„ํšจ์œจ์„ฑ์„ ๊ทน๋ณตํ•˜๊ณ  ์ˆ˜์ง‘, ์ •๋ฆฌ, ์ฒด๊ณ„ํ™”๋ฅผ ํ†ตํ•ด ๊ตฌ์ถ•ํ•œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋ฅผ ์ˆ˜์ง‘ํ•˜๋Š” ๊ฒƒ์ด ํฌ๋กค๋ง์˜ ๋ชฉ์ ์ž„์„ ๊ณ ๋ คํ•˜๋ฉด ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ์žฌ์‚ฐ์  ๊ฐ€์น˜๊ฐ€ ์กด์žฌํ•œ๋‹ค ๊ฒƒ๊ณผ ๊ฐ™์€ ์˜๋ฏธ๋กœ ๋ณผ ์ˆ˜ ์žˆ๋‹ค.

์šฐ๋ฆฌ ์ €์ž‘๊ถŒ๋ฒ• ์—ญ์‹œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์ œ์ž‘์ž์˜ ๊ถŒ๋ฆฌ๋ฅผ ๋ช…์‹œ์ ์œผ๋กœ ๋ณดํ˜ธํ•˜๊ณ  ์žˆ๋‹ค. ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘, ์ •๋ฆฌ, ์ฒด๊ณ„ํ™”, ๊ด€๋ฆฌ ๋“ฑ์— ํˆฌ์ž…๋œ ์ƒ๋‹นํ•œ ๋น„์šฉ๊ณผ ๋…ธ๋ ฅ ์ž์ฒด๋ฅผ ๊ถŒ๋ฆฌ๋กœ์จ ๋ณดํ˜ธํ•ด ์ฃผ๊ธฐ ์œ„ํ•œ ๊ฒƒ์ด๋‹ค.

๊ทธ๋ ‡๋‹ค๋ฉด ํฌ๋กค๋ง์„ ๊ณ„ํšํ•˜๋Š” ๊ฒฝ์šฐ ๊ทธ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ํ–‰์œ„๊ฐ€ ์ด๋ฏธ ํƒ€์ธ์ด ์ธ์ ยท๋ฌผ์  ํˆฌ์ž๋กœ ์ œ์ž‘ยท๊ด€๋ฆฌํ•˜๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์ „๋ถ€ ํ˜น์€ ์ƒ๋‹นํ•œ ๋ถ€๋ถ„์„ ๋ณต์ œํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹Œ์ง€๋ฅผ ์‹ ์ค‘ํžˆ ๊ฒ€ํ† ํ•ด์•ผ ํ•  ๊ฒƒ์ด๋‹ค.

์ด๋ ‡๋“ฏ ํฌ๋กค๋ง ํ–‰์œ„๋Š” ๊ทธ ์ž์ฒด๊ฐ€ ์–ธ์ œ๋‚˜ ์œ„๋ฒ•ํ•œ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๊ทธ ํ–‰์œ„๊ฐ€ ํ˜•๋ฒ•์ด ๊ธˆ์ง€ํ•˜๋Š” ์œ„๋ฒ•ํ–‰์œ„๋ฅผ ๊ตฌ์„ฑํ•˜๋Š” ๊ฒฝ์šฐ์— ํ•œํ•ด ์œ„๋ฒ•ํ•œ ๊ฒƒ์ด๋‹ค. ๊ตฌ์ฒด์ ์ธ ์‚ฌ์•ˆ์„ ๊ผผ๊ผผํžˆ ๋Œ€์ž…ํ•ด ์œ„๋ฒ•์„ฑ์„ ํŒ๋‹จํ•ด ์ ๋ฒ•ํ•˜๊ณ  ํšจ์œจ์ ์ธ ์—…๋ฌด๋ฅผ ๋ˆ„๋ฆด ์ˆ˜ ์žˆ๋„๋ก ์ค€๋น„ํ•ด์•ผ ํ•  ๊ฒƒ์ด๋‹ค.

* ๋ฒ•๋ฌด๋ฒ•์ธ ๋ฏผํ›„ ์›์ค€์„ฑ ๋ณ€ํ˜ธ์‚ฌ ์ž‘์„ฑ, ์ด๋ฐ์ผ๋ฆฌ(2020. 10. 18.) ๊ธฐ๊ณ .

์ตœ๊ทผ ๊ฒŒ์‹œ๋ฌผ

โ€‹ํƒœ๊ทธ ๋ชจ์Œ

bottom of page