배포2 서버에 크롤러가 들어오는 것을 원치않을때 (robots.txt) 안녕하세요. 졸린개발자입니다. 오늘은 서버에 크롤러가 들어오기를 원치 않지만, 크롤러가 들어올 경우, 크롤러가 들어오지 않게 하는 방법에 대해 알아봅시다. 왜 크롤러가 들어오는것을 원치 않을까요? 저는 현재 팀 프로젝트를 하고 있습니다. 프런트엔드 서버는 public하게 노출이 되어있기 때문에 상관없지만, 백엔드는 경우가 다릅니다. 백엔드서버에는 크롤러가 들어와 쓸데없는 트래픽을 잡아먹게 됩니다. 실제로 크롤러가 들어올까요? 그래서 실제 운용중인 프로젝트의 access log를 보면서 크롤러가 실제 들어오는지 살펴봅시다. 현재 프로젝트에 nginx를 통해 tomcat으로 들어오고 있고, nginx는 /var/log/nginx/access.log로 제공하고 있습니다 Access 로그분석 그림1을 보면, 해.. 2022. 7. 7. Nginx설정파일을 이해해봅시다 안녕하세요. 졸린개발자입니다. nginx를 설치하고 나면, 웹 서버를 그대로 사용할 수도 있지만, 더 많은 기능을 사용하기 위해서는 nginx의 설정을 바꿔줘야합니다. 설정파일의 위치는 ubuntu 기준 /etc/nginx/nginx.conf입니다. 기본적으로 생성되는 이 파일의 내용을 이해해봅시다. user www-data; Nginx는 Master 프로세스와 Worker프로세스로 나누어집니다. 자세한 것은 구글링하면 더 많은 자료가 있습니다. 이 설정은 worker프로세스가 실행될때 이 user로 실행됨을 나타냅니다. 왜 root계정이나 사용자 계정으로 worker가 돌아가지않고 www-data와 같이 새로운 계정으로 권한이 주어지냐면, 권한을 최소로 주어, 악의적인 사용자들이 서버를 헤집고 다니는 .. 2022. 4. 21. 이전 1 다음
