NDB는 캐시를 자동으로 관리합니다. 캐싱 수준에는 컨텍스트 내 캐시와 App Engine의 표준 캐싱 서비스인 memcache에 대한 게이트웨이 등 두 가지가 있습니다. 두 캐시 모두 기본적으로 모든 항목 유형에 대해 사용 설정화되지만 좀 더 까다로운 요구에 맞게 구성될 수 있습니다. 또한 NDB는 작업을 그룹화하여 서버 왕복 시간을 최소화하는 자동 일괄 처리라고 하는 기능을 구현합니다.
소개
캐싱은 대부분의 애플리케이션 유형에 유용합니다. NDB는 쓰거나 읽는 데이터를 자동으로 캐시합니다(애플리케이션이 캐시하지 않도록 구성되지 않는 한). 캐시에서 읽기가 데이터 저장소에서 읽기 보다 빠릅니다.
컨텍스트 옵션 인수를 전달하여 많은 NDB 함수의 캐싱 동작을 변경할 수 있습니다.
예를 들어 key.get(use_cache=False, use_memcache=False)를 호출하여 캐싱을 우회할 수 있습니다. 또한 아래 설명과 같이 NDB 컨텍스트에서 기본 캐싱 정책을 변경할 수 있습니다.
주의: 관리 콘솔의 Datastore 뷰어를 사용하여 Datastore 콘텐츠를 수정하면 캐시된 값이 업데이트되지 않습니다. 따라서 캐시가 일관되지 않을 수 있습니다. 컨텍스트 내 캐시의 경우에는 일반적으로 이로 인한 문제가 없습니다. Memcache의 경우, 관리 콘솔을 사용하여 캐시를 플러시하는 것이 좋습니다.
컨텍스트 객체
캐시 관리는 Context라는 클래스를 사용하며 각 스레드와 각 트랜잭션은 새로운 컨텍스트에서 실행됩니다. HTTP 요청이 들어올 때마다 새 스레드가 시작되므로, 각 요청은 새 컨텍스트를 사용하여 실행됩니다. 현재 컨텍스트에 액세스하려면 ndb.get_context() 함수를 사용합니다.
주의: 여러 스레드 또는 요청에서 Context 객체를 공유하는 것은 의미가 없습니다.
컨텍스트를 전역 변수로 저장하지 마세요.
로컬 또는 스레드 로컬 변수에 저장하는 것이 좋습니다.
컨텍스트 객체에는 캐시 정책을 설정하거나 그렇지 않으면 캐시를 조작하는 메서드가 있습니다.
컨텍스트 내 캐시
컨텍스트 내 캐시는 단일 스레드 기간 동안에만 지속됩니다. 즉, 들어오는 각 HTTP 요청은 새로운 컨텍스트 내 캐시를 제공하고 해당 요청을 처리하는 코드에만 '표시'됩니다. 요청을 처리하는 동안 애플리케이션이 추가 스레드를 생성하면 해당 스레드에도 새로운 별도의 컨텍스트 내 캐시를 갖게 됩니다.
컨텍스트 내 캐시는 빠르며 이 캐시는 메모리에 상주합니다. NDB 함수가 Datastore에 쓰는 경우, 컨텍스트 내 캐시에도 쓰기가 수행됩니다. NDB 함수가 항목을 읽으면 먼저 컨텍스트 내 캐시를 검사합니다. 해당 항목이 발견되면 Datastore 상호작용이 발생하지 않습니다.
NDB 함수가 Datastore를 쿼리하면 Datastore에서 결과 목록이 검색됩니다. 그러나 개별 결과가 컨텍스트 내 캐시에 있으면 Datastore 쿼리에서 검색한 값 대신 개별 결과가 사용됩니다. 캐시 정책이 이를 지원하면 쿼리 결과는 컨텍스트 내 캐시에 다시 쓰여집니다(그러나 Memcache에는 절대 쓰이지 않음).
백그라운드 작업에서 쿼리가 장기간 실행되면 컨텍스트 내 캐시는 많은 양의 메모리를 사용할 수 있습니다. 그 이유는 캐시가 현재 컨텍스트에서 검색되거나 여기에 저장되는 모든 항목의 복사본을 유지하기 때문입니다. 가장 많은 메모리를 사용하는 항목을 제외시키는 정책을 설정하거나 캐시 사용을 중지하여 장시간 실행되는 작업에서 메모리 예외를 방지할 수 있습니다.
Memcache
Memcache는 App Engine의 표준 캐싱 서비스로, Datastore보다 훨씬 빠르지만 컨텍스트 내 캐시보다는 느립니다(밀리초와 마이크로초의 차이).
기본적으로, 비 트랜잭션 컨텍스트는 모든 항목을 Memcache에 캐시합니다. 모든 애플리케이션의 컨텍스트는 동일한 Memcache 서버를 사용하며 일관된 캐시 값 집합을 확인합니다.
Memcache는 트랜잭션을 지원하지 않습니다. 따라서 Datastore와 Memcache 모두에 적용하려 했던 업데이트는 둘 중 하나에만 적용될 수 있습니다. 이러한 경우에 일관성을 유지하기 위해(반대 급부로 성능 저하가 수반될 수 있음) 업데이트된 항목이 Memcache에서 삭제된 후 Datastore에 기록됩니다. 이후 읽기 작업은 읽기 부작용으로 Memcache에 없는 항목을 찾고 Datastore에서 검색한 후 Memcache에서 업데이트합니다. 또한, 트랜잭션 내에서의 NDB 읽기는 Memcache를 무시합니다.
항목이 트랜잭션 내에서 작성되면 Memcache는 사용되지 않습니다. 트랜잭션이 커밋되면 컨텍스트는 Memcache에서 이러한 모든 항목 삭제를 시도합니다. 그러나 일부 오류로 인해 이러한 삭제가 수행되지 않을 수 있습니다.
정책 함수
자동 캐싱은 대부분의 애플리케이션에서 편리하지만 애플리케이션에 특별한 부분이 있어 일부 또는 모든 항목에 대해 자동 캐싱을 사용하지 않아야 할 수 있습니다. 정책 함수를 설정하여 캐시 동작을 제어할 수 있습니다. 프로세스 내 캐시에 대한 정책 함수가 있으며 다음을 통해 설정합니다.
그리고 Memcache에 대한 또 다른 정책 함수가 있으며, 다음을 통해 설정됩니다.
각 정책 함수는 키를 수락하고 부울 결과를 반환합니다.
False가 반환되면 이 키로 식별된 항목은 해당 캐시에 저장되지 않습니다.
예를 들어 다음과 같이 작성하여 모든 Account 항목에 대한 프로세스 내 캐시를 무시할 수 있습니다.
(그러나 동일한 작업을 보다 간편하게 수행하기 위해 읽기를 유지합니다.)
편의상 항상 같은 값을 반환하는 함수 대신 True 또는 False를 전달할 수 있습니다.
기본 정책은 모든 항목을 캐시합니다.
Datastore 자체에 기록되는 항목을 관리하는 Datastore 정책 함수도 있습니다.
컨텍스트 내 캐시와 Memcache 정책 함수처럼 작동합니다. Datastore 정책 함수가 특정 키에 대해 False를 반환하면 해당 항목이 Datastore에 기록되지 않습니다.
(정책 함수가 허용되면 프로세스 내 캐시 또는 Memcache에 기록될 수 있습니다.)
캐시할 항목 유사 데이터가 있지만 Datastore에 저장할 필요가 없는 경우에 이 방식이 유용할 수 있습니다.
캐시 정책과 마찬가지로 항상 동일한 값을 반환하는 함수 대신 True 또는 False를 전달할 수 있습니다.
메모리가 부족하면 Memcache는 자동으로 항목을 만료시킵니다. Memcache 시간 제한 정책 함수를 설정하여 캐시에서 항목의 최대 수명을 결정할 수 있습니다.
이 함수는 키 인수로 호출되며 최대 수명을 지정하는(초 단위) 정수를 반환합니다. 0 또는 None은 무기한을 의미합니다(Memcache 서버의 메모리가 충분한 경우).
편의상 항상 동일한 값을 반환하는 함수 대신 간단히 정수 상수를 전달할 수 있습니다.
시간 제한에 대한 자세한 내용은 Memcache 문서를 참조하세요.
완전히 새로운 컨텍스트는 비어 있는 프로세스 내 캐시로 시작합니다.
정책 함수는 매우 유연하지만 실제로는 대부분의 정책은 간단합니다. 예를 들면 다음과 같습니다.
- 특정 모델 클래스에 속한 항목은 캐시하지 않습니다.
- 이 모델 클래스의 항목에 대한 Memcache 시간 제한을 30초로 설정합니다.
- 이 모델 클래스의 항목을 Datastore에 기록할 필요가 없습니다.
사소한 정책 함수를 작성하고 지속적으로 업데이트하는(심지어 컨텍스트 옵션을 사용하여 각 작업 정책을 재정의) 수고를 덜기 위해 기본 정책 함수는 전달된 키에서 모델 클래스를 가져온 후 모델 클래스에서 특정 클래스 변수를 찾습니다.
| 클래스 변수 | 유형 | 설명 |
|---|---|---|
_use_cache | bool | 항목을 프로세스 내 캐시에 저장할지 여부를 지정합니다. 기본 프로세스 내 캐시 정책을 재정의합니다. |
_use_memcache | bool | 항목을 Memcache에 저장할지 여부를 지정합니다. 기본 Memcache 정책을 재정의합니다. |
_use_datastore | bool | 항목을 Datastore에 저장할지 여부를 지정합니다. 기본 Datastore 정책을 재정의합니다. |
_memcache_timeout | int | Memcache에서의 항목 최대 수명으로, 기본 Memcache 시간 제한 정책을 재정의합니다. |
참고: 이는 각 정책에 대한 기본 정책 함수 기능입니다.
고유한 정책 함수를 지정하지만 다시 기본 정책으로 돌아가려는 경우, 기본 정책 함수를 Context 클래스의 정적 메서드로 명시적으로 호출합니다.
default_cache_policy(key)default_memcache_policy(key)default_datastore_policy(key)default_memcache_timeout_policy(key)