Gestionar los costes de los registros de auditoría de acceso a datos

Bigtable se suele usar en cargas de trabajo grandes y de gran volumen. Por lo tanto, si no gestiona el volumen de registros, Bigtable puede generar un número extremadamente alto de registros DATA_READ y DATA_WRITE, lo que puede provocar que los costes de almacenamiento de registros sean inesperadamente altos. Si usas el registro de auditoría de acceso a datos, debes tomar medidas para gestionar el volumen de registros.

Si sigues las prácticas recomendadas para la autenticación de Bigtable, la mayoría de la actividad de los registros de auditoría de acceso a los datos se genera mediante cuentas de servicio. Una cuenta de servicio es una cuenta que usa una aplicación para autenticarse y hacer llamadas a la API de Google Cloud servicios como Bigtable. Gestionar los registros de cuentas de servicio es el paso más importante para reducir el volumen de registros. También puedes limitar los registros con otros criterios.

Puedes habilitar el registro de auditoría de acceso a datos para Bigtable de las siguientes formas:

Después de habilitar el registro de auditoría, sigue estos pasos para restringir el volumen de registros.

Identificar cuentas de servicio

Primero, identifica las cuentas de servicio de las que no necesitas registros. La lista de cuentas de servicio que no son útiles y no se deben registrar depende de tu aplicación y de tus necesidades empresariales.Para obtener una lista de cuentas de servicio que tengan permisos de la API Cloud Bigtable (API de datos), puedes buscar políticas de IAM de tu organización. También puedes verlos en la página de la consola Permisos de gestión de identidades y accesos Google Cloud , en la pestaña Principales.

Configurar restricciones de registro

A continuación, configura las restricciones de registro. Hay dos formas de gestionar el volumen de registros de Bigtable limitando los registros de la cuenta de servicio. Puedes eximir cuentas de servicio mediante la configuración de auditoría o excluir registros de cuentas de servicio mediante filtros de exclusión de registros. En cada método, puedes usar la API Cloud Logging o la Google Cloud consola.

Eximir cuentas de servicio mediante la configuración de auditoría

Eximir cuentas de servicio mediante la configuración de auditoría es el método recomendado, ya que te permite evitar que se generen determinados registros. Para obtener instrucciones detalladas, consulta lo siguiente:

Excluir cuentas de servicio mediante filtros de exclusión

Los filtros de exclusión te permiten especificar los registros que se excluirán de la ingestión en tus cubos de registros. Con este enfoque, los registros se descartan después de crearse, por lo que siguen suponiendo una carga de procesamiento para los componentes del servicio Bigtable que sirven tus datos. Debido a esta carga, te recomendamos que utilices la configuración de auditoría. Para obtener más información sobre cómo configurar filtros mediante la consolaGoogle Cloud y la API, consulta Crear un receptor.

Estimar costes del registro de auditoría de acceso a datos

Como Bigtable se suele usar en cargas de trabajo grandes y de gran volumen, puede generar un número extremadamente alto de registros. Antes de habilitar el registro de auditoría de acceso a datos en Bigtable, debes estimar y comprender los costes de ingestión y almacenamiento de Registros de auditoría de Cloud que puede generar el registro de auditoría cada mes.

Los costes de los registros de auditoría de acceso a datos están directamente relacionados con el número de solicitudes de Bigtable que elijas registrar cada mes. En la siguiente tabla se muestran estimaciones aproximadas de los costes de Cloud Audit Logs que puedes esperar en función de tu media de solicitudes por segundo y del tiempo que almacenes tus registros, suponiendo que registres todas las solicitudes de datos. Consulta la sección Calcular los costes para obtener una explicación detallada de cómo se calculan estas estimaciones.

Media de solicitudes por segundo Tiempo de conservación de registros Coste mensual aproximado
1000 30 1197 USD
1000 90 1246 USD
10.000 30 12.195 USD
10.000 90 12.684 USD
100.000 30 122.177 USD
100.000 90 124.621 USD

Calcular los costes

Empieza con las siguientes suposiciones:

  • El número de segundos de un mes medio es de aproximadamente 2.628.000.
  • El tamaño medio de las auditorías es de aproximadamente 1 KB.
  • No se te cobra por los primeros 50 GiB de registros de auditoría que se ingieren al mes.Una vez que superes esa cantidad, se te cobrarán 0, 50 USD por GiB.
  • El almacenamiento es gratuito durante 30 días.Después, se te cobrará 0,01 USD por GiB de almacenamiento.

El método descrito en esta página proporciona una estimación general basada en todo el tráfico. En producción, te recomendamos que restrinjas el registro de cuentas de servicio.

Calcular el volumen de registros mensual

Primero, calcula la cantidad media de registros que generará tu tráfico en un mes medio.

  1. Recoge el número medio de solicitudes por segundo que tu aplicación envía a Bigtable a lo largo de un mes.
    • Si usa métricas del lado del cliente, puede usarlas para determinar las consultas por segundo (QPS) medias del último mes.
    • Si prefieres usar la página de estadísticas del sistema de tu instancia en la consolaGoogle Cloud , úsala para determinar los valores medios de las solicitudes de lectura y escritura por segundo del último mes y, a continuación, suma esos dos valores.
  2. Multiplica las solicitudes por segundo por 2.628.000 para obtener el promedio de solicitudes al mes.
  3. Divide ese número entre 10e6 (1.000.000). El resultado es el volumen de registros mensual estimado en GB que puedes generar cada mes.
  4. Multiplica el volumen de registros mensual en GB por 0,93 para obtener el volumen de registros mensual en GiB aproximado.

Calcular los costes de ingesta

  1. Resta 50 GiB al volumen de registros mensual en GiB que has calculado. No se cobra nada por los primeros 50 GiB.
  2. Multiplica el resto por 0,50  USD para obtener los costes de ingesta mensuales estimados.

Calcular los costes de almacenamiento

  1. Si tienes previsto que tus registros caduquen al cabo de 30 días, el coste de almacenamiento será de 0 USD.
  2. Si almacenas tus registros durante más de 30 días, puedes estimar los costes de almacenamiento multiplicando el volumen de registros mensual por 0,01 USD. Estos costes se empiezan a aplicar después del primer mes.

Ejemplo detallado

5000 solicitudes por segundo y registros conservados durante 90 días

En este ejemplo, supongamos que tu número medio de solicitudes por segundo es de 5000 y que tienes previsto conservar tus registros durante 90 días. Siguiendo los pasos que se indican en esta página, puedes calcular las siguientes estimaciones:

  • Multiplica 5000 por 2.628.000 para obtener 13.140.000.000 solicitudes al mes.
  • Divide 13.140.000.000 entre 10e6 para obtener un volumen de registro mensual de aproximadamente 13.140 GB.
  • Convierte ese número a GiB multiplicándolo por 0,93 para obtener 12 .220.
  • Resta 50 GiB de tu volumen de registros mensual para obtener 12.170 GiB.
  • Multiplica este valor por 0,50 USD para obtener los costes de ingestión, que ascienden a 6085 USD.
  • Durante el primer mes en el que existan tus registros, el coste de almacenamiento será de 0 USD.
  • El segundo mes, el coste de almacenamiento de registros es de 12.170 multiplicado por 0,01 USD, es decir, unos 122 USD.
  • Cada mes después del segundo, el coste de almacenamiento mensual será el doble, es decir, 244 USD.
  • Después del segundo mes, los costes estimados del registro de auditoría de acceso a datos serían de unos 6329 USD al mes.

En forma de ecuación, sería así: (((((5000 rps * 2.628.000 seg)/1.000.000) * 0,93) - 50 GiB) * 0,50 USD) + 122 USD = 6207 USD.

En este ejemplo, los costes mensuales de registro de acceso a datos son de unos 6329 USD al mes.

Siguientes pasos