Merge pull request 'correccion-reportes' (#9) from correccion-reportes into main
Reviewed-on: #9
This commit is contained in:
@@ -1,4 +1,5 @@
|
|||||||
from celery import shared_task
|
from celery import shared_task
|
||||||
|
from api.organization.models import Organizacion
|
||||||
from django.core.files.base import ContentFile
|
from django.core.files.base import ContentFile
|
||||||
from django.utils import timezone
|
from django.utils import timezone
|
||||||
from api.reports.models import ReportDocument
|
from api.reports.models import ReportDocument
|
||||||
@@ -112,12 +113,39 @@ def generate_report_control_pedimento(report_id):
|
|||||||
|
|
||||||
|
|
||||||
pedimento_ids = list(pedimentos_qs.values_list('id', flat=True))
|
pedimento_ids = list(pedimentos_qs.values_list('id', flat=True))
|
||||||
|
rfcs_raw = list(pedimentos_qs.values_list('agente_aduanal', flat=True))
|
||||||
|
|
||||||
# inicializar totales
|
# inicializar totales
|
||||||
pedimentos_completos = 0
|
pedimentos_completos = 0
|
||||||
total_documentos = 0
|
total_documentos = 0
|
||||||
documentos_sin_descargar = 0
|
documentos_sin_descargar = 0
|
||||||
|
|
||||||
|
nombre_organizacion = ''
|
||||||
|
if filters.get('organizacion_id'):
|
||||||
|
try:
|
||||||
|
# Asumo que tienes un modelo Organizacion - ajusta según tu modelo real
|
||||||
|
organizacion = Organizacion.objects.get(id=filters['organizacion_id'])
|
||||||
|
nombre_organizacion = organizacion.nombre # ajusta el campo según tu modelo
|
||||||
|
except Organizacion.DoesNotExist:
|
||||||
|
nombre_organizacion = f"ID: {filters['organizacion_id']}"
|
||||||
|
except Exception as e:
|
||||||
|
nombre_organizacion = f"Error: {str(e)}"
|
||||||
|
|
||||||
|
# lista de rfc
|
||||||
|
rfc_list = ', '.join(sorted(set([rfc for rfc in rfcs_raw if rfc])))
|
||||||
|
|
||||||
|
fecha_inicio = ''
|
||||||
|
fecha_fin = ''
|
||||||
|
|
||||||
|
if pedimentos_qs.exists():
|
||||||
|
primer_pedimento = pedimentos_qs.order_by('fecha_pago').first()
|
||||||
|
if primer_pedimento and primer_pedimento.fecha_pago:
|
||||||
|
fecha_inicio = primer_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||||
|
|
||||||
|
ultimo_pedimento = pedimentos_qs.order_by('-fecha_pago').first()
|
||||||
|
if ultimo_pedimento and ultimo_pedimento.fecha_pago:
|
||||||
|
fecha_fin = ultimo_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||||
|
|
||||||
# Para cada pedimento, verificar si está completo
|
# Para cada pedimento, verificar si está completo
|
||||||
for pedimento in pedimentos_qs:
|
for pedimento in pedimentos_qs:
|
||||||
# Contar documentos de este pedimento
|
# Contar documentos de este pedimento
|
||||||
@@ -216,12 +244,15 @@ def generate_report_control_pedimento(report_id):
|
|||||||
|
|
||||||
# SECCIÓN DE TOTALES
|
# SECCIÓN DE TOTALES
|
||||||
writer.writerow(['RESUMEN DEL REPORTE - CONTROL DE PEDIMENTOS'])
|
writer.writerow(['RESUMEN DEL REPORTE - CONTROL DE PEDIMENTOS'])
|
||||||
|
writer.writerow(['OOGANIZACION:', nombre_organizacion])
|
||||||
writer.writerow([])
|
writer.writerow([])
|
||||||
writer.writerow(['TOTAL DE EXPEDIENTES:', pedimentos_total])
|
writer.writerow(['TOTAL DE EXPEDIENTES:', pedimentos_total])
|
||||||
writer.writerow(['TOTAL DE EXPEDIENTES COMPLETOS:', pedimentos_completos])
|
writer.writerow(['TOTAL DE EXPEDIENTES COMPLETOS:', pedimentos_completos])
|
||||||
writer.writerow(['TOTAL DE DOCUMENTOS:', total_documentos])
|
writer.writerow(['TOTAL DE DOCUMENTOS:', total_documentos])
|
||||||
writer.writerow(['DOCUMENTOS SIN DESCARGAR:', documentos_sin_descargar])
|
writer.writerow(['DOCUMENTOS SIN DESCARGAR:', documentos_sin_descargar])
|
||||||
writer.writerow(['PORCENTAJE DE DOCUMENTOS FALTANTES (%):', f"{porcentaje_faltantes:.2f}%"])
|
writer.writerow(['PORCENTAJE DE DOCUMENTOS FALTANTES (%):', f"{porcentaje_faltantes:.2f}%"])
|
||||||
|
writer.writerow(['DESDE: ', fecha_inicio, ' HASTA: ', fecha_fin])
|
||||||
|
writer.writerow(['LISTA RFC:', rfc_list])
|
||||||
writer.writerow([])
|
writer.writerow([])
|
||||||
writer.writerow([])
|
writer.writerow([])
|
||||||
|
|
||||||
|
|||||||
@@ -114,7 +114,7 @@ class ExportDataStageView(APIView):
|
|||||||
|
|
||||||
# Constantes para partición
|
# Constantes para partición
|
||||||
# MAX_RECORDS_PER_FILE = 100 # Límite seguro por archivo
|
# MAX_RECORDS_PER_FILE = 100 # Límite seguro por archivo
|
||||||
MAX_RECORDS_PER_FILE = 50000 # Límite seguro por archivo
|
MAX_RECORDS_PER_FILE = 120000 # Límite seguro por archivo
|
||||||
|
|
||||||
def safe_excel_value(self, value):
|
def safe_excel_value(self, value):
|
||||||
"""
|
"""
|
||||||
@@ -191,16 +191,15 @@ class ExportDataStageView(APIView):
|
|||||||
return Response({'error': 'models are required for multiple export'}, status=status.HTTP_400_BAD_REQUEST)
|
return Response({'error': 'models are required for multiple export'}, status=status.HTTP_400_BAD_REQUEST)
|
||||||
|
|
||||||
related_keys = self.get_related_keys_from_filters(global_filters, models_data, request.user)
|
related_keys = self.get_related_keys_from_filters(global_filters, models_data, request.user)
|
||||||
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
|
||||||
|
|
||||||
if total_estimated_records > self.MAX_RECORDS_PER_FILE:
|
if export_type == 'excel':
|
||||||
if export_type == 'excel':
|
# Siempre usar el método particionado inteligente para Excel
|
||||||
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
||||||
else:
|
|
||||||
return self.export_datastage_multiple_partitioned_csv(request, models_data, global_filters, related_keys)
|
|
||||||
else:
|
else:
|
||||||
if export_type == 'excel':
|
# Para CSV, podemos mantener la lógica actual o mejorarla
|
||||||
return self.export_datastage_multiple_to_excel(request, models_data, global_filters, related_keys)
|
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||||
|
if total_estimated_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
return self.export_datastage_multiple_partitioned_csv(request, models_data, global_filters, related_keys)
|
||||||
else:
|
else:
|
||||||
return self.export_datastage_multiple_to_csv(request, models_data, global_filters, related_keys)
|
return self.export_datastage_multiple_to_csv(request, models_data, global_filters, related_keys)
|
||||||
|
|
||||||
@@ -281,11 +280,15 @@ class ExportDataStageView(APIView):
|
|||||||
return response
|
return response
|
||||||
|
|
||||||
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
||||||
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados"""
|
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
||||||
try:
|
try:
|
||||||
zip_buffer = io.BytesIO()
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
file_counter = 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_records_count = 0
|
||||||
|
MAX_SHEETS_PER_FILE = 10 # Límite de hojas por archivo Excel
|
||||||
|
|
||||||
for model_data in models_data:
|
for model_data in models_data:
|
||||||
model_name = model_data.get('model')
|
model_name = model_data.get('model')
|
||||||
@@ -298,17 +301,17 @@ class ExportDataStageView(APIView):
|
|||||||
model = apps.get_model('datastage', model_name)
|
model = apps.get_model('datastage', model_name)
|
||||||
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
# Si hay filtros, aplicarlos; si no, obtener todos los registros
|
|
||||||
if filters:
|
if filters:
|
||||||
queryset = model.objects.filter(**filters).values(*fields)
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
else:
|
else:
|
||||||
queryset = model.objects.none() # No obtener nada si no hay filtros
|
queryset = model.objects.none()
|
||||||
|
|
||||||
total_records = queryset.count()
|
total_records = queryset.count()
|
||||||
|
|
||||||
if total_records == 0:
|
if total_records == 0:
|
||||||
continue
|
continue
|
||||||
|
|
||||||
|
# Si el modelo necesita particionarse (más de MAX_RECORDS_PER_FILE)
|
||||||
if total_records > self.MAX_RECORDS_PER_FILE:
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
from django.core.paginator import Paginator
|
from django.core.paginator import Paginator
|
||||||
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
@@ -316,29 +319,62 @@ class ExportDataStageView(APIView):
|
|||||||
for page_num in paginator.page_range:
|
for page_num in paginator.page_range:
|
||||||
page = paginator.page(page_num)
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
wb = openpyxl.Workbook()
|
# Verificar si necesitamos crear nuevo archivo
|
||||||
ws = wb.active
|
# 1. Si no hay archivo actual
|
||||||
ws.title = f"Parte_{page_num}"[:31]
|
# 2. Si ya tenemos muchas hojas en este archivo
|
||||||
|
# 3. Si este archivo ya está "lleno" (muchos registros)
|
||||||
|
if (current_wb is None or
|
||||||
|
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||||
|
current_file_records_count > self.MAX_RECORDS_PER_FILE * 3): # ~150K registros
|
||||||
|
|
||||||
|
if current_wb is not None:
|
||||||
|
# Guardar archivo actual en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
|
||||||
|
# Crear nuevo workbook
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active) # Remover hoja por defecto
|
||||||
|
current_file_records_count = 0
|
||||||
|
|
||||||
|
# Crear hoja para esta parte del modelo
|
||||||
|
sheet_name = f"{model_name[:25]}_p{page_num}"
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name[:31])
|
||||||
ws.append(fields)
|
ws.append(fields)
|
||||||
|
|
||||||
|
# Escribir datos
|
||||||
for row in page.object_list:
|
for row in page.object_list:
|
||||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
ws.append(row_values)
|
ws.append(row_values)
|
||||||
|
|
||||||
# Guardar parte en ZIP
|
current_file_records_count += len(page.object_list)
|
||||||
part_buffer = io.BytesIO()
|
|
||||||
wb.save(part_buffer)
|
|
||||||
part_buffer.seek(0)
|
|
||||||
|
|
||||||
filename = f"{model_name}_part{page_num}.xlsx"
|
|
||||||
zip_file.writestr(filename, part_buffer.getvalue())
|
|
||||||
|
|
||||||
else:
|
else:
|
||||||
wb = openpyxl.Workbook()
|
# Modelo pequeño (≤ MAX_RECORDS_PER_FILE)
|
||||||
ws = wb.active
|
# Verificar si necesitamos nuevo archivo
|
||||||
ws.title = "Datos"[:31]
|
if (current_wb is None or
|
||||||
|
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||||
|
current_file_records_count + total_records > self.MAX_RECORDS_PER_FILE * 3):
|
||||||
|
|
||||||
|
if current_wb is not None:
|
||||||
|
# Guardar archivo actual
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
|
||||||
|
# Crear nuevo workbook
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active)
|
||||||
|
current_file_records_count = 0
|
||||||
|
|
||||||
|
# Crear hoja para este modelo
|
||||||
|
sheet_name = model_name[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
ws.append(fields)
|
ws.append(fields)
|
||||||
|
|
||||||
# Escribir datos
|
# Escribir datos
|
||||||
@@ -346,25 +382,22 @@ class ExportDataStageView(APIView):
|
|||||||
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
ws.append(row_values)
|
ws.append(row_values)
|
||||||
|
|
||||||
part_buffer = io.BytesIO()
|
current_file_records_count += total_records
|
||||||
wb.save(part_buffer)
|
|
||||||
part_buffer.seek(0)
|
|
||||||
|
|
||||||
filename = f"{model_name}.xlsx"
|
except LookupError:
|
||||||
zip_file.writestr(filename, part_buffer.getvalue())
|
continue
|
||||||
|
|
||||||
except LookupError as e:
|
# Guardar el último workbook si existe
|
||||||
continue
|
if current_wb is not None:
|
||||||
except Exception as e:
|
part_buffer = io.BytesIO()
|
||||||
continue
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
zip_buffer.seek(0)
|
zip_buffer.seek(0)
|
||||||
zip_content = zip_buffer.getvalue()
|
|
||||||
|
|
||||||
response = HttpResponse(zip_content, content_type='application/zip')
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
response['Content-Length'] = len(zip_content)
|
|
||||||
|
|
||||||
return response
|
return response
|
||||||
|
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
@@ -578,60 +611,48 @@ class ExportDataStageView(APIView):
|
|||||||
def get_related_keys_from_filters(self, global_filters, models_data, user):
|
def get_related_keys_from_filters(self, global_filters, models_data, user):
|
||||||
"""
|
"""
|
||||||
Obtiene patentes, pedimentos y datastages que cumplen EXACTAMENTE con TODOS los filtros globales
|
Obtiene patentes, pedimentos y datastages que cumplen EXACTAMENTE con TODOS los filtros globales
|
||||||
para usarlos como relación entre modelos
|
VERSIÓN SIMPLIFICADA - Usa la MISMA lógica que apply_global_filters_to_model
|
||||||
"""
|
"""
|
||||||
|
|
||||||
related_keys = {
|
related_keys = {
|
||||||
'patentes': set(),
|
'patentes': set(),
|
||||||
'pedimentos': set(),
|
'pedimentos': set(),
|
||||||
'datastage_ids': set()
|
'datastage_ids': set()
|
||||||
}
|
}
|
||||||
|
|
||||||
# Si no hay filtros globales, retornar vacío (no hay relación)
|
# Si no hay filtros, retornar vacío
|
||||||
if not any(global_filters.values()):
|
if not any(v for v in global_filters.values() if v not in [None, '']):
|
||||||
return {}
|
return {}
|
||||||
|
|
||||||
all_records_with_filters = []
|
all_records_with_filters = []
|
||||||
|
|
||||||
# Buscar en TODOS los modelos que puedan tener los campos de filtro
|
|
||||||
for model_data in models_data:
|
for model_data in models_data:
|
||||||
model_name = model_data.get('model')
|
model_name = model_data.get('model')
|
||||||
|
|
||||||
try:
|
try:
|
||||||
model = apps.get_model('datastage', model_name)
|
model = apps.get_model('datastage', model_name)
|
||||||
model_fields = [f.name for f in model._meta.get_fields()]
|
|
||||||
|
|
||||||
# Construir filtros EXACTOS con TODOS los campos disponibles
|
# ¡USAR LA MISMA FUNCIÓN QUE EN MODO SINGULAR!
|
||||||
filters = {}
|
filters = self.apply_global_filters_to_model(global_filters, model, user)
|
||||||
has_any_filter = False
|
|
||||||
|
|
||||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
if filters:
|
||||||
filters['organizacion'] = global_filters['organizacion']
|
# EJECUTAR CONSULTA - IDÉNTICO A MODO SINGULAR
|
||||||
has_any_filter = True
|
queryset = model.objects.filter(**filters)
|
||||||
|
total = queryset.count()
|
||||||
|
|
||||||
if 'patente' in model_fields and global_filters.get('patente'):
|
# VERIFICACIÓN ESPECIAL PARA RFC
|
||||||
filters['patente'] = global_filters['patente']
|
if 'rfc' in filters:
|
||||||
has_any_filter = True
|
rfc_value = filters['rfc']
|
||||||
|
# Doble verificación: contar registros con ese RFC exacto
|
||||||
|
rfc_exact_count = queryset.filter(rfc=rfc_value).count()
|
||||||
|
|
||||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
if rfc_exact_count != total:
|
||||||
filters['pedimento'] = global_filters['pedimento']
|
try:
|
||||||
has_any_filter = True
|
other_rfcs = queryset.exclude(rfc=rfc_value).values_list('rfc', flat=True).distinct()[:5]
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
# Obtener registros
|
||||||
filters['rfc'] = global_filters['rfc']
|
records = queryset.values('patente', 'pedimento', 'datastage_id')
|
||||||
has_any_filter = True
|
|
||||||
|
|
||||||
if 'fecha_pago_real' in model_fields:
|
|
||||||
if global_filters.get('fecha_pago_desde'):
|
|
||||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
|
||||||
has_any_filter = True
|
|
||||||
|
|
||||||
if global_filters.get('fecha_pago_hasta'):
|
|
||||||
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
|
||||||
has_any_filter = True
|
|
||||||
|
|
||||||
if has_any_filter:
|
|
||||||
records = model.objects.filter(**filters).values('patente', 'pedimento', 'datastage_id')
|
|
||||||
record_count = records.count()
|
|
||||||
all_records_with_filters.extend(list(records))
|
all_records_with_filters.extend(list(records))
|
||||||
|
|
||||||
except LookupError:
|
except LookupError:
|
||||||
@@ -648,29 +669,47 @@ class ExportDataStageView(APIView):
|
|||||||
if record.get('datastage_id'):
|
if record.get('datastage_id'):
|
||||||
related_keys['datastage_ids'].add(record['datastage_id'])
|
related_keys['datastage_ids'].add(record['datastage_id'])
|
||||||
|
|
||||||
related_keys = {k: list(v) for k, v in related_keys.items() if v}
|
return {k: list(v) for k, v in related_keys.items() if v}
|
||||||
|
|
||||||
return related_keys
|
|
||||||
|
|
||||||
def apply_global_filters_to_model(self, global_filters, model, user):
|
def apply_global_filters_to_model(self, global_filters, model, user):
|
||||||
"""
|
"""
|
||||||
Aplica filtros globales específicamente para modelos DataStage (modo simple)
|
Aplica filtros globales - VERSIÓN CORREGIDA CON UUID
|
||||||
"""
|
"""
|
||||||
|
|
||||||
filters = {}
|
filters = {}
|
||||||
model_fields = [f.name for f in model._meta.get_fields()]
|
model_fields = [f.name for f in model._meta.get_fields()]
|
||||||
|
|
||||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
# ORGANIZACIÓN - Manejar como UUID
|
||||||
filters['organizacion'] = global_filters['organizacion']
|
org_value = global_filters.get('organizacion')
|
||||||
|
if org_value and org_value != '' and 'organizacion' in model_fields:
|
||||||
|
field = model._meta.get_field('organizacion')
|
||||||
|
|
||||||
if 'patente' in model_fields and global_filters.get('patente'):
|
if hasattr(field, 'related_model'): # Es ForeignKey
|
||||||
|
# Convertir string a UUID
|
||||||
|
try:
|
||||||
|
import uuid
|
||||||
|
org_uuid = uuid.UUID(org_value)
|
||||||
|
filters['organizacion_id'] = org_uuid
|
||||||
|
except Exception as e:
|
||||||
|
# Fallback: dejar como string (puede no funcionar)
|
||||||
|
filters['organizacion_id'] = org_value
|
||||||
|
else: # Es CharField
|
||||||
|
filters['organizacion'] = org_value
|
||||||
|
|
||||||
|
# RFC - Manejar normalmente
|
||||||
|
rfc_value = global_filters.get('rfc')
|
||||||
|
if rfc_value and rfc_value != '' and 'rfc' in model_fields:
|
||||||
|
filters['rfc'] = rfc_value
|
||||||
|
|
||||||
|
# PATENTE
|
||||||
|
if global_filters.get('patente'):
|
||||||
filters['patente'] = global_filters['patente']
|
filters['patente'] = global_filters['patente']
|
||||||
|
|
||||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
# PEDIMENTO
|
||||||
|
if global_filters.get('pedimento'):
|
||||||
filters['pedimento'] = global_filters['pedimento']
|
filters['pedimento'] = global_filters['pedimento']
|
||||||
|
|
||||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
# FECHAS
|
||||||
filters['rfc'] = global_filters['rfc']
|
|
||||||
|
|
||||||
if 'fecha_pago_real' in model_fields:
|
if 'fecha_pago_real' in model_fields:
|
||||||
if global_filters.get('fecha_pago_desde'):
|
if global_filters.get('fecha_pago_desde'):
|
||||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||||
@@ -681,62 +720,163 @@ class ExportDataStageView(APIView):
|
|||||||
return filters
|
return filters
|
||||||
|
|
||||||
def apply_related_filters(self, global_filters, model, related_keys, user):
|
def apply_related_filters(self, global_filters, model, related_keys, user):
|
||||||
"""
|
|
||||||
Aplica filtros relacionados basados en campos comunes de manera ESTRICTA - VERSIÓN CORREGIDA
|
|
||||||
"""
|
|
||||||
filters = {}
|
filters = {}
|
||||||
model_fields = [f.name for f in model._meta.get_fields()]
|
model_fields = [f.name for f in model._meta.get_fields()]
|
||||||
|
|
||||||
|
# 1. Organización
|
||||||
# 🔥 ESTRATEGIA MEJORADA: Usar claves relacionadas SI HAY, sino aplicar filtros directos SOLO si existen
|
|
||||||
has_related_keys = any(related_keys.values())
|
|
||||||
|
|
||||||
if has_related_keys:
|
|
||||||
# 🔥 MODO RELACIONADO ESTRICTO: Usar SOLO las claves obtenidas
|
|
||||||
|
|
||||||
# Crear condiciones para las claves relacionadas
|
|
||||||
from django.db.models import Q
|
|
||||||
related_conditions = Q()
|
|
||||||
has_related_conditions = False
|
|
||||||
|
|
||||||
if related_keys.get('patentes') and 'patente' in model_fields:
|
|
||||||
filters['patente__in'] = related_keys['patentes']
|
|
||||||
has_related_conditions = True
|
|
||||||
|
|
||||||
if related_keys.get('pedimentos') and 'pedimento' in model_fields:
|
|
||||||
filters['pedimento__in'] = related_keys['pedimentos']
|
|
||||||
has_related_conditions = True
|
|
||||||
|
|
||||||
if related_keys.get('datastage_ids') and 'datastage_id' in model_fields:
|
|
||||||
filters['datastage_id__in'] = related_keys['datastage_ids']
|
|
||||||
has_related_conditions = True
|
|
||||||
|
|
||||||
# Si NO HAY condiciones relacionadas para este modelo (no tiene los campos)
|
|
||||||
if not has_related_conditions:
|
|
||||||
return {} # Retornar filtro vacío hará que no se obtengan registros
|
|
||||||
|
|
||||||
else:
|
|
||||||
# 🔥 MODO DIRECTO: No hay claves relacionadas, aplicar filtros directos SOLO si existen
|
|
||||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
|
||||||
filters['organizacion'] = global_filters['organizacion']
|
|
||||||
if 'patente' in model_fields and global_filters.get('patente'):
|
|
||||||
filters['patente'] = global_filters['patente']
|
|
||||||
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
|
||||||
filters['pedimento'] = global_filters['pedimento']
|
|
||||||
if 'rfc' in model_fields and global_filters.get('rfc'):
|
|
||||||
filters['rfc'] = global_filters['rfc']
|
|
||||||
# 🔥 APLICAR ORGANIZACIÓN SIEMPRE si existe (en ambos modos)
|
|
||||||
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||||
filters['organizacion'] = global_filters['organizacion']
|
filters['organizacion'] = global_filters['organizacion']
|
||||||
# 🔥 APLICAR FILTROS DE FECHA SIEMPRE (si el campo existe)
|
|
||||||
|
# 2. RFC (¡ESTO ES LO QUE FALTA!)
|
||||||
|
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||||
|
filters['rfc'] = global_filters['rfc']
|
||||||
|
|
||||||
|
# 3. Fechas (SIEMPRE se aplican)
|
||||||
if 'fecha_pago_real' in model_fields:
|
if 'fecha_pago_real' in model_fields:
|
||||||
if global_filters.get('fecha_pago_desde'):
|
if global_filters.get('fecha_pago_desde'):
|
||||||
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||||
|
|
||||||
if global_filters.get('fecha_pago_hasta'):
|
if global_filters.get('fecha_pago_hasta'):
|
||||||
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||||
|
|
||||||
|
# 🔥 SEGUNDO: Si hay related_keys, AÑADIRLAS a los filtros existentes
|
||||||
|
if any(related_keys.values()):
|
||||||
|
|
||||||
|
# Añadir patentes si existen
|
||||||
|
if related_keys.get('patentes') and 'patente' in model_fields:
|
||||||
|
filters['patente__in'] = related_keys['patentes']
|
||||||
|
|
||||||
|
# Añadir pedimentos si existen
|
||||||
|
if related_keys.get('pedimentos') and 'pedimento' in model_fields:
|
||||||
|
filters['pedimento__in'] = related_keys['pedimentos']
|
||||||
|
|
||||||
|
# Añadir datastage_ids si existen
|
||||||
|
if related_keys.get('datastage_ids') and 'datastage_id' in model_fields:
|
||||||
|
filters['datastage_id__in'] = related_keys['datastage_ids']
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Solo patente y pedimento específicos (no listas)
|
||||||
|
if 'patente' in model_fields and global_filters.get('patente'):
|
||||||
|
filters['patente'] = global_filters['patente']
|
||||||
|
|
||||||
|
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||||
|
filters['pedimento'] = global_filters['pedimento']
|
||||||
|
|
||||||
return filters
|
return filters
|
||||||
|
|
||||||
|
def estimate_excel_file_size(self, num_records, num_columns):
|
||||||
|
"""Estima tamaño aproximado del archivo Excel"""
|
||||||
|
# Estimación aproximada: 100 bytes por celda
|
||||||
|
return num_records * num_columns * 100
|
||||||
|
|
||||||
|
def export_with_size_control(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Versión con control de tamaño de archivo"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
file_counter = 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_size_estimate = 0
|
||||||
|
MAX_FILE_SIZE_ESTIMATE = 50 * 1024 * 1024 # 50MB estimado
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Calcular tamaño estimado para este modelo
|
||||||
|
model_size_estimate = self.estimate_excel_file_size(total_records, len(fields))
|
||||||
|
|
||||||
|
# Si el modelo es muy grande o no cabe en el archivo actual
|
||||||
|
needs_new_file = (
|
||||||
|
current_wb is None or
|
||||||
|
current_file_size_estimate + model_size_estimate > MAX_FILE_SIZE_ESTIMATE or
|
||||||
|
(total_records > self.MAX_RECORDS_PER_FILE and current_file_size_estimate > 0)
|
||||||
|
)
|
||||||
|
|
||||||
|
if needs_new_file and current_wb is not None:
|
||||||
|
# Guardar archivo actual
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_size_estimate = 0
|
||||||
|
|
||||||
|
if current_wb is None:
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active)
|
||||||
|
|
||||||
|
# Manejar modelos que exceden el límite por hoja
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear hoja para esta parte
|
||||||
|
sheet_name = f"{model_name[:20]}_p{page_num}"[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
# Actualizar tamaño estimado
|
||||||
|
page_size = self.estimate_excel_file_size(len(page.object_list), len(fields))
|
||||||
|
current_file_size_estimate += page_size
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Modelo pequeño, una hoja
|
||||||
|
sheet_name = model_name[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
for row in queryset:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
current_file_size_estimate += model_size_estimate
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Guardar último archivo si existe
|
||||||
|
if current_wb is not None:
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
class ExportModelView(APIView):
|
class ExportModelView(APIView):
|
||||||
my_tags = ['Reportes']
|
my_tags = ['Reportes']
|
||||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
|
|||||||
Reference in New Issue
Block a user