Compare commits
20 Commits
Fix--Audit
...
celery-ped
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f8379807f8 | ||
|
|
3272cd1d17 | ||
| 55a4036543 | |||
| 39c09fa445 | |||
| dfcbebb98a | |||
| b3c5c5fa87 | |||
|
|
4b2f3192d0 | ||
| 22f1bc5390 | |||
| fdbc7ba4db | |||
| fb843954b6 | |||
|
|
a112d746f6 | ||
|
|
dad4fa2191 | ||
| 421aa0c0da | |||
| 48de6f8658 | |||
| 8349b85714 | |||
| 93f7445725 | |||
| a75e9d1ebc | |||
| 5042781fdd | |||
|
|
1a2909a5ac | ||
|
|
a765026075 |
@@ -1,5 +1,6 @@
|
|||||||
import uuid
|
import uuid
|
||||||
from django.db import models
|
from django.db import models
|
||||||
|
from django.contrib.auth import get_user_model
|
||||||
|
|
||||||
# Create your models here.
|
# Create your models here.
|
||||||
|
|
||||||
@@ -211,3 +212,44 @@ class Importador(models.Model):
|
|||||||
|
|
||||||
def __str__(self):
|
def __str__(self):
|
||||||
return f"{self.rfc} - {self.nombre}"
|
return f"{self.rfc} - {self.nombre}"
|
||||||
|
|
||||||
|
# bulk de datos
|
||||||
|
class BulkUploadTask(models.Model):
|
||||||
|
STATUS_CHOICES = [
|
||||||
|
('pending', 'Pendiente'),
|
||||||
|
('processing', 'Procesando'),
|
||||||
|
('completed', 'Completado'),
|
||||||
|
('failed', 'Fallido'),
|
||||||
|
('partial', 'Parcialmente completado'),
|
||||||
|
]
|
||||||
|
|
||||||
|
user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='bulk_upload_tasks')
|
||||||
|
organizacion = models.ForeignKey('organization.Organizacion', on_delete=models.CASCADE)
|
||||||
|
contribuyente = models.CharField(max_length=255, blank=True, null=True)
|
||||||
|
status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
|
||||||
|
task_type = models.CharField(max_length=50, default='bulk_create')
|
||||||
|
total_files = models.IntegerField(default=0)
|
||||||
|
processed_files = models.IntegerField(default=0)
|
||||||
|
created_pedimentos = models.IntegerField(default=0)
|
||||||
|
created_documents = models.IntegerField(default=0)
|
||||||
|
result = models.JSONField(default=dict, blank=True)
|
||||||
|
failed_files = models.JSONField(default=list, blank=True)
|
||||||
|
error_message = models.TextField(blank=True, null=True)
|
||||||
|
created_at = models.DateTimeField(auto_now_add=True)
|
||||||
|
started_at = models.DateTimeField(null=True, blank=True)
|
||||||
|
finished_at = models.DateTimeField(null=True, blank=True)
|
||||||
|
fecha_pago = models.DateField(null=True, blank=True)
|
||||||
|
clave_pedimento = models.CharField(max_length=50, blank=True, null=True)
|
||||||
|
tipo_operacion_id = models.IntegerField(null=True, blank=True)
|
||||||
|
curp_apoderado = models.CharField(max_length=50, blank=True, null=True)
|
||||||
|
partidas = models.IntegerField(default=0)
|
||||||
|
celery_task_id = models.CharField(max_length=255, blank=True, null=True)
|
||||||
|
|
||||||
|
def __str__(self):
|
||||||
|
return f"BulkUpload {self.id} - {self.status}"
|
||||||
|
|
||||||
|
class Meta:
|
||||||
|
verbose_name = "Tarea de Carga Masiva"
|
||||||
|
verbose_name_plural = "Tareas de Carga Masiva"
|
||||||
|
db_table = 'bulk_upload_task'
|
||||||
|
ordering = ['-created_at']
|
||||||
@@ -1,2 +1,3 @@
|
|||||||
from .microservice import *
|
from .microservice import *
|
||||||
from .internal_services import *
|
from .internal_services import *
|
||||||
|
from .bulk_pedimentos import *
|
||||||
421
api/customs/tasks/bulk_pedimentos.py
Normal file
421
api/customs/tasks/bulk_pedimentos.py
Normal file
@@ -0,0 +1,421 @@
|
|||||||
|
# tasks/bulk_pedimentos.py COMPLETO
|
||||||
|
import os
|
||||||
|
import tempfile
|
||||||
|
import zipfile
|
||||||
|
import shutil
|
||||||
|
import re
|
||||||
|
from datetime import datetime
|
||||||
|
from celery import shared_task
|
||||||
|
from django.core.files.base import ContentFile
|
||||||
|
from django.utils import timezone
|
||||||
|
from django.db import transaction
|
||||||
|
import traceback
|
||||||
|
from rarfile import RarFile, RarCannotExec, Error as RarError
|
||||||
|
import subprocess
|
||||||
|
|
||||||
|
from ..models import BulkUploadTask, Pedimento, Importador, TipoOperacion
|
||||||
|
from ...record.models import DocumentType, Document, Fuente
|
||||||
|
from django.contrib.auth import get_user_model
|
||||||
|
from django.core.files.storage import default_storage
|
||||||
|
|
||||||
|
User = get_user_model()
|
||||||
|
|
||||||
|
def extract_rar_to_dir(rar_path, dest_dir):
|
||||||
|
"""
|
||||||
|
Extrae archivos RAR con múltiples métodos de fallback
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
with RarFile(rar_path, 'r') as rar_ref:
|
||||||
|
rar_ref.extractall(dest_dir)
|
||||||
|
return True
|
||||||
|
except (RarCannotExec, RarError):
|
||||||
|
try:
|
||||||
|
subprocess.run(['7z', 'x', rar_path, f'-o{dest_dir}'],
|
||||||
|
check=True, capture_output=True)
|
||||||
|
return True
|
||||||
|
except (subprocess.CalledProcessError, FileNotFoundError):
|
||||||
|
try:
|
||||||
|
subprocess.run(['unrar', 'x', rar_path, dest_dir],
|
||||||
|
check=True, capture_output=True)
|
||||||
|
return True
|
||||||
|
except (subprocess.CalledProcessError, FileNotFoundError):
|
||||||
|
return False
|
||||||
|
|
||||||
|
def is_same_document(doc, file_name):
|
||||||
|
"""
|
||||||
|
Determina si un documento es el mismo basado en el nombre
|
||||||
|
"""
|
||||||
|
if not doc.archivo:
|
||||||
|
return False
|
||||||
|
|
||||||
|
doc_name = os.path.basename(doc.archivo.name).lower()
|
||||||
|
new_name = file_name.lower()
|
||||||
|
|
||||||
|
doc_base = os.path.splitext(doc_name)[0]
|
||||||
|
new_base = os.path.splitext(new_name)[0]
|
||||||
|
|
||||||
|
return doc_base == new_base
|
||||||
|
|
||||||
|
@shared_task(bind=True, max_retries=3, default_retry_delay=60)
|
||||||
|
def process_bulk_upload(self, bulk_upload_id):
|
||||||
|
"""
|
||||||
|
Tarea principal para procesar bulk upload de forma asíncrona
|
||||||
|
SOLO recibe el ID, obtiene todo de la base de datos
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
|
||||||
|
bulk_upload = BulkUploadTask.objects.get(id=bulk_upload_id)
|
||||||
|
|
||||||
|
bulk_upload.celery_task_id = self.request.id
|
||||||
|
bulk_upload.status = 'processing'
|
||||||
|
bulk_upload.started_at = timezone.now()
|
||||||
|
bulk_upload.save(update_fields=['celery_task_id', 'status', 'started_at'])
|
||||||
|
|
||||||
|
if bulk_upload.task_type == 'bulk_create_pedimento_desk':
|
||||||
|
result = _process_bulk_pedimento_desk(bulk_upload)
|
||||||
|
else:
|
||||||
|
result = _process_bulk_create(bulk_upload)
|
||||||
|
|
||||||
|
bulk_upload.status = 'completed' if not result['failed_files'] else 'partial'
|
||||||
|
bulk_upload.finished_at = timezone.now()
|
||||||
|
bulk_upload.result = result
|
||||||
|
bulk_upload.created_pedimentos = result.get('created_count', 0)
|
||||||
|
bulk_upload.created_documents = result.get('documents_created', 0)
|
||||||
|
bulk_upload.failed_files = result.get('failed_files', [])
|
||||||
|
bulk_upload.processed_files = result.get('processed_files', 0)
|
||||||
|
bulk_upload.save()
|
||||||
|
|
||||||
|
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||||
|
for file_info in temp_files_info:
|
||||||
|
try:
|
||||||
|
default_storage.delete(file_info['saved_path'])
|
||||||
|
except Exception as e:
|
||||||
|
print(f"Error al limpiar archivo temporal: {str(e)}")
|
||||||
|
|
||||||
|
return result
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
if 'bulk_upload' in locals():
|
||||||
|
bulk_upload.status = 'failed'
|
||||||
|
bulk_upload.error_message = f"{str(e)}\n{traceback.format_exc()}"
|
||||||
|
bulk_upload.finished_at = timezone.now()
|
||||||
|
bulk_upload.save()
|
||||||
|
|
||||||
|
raise self.retry(exc=e, countdown=60)
|
||||||
|
|
||||||
|
def _process_bulk_create(bulk_upload):
|
||||||
|
"""
|
||||||
|
Procesa bulk_create normal - VERSIÓN CORREGIDA
|
||||||
|
"""
|
||||||
|
|
||||||
|
created_pedimentos = []
|
||||||
|
failed_files = []
|
||||||
|
documents_created = 0
|
||||||
|
nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
|
||||||
|
nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
|
||||||
|
|
||||||
|
try:
|
||||||
|
organizacion = bulk_upload.organizacion
|
||||||
|
contribuyente = bulk_upload.contribuyente
|
||||||
|
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||||
|
|
||||||
|
try:
|
||||||
|
document_type = DocumentType.objects.get(nombre="Pedimento")
|
||||||
|
except DocumentType.DoesNotExist:
|
||||||
|
document_type = DocumentType.objects.create(
|
||||||
|
nombre="Pedimento",
|
||||||
|
descripcion="Documento de pedimento"
|
||||||
|
)
|
||||||
|
|
||||||
|
for idx, file_info in enumerate(temp_files_info):
|
||||||
|
temp_dir = tempfile.mkdtemp()
|
||||||
|
|
||||||
|
try:
|
||||||
|
temp_file_path = os.path.join(temp_dir, file_info['original_name'])
|
||||||
|
with default_storage.open(file_info['saved_path'], 'rb') as src:
|
||||||
|
with open(temp_file_path, 'wb') as dst:
|
||||||
|
dst.write(src.read())
|
||||||
|
|
||||||
|
archivo_name_sin_extension = os.path.splitext(file_info['original_name'])[0]
|
||||||
|
sub_dir = os.path.join(temp_dir, archivo_name_sin_extension)
|
||||||
|
os.makedirs(sub_dir, exist_ok=True)
|
||||||
|
|
||||||
|
archivo_name = file_info['original_name'].lower()
|
||||||
|
|
||||||
|
if archivo_name.endswith('.zip'):
|
||||||
|
with zipfile.ZipFile(temp_file_path, 'r') as zip_ref:
|
||||||
|
zip_ref.extractall(sub_dir)
|
||||||
|
|
||||||
|
elif archivo_name.endswith('.rar'):
|
||||||
|
if not extract_rar_to_dir(temp_file_path, sub_dir):
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_info['original_name'],
|
||||||
|
"error": "No se pudo extraer archivo RAR"
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
|
||||||
|
else:
|
||||||
|
shutil.move(temp_file_path, os.path.join(sub_dir, file_info['original_name']))
|
||||||
|
|
||||||
|
for root, dirs, files in os.walk(sub_dir):
|
||||||
|
for file_name in files:
|
||||||
|
file_path = os.path.join(root, file_name)
|
||||||
|
relative_path = os.path.relpath(file_path, sub_dir)
|
||||||
|
folder_name = archivo_name_sin_extension
|
||||||
|
|
||||||
|
match = nomenclatura_pattern.match(folder_name)
|
||||||
|
match_sin_anio = nomenclatura_pattern_sin_anio.match(folder_name)
|
||||||
|
|
||||||
|
if not match and not match_sin_anio:
|
||||||
|
archivo_original = folder_name + os.path.splitext(file_info['original_name'])[1]
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_name,
|
||||||
|
"archivo_original": archivo_original,
|
||||||
|
"error": f"Nomenclatura inválida en nombre del ZIP: {folder_name}. Esperado: anio-aduana-patente-pedimento"
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
|
||||||
|
if match:
|
||||||
|
anio, aduana, patente, pedimento_num = match.groups()
|
||||||
|
|
||||||
|
try:
|
||||||
|
anio_completo = 2000 + int(anio) if int(anio) < 50 else 1900 + int(anio)
|
||||||
|
fecha_pago = datetime(anio_completo, 1, 1).date()
|
||||||
|
except ValueError:
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_name,
|
||||||
|
"archivo_original": file_info['original_name'],
|
||||||
|
"error": f"Año inválido: {anio}"
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
|
||||||
|
elif match_sin_anio:
|
||||||
|
aduana, patente, pedimento_num = match_sin_anio.groups()
|
||||||
|
primer_digito_pedimento = int(pedimento_num[0]) if pedimento_num else 0
|
||||||
|
año_actual = datetime.now().year
|
||||||
|
|
||||||
|
año_con_digito = int(str(año_actual)[:-1] + str(primer_digito_pedimento))
|
||||||
|
|
||||||
|
if año_con_digito <= año_actual:
|
||||||
|
año_final = año_con_digito
|
||||||
|
else:
|
||||||
|
año_final = año_con_digito - 10
|
||||||
|
|
||||||
|
anio = año_final % 100
|
||||||
|
fecha_pago = datetime(año_final, 1, 1).date()
|
||||||
|
|
||||||
|
pedimento_app = f"{anio}-{aduana.zfill(2)}-{patente}-{pedimento_num}"
|
||||||
|
|
||||||
|
existing_pedimento = Pedimento.objects.filter(
|
||||||
|
pedimento_app=pedimento_app,
|
||||||
|
organizacion=organizacion
|
||||||
|
).first()
|
||||||
|
|
||||||
|
if not existing_pedimento:
|
||||||
|
|
||||||
|
importador, created = Importador.objects.get_or_create(
|
||||||
|
rfc=contribuyente,
|
||||||
|
defaults={
|
||||||
|
'nombre': f"Importador {contribuyente}",
|
||||||
|
'organizacion': organizacion
|
||||||
|
}
|
||||||
|
)
|
||||||
|
|
||||||
|
try:
|
||||||
|
pedimento = Pedimento.objects.create(
|
||||||
|
organizacion=organizacion,
|
||||||
|
contribuyente=importador,
|
||||||
|
pedimento=int(pedimento_num),
|
||||||
|
aduana=int(aduana),
|
||||||
|
patente=int(patente),
|
||||||
|
fecha_pago=fecha_pago,
|
||||||
|
pedimento_app=pedimento_app,
|
||||||
|
agente_aduanal=f"Agente {patente}",
|
||||||
|
clave_pedimento="A1"
|
||||||
|
)
|
||||||
|
|
||||||
|
created_pedimentos.append({
|
||||||
|
"id": str(pedimento.id),
|
||||||
|
"pedimento_app": pedimento_app,
|
||||||
|
"contribuyente": importador.rfc,
|
||||||
|
"contribuyente_nombre": importador.nombre
|
||||||
|
})
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_name,
|
||||||
|
"archivo_original": file_info['original_name'],
|
||||||
|
"error": f"Error al crear pedimento: {str(e)}"
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
|
||||||
|
pedimento_obj = pedimento
|
||||||
|
else:
|
||||||
|
pedimento_obj = existing_pedimento
|
||||||
|
|
||||||
|
try:
|
||||||
|
with open(file_path, 'rb') as f:
|
||||||
|
file_content = f.read()
|
||||||
|
|
||||||
|
extension = os.path.splitext(file_name)[1].lower().lstrip('.')
|
||||||
|
|
||||||
|
existing_documents = Document.objects.filter(
|
||||||
|
pedimento_id=pedimento_obj.id,
|
||||||
|
organizacion=organizacion
|
||||||
|
)
|
||||||
|
|
||||||
|
existing_document = None
|
||||||
|
for doc in existing_documents:
|
||||||
|
if is_same_document(doc, file_name):
|
||||||
|
existing_document = doc
|
||||||
|
break
|
||||||
|
|
||||||
|
django_file = ContentFile(file_content, name=file_name)
|
||||||
|
|
||||||
|
if existing_document:
|
||||||
|
try:
|
||||||
|
if existing_document.archivo and os.path.exists(existing_document.archivo.path):
|
||||||
|
os.remove(existing_document.archivo.path)
|
||||||
|
except (ValueError, OSError) as e:
|
||||||
|
print(f"No se pudo eliminar archivo físico anterior: {str(e)}")
|
||||||
|
|
||||||
|
existing_document.archivo = django_file
|
||||||
|
existing_document.size = len(file_content)
|
||||||
|
existing_document.extension = extension
|
||||||
|
existing_document.updated_at = timezone.now()
|
||||||
|
existing_document.save()
|
||||||
|
|
||||||
|
else:
|
||||||
|
document = Document.objects.create(
|
||||||
|
organizacion=organizacion,
|
||||||
|
pedimento_id=pedimento_obj.id,
|
||||||
|
document_type=document_type,
|
||||||
|
fuente_id=4,
|
||||||
|
archivo=django_file,
|
||||||
|
size=len(file_content),
|
||||||
|
extension=extension
|
||||||
|
)
|
||||||
|
|
||||||
|
documents_created += 1
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_name,
|
||||||
|
"archivo_original": file_info['original_name'],
|
||||||
|
"error": f"Error al crear documento: {str(e)}"
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
|
||||||
|
if os.path.exists(temp_file_path):
|
||||||
|
os.remove(temp_file_path)
|
||||||
|
|
||||||
|
try:
|
||||||
|
default_storage.delete(file_info['saved_path'])
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
|
bulk_upload.processed_files = idx + 1
|
||||||
|
bulk_upload.save(update_fields=['processed_files'])
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
failed_files.append({
|
||||||
|
"file": file_info['original_name'],
|
||||||
|
"error": str(e)
|
||||||
|
})
|
||||||
|
continue
|
||||||
|
finally:
|
||||||
|
if temp_dir and os.path.exists(temp_dir):
|
||||||
|
try:
|
||||||
|
shutil.rmtree(temp_dir, ignore_errors=True)
|
||||||
|
except Exception as e:
|
||||||
|
print(f"Error al eliminar directorio temporal: {str(e)}")
|
||||||
|
|
||||||
|
result = {
|
||||||
|
"created_count": len(created_pedimentos),
|
||||||
|
"created_pedimentos": created_pedimentos,
|
||||||
|
"documents_created": documents_created,
|
||||||
|
"failed_files": failed_files,
|
||||||
|
"processed_files": len(temp_files_info),
|
||||||
|
"summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
|
||||||
|
}
|
||||||
|
|
||||||
|
return result
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
failed_files.append({
|
||||||
|
"file": "global",
|
||||||
|
"error": f"Error global: {str(e)}"
|
||||||
|
})
|
||||||
|
|
||||||
|
return {
|
||||||
|
"created_count": 0,
|
||||||
|
"created_pedimentos": [],
|
||||||
|
"documents_created": 0,
|
||||||
|
"failed_files": failed_files,
|
||||||
|
"processed_files": 0,
|
||||||
|
"summary": f"Error en procesamiento: {str(e)}"
|
||||||
|
}
|
||||||
|
|
||||||
|
def _process_bulk_pedimento_desk(bulk_upload):
|
||||||
|
"""
|
||||||
|
Procesa bulk_create_pedimento_desk - OBTIENE DATOS DEL MODELO
|
||||||
|
"""
|
||||||
|
created_pedimentos = []
|
||||||
|
failed_files = []
|
||||||
|
documents_created = 0
|
||||||
|
temp_dir = None
|
||||||
|
|
||||||
|
nomenclatura_pattern = re.compile(r'^(\d{2})-(\d{2,3})-(\d{4})-(\d{7})$')
|
||||||
|
nomenclatura_pattern_sin_anio = re.compile(r'^(\d{2,3})-(\d{4})-(\d{7})$')
|
||||||
|
|
||||||
|
try:
|
||||||
|
organizacion = bulk_upload.organizacion
|
||||||
|
contribuyente = bulk_upload.contribuyente
|
||||||
|
temp_files_info = bulk_upload.result.get('temp_files', [])
|
||||||
|
|
||||||
|
fecha_pago_input = bulk_upload.fecha_pago
|
||||||
|
clave_pedimento_input = bulk_upload.clave_pedimento
|
||||||
|
tipo_operacion_id = bulk_upload.tipo_operacion_id
|
||||||
|
curp_apoderado_input = bulk_upload.curp_apoderado
|
||||||
|
partidas_input = bulk_upload.partidas
|
||||||
|
|
||||||
|
tipo_operacion_obj = None
|
||||||
|
if tipo_operacion_id:
|
||||||
|
try:
|
||||||
|
tipo_operacion_obj = TipoOperacion.objects.get(id=tipo_operacion_id)
|
||||||
|
except TipoOperacion.DoesNotExist:
|
||||||
|
print(f"TipoOperacion ID {tipo_operacion_id} no encontrado")
|
||||||
|
|
||||||
|
result = {
|
||||||
|
"created_count": len(created_pedimentos),
|
||||||
|
"created_pedimentos": created_pedimentos,
|
||||||
|
"documents_created": documents_created,
|
||||||
|
"failed_files": failed_files,
|
||||||
|
"processed_files": len(temp_files_info),
|
||||||
|
"summary": f"Procesados {len(temp_files_info)} archivo(s): {len(created_pedimentos)} pedimento(s) creado(s), {documents_created} documento(s) asociado(s)"
|
||||||
|
}
|
||||||
|
|
||||||
|
return result
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
|
||||||
|
failed_files.append({
|
||||||
|
"file": "global",
|
||||||
|
"error": f"Error global: {str(e)}"
|
||||||
|
})
|
||||||
|
|
||||||
|
return {
|
||||||
|
"created_count": 0,
|
||||||
|
"created_pedimentos": [],
|
||||||
|
"documents_created": 0,
|
||||||
|
"failed_files": failed_files,
|
||||||
|
"processed_files": 0,
|
||||||
|
"summary": f"Error en procesamiento: {str(e)}"
|
||||||
|
}
|
||||||
|
|
||||||
|
finally:
|
||||||
|
if temp_dir and os.path.exists(temp_dir):
|
||||||
|
try:
|
||||||
|
shutil.rmtree(temp_dir, ignore_errors=True)
|
||||||
|
except Exception as e:
|
||||||
|
print(f"Error al eliminar directorio temporal: {str(e)}")
|
||||||
1227
api/customs/views.py
1227
api/customs/views.py
File diff suppressed because it is too large
Load Diff
85
api/datastage/tasks/report_document.py
Normal file
85
api/datastage/tasks/report_document.py
Normal file
@@ -0,0 +1,85 @@
|
|||||||
|
from celery import shared_task
|
||||||
|
from django.core.files.base import ContentFile
|
||||||
|
from django.utils import timezone
|
||||||
|
from api.reports.models import ReportDocument
|
||||||
|
from api.customs.models import Pedimento, Cove, EDocument, Partida
|
||||||
|
from django.db.models import Q
|
||||||
|
import csv
|
||||||
|
import os
|
||||||
|
from django.conf import settings
|
||||||
|
import logging
|
||||||
|
|
||||||
|
logger = logging.getLogger()
|
||||||
|
|
||||||
|
@shared_task
|
||||||
|
def generate_report_document(report_id):
|
||||||
|
try:
|
||||||
|
report = ReportDocument.objects.get(id=report_id)
|
||||||
|
report.status = 'processing'
|
||||||
|
report.save(update_fields=['status'])
|
||||||
|
filters = report.filters or {}
|
||||||
|
pedimentos_filters = Q()
|
||||||
|
if filters.get('organizacion_id'):
|
||||||
|
pedimentos_filters &= Q(organizacion_id=filters['organizacion_id'])
|
||||||
|
if filters.get('fecha_pago__gte'):
|
||||||
|
pedimentos_filters &= Q(fecha_pago__gte=filters['fecha_pago__gte'])
|
||||||
|
if filters.get('fecha_pago__lte'):
|
||||||
|
pedimentos_filters &= Q(fecha_pago__lte=filters['fecha_pago__lte'])
|
||||||
|
if filters.get('contribuyente__rfc'):
|
||||||
|
pedimentos_filters &= Q(contribuyente__rfc=filters['contribuyente__rfc'])
|
||||||
|
if filters.get('patente'):
|
||||||
|
pedimentos_filters &= Q(patente=filters['patente'])
|
||||||
|
if filters.get('aduana'):
|
||||||
|
pedimentos_filters &= Q(aduana=filters['aduana'])
|
||||||
|
if filters.get('pedimento'):
|
||||||
|
pedimentos_filters &= Q(pedimento=filters['pedimento'])
|
||||||
|
if filters.get('pedimento_app'):
|
||||||
|
pedimentos_filters &= Q(pedimento_app=filters['pedimento_app'])
|
||||||
|
if filters.get('regimen'):
|
||||||
|
pedimentos_filters &= Q(regimen=filters['regimen'])
|
||||||
|
if filters.get('tipo_operacion'):
|
||||||
|
pedimentos_filters &= Q(tipo_operacion_id=filters['tipo_operacion'])
|
||||||
|
pedimentos = Pedimento.objects.filter(pedimentos_filters)
|
||||||
|
filename = filters.get('filename')
|
||||||
|
if filename:
|
||||||
|
filename = f"{filename}.csv" if not filename.endswith('.csv') else filename
|
||||||
|
else:
|
||||||
|
filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
|
||||||
|
file_path = os.path.join(settings.MEDIA_ROOT, 'reports', filename)
|
||||||
|
os.makedirs(os.path.dirname(file_path), exist_ok=True)
|
||||||
|
with open(file_path, 'w', newline='', encoding='utf-8') as f:
|
||||||
|
writer = csv.writer(f)
|
||||||
|
headers = [
|
||||||
|
'aduana', 'patente', 'regimen', 'pedimento', 'pedimento_app', 'clave_pedimento',
|
||||||
|
'tipo_operacion_id', 'contribuyente_id', 'tipo_documento', 'numero_documento', 'estado', 'acuse_estado'
|
||||||
|
]
|
||||||
|
writer.writerow(headers)
|
||||||
|
for ped in pedimentos:
|
||||||
|
for cove in Cove.objects.filter(pedimento=ped):
|
||||||
|
writer.writerow([
|
||||||
|
ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
|
||||||
|
ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
|
||||||
|
'COVE', cove.numero_cove, cove.cove_descargado, cove.acuse_cove_descargado
|
||||||
|
])
|
||||||
|
for edoc in EDocument.objects.filter(pedimento=ped):
|
||||||
|
writer.writerow([
|
||||||
|
ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
|
||||||
|
ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
|
||||||
|
'EDOC', edoc.numero_edocument, edoc.edocument_descargado, edoc.acuse_descargado
|
||||||
|
])
|
||||||
|
for partida in Partida.objects.filter(pedimento=ped):
|
||||||
|
writer.writerow([
|
||||||
|
ped.aduana, ped.patente, ped.regimen, ped.pedimento, ped.pedimento_app,
|
||||||
|
ped.clave_pedimento, ped.tipo_operacion_id, ped.contribuyente_id,
|
||||||
|
'PARTIDA', partida.numero_partida, partida.descargado, ''
|
||||||
|
])
|
||||||
|
with open(file_path, 'rb') as f:
|
||||||
|
report.file.save(filename, ContentFile(f.read()), save=True)
|
||||||
|
report.status = 'ready'
|
||||||
|
report.finished_at = timezone.now()
|
||||||
|
report.save(update_fields=['status', 'file', 'finished_at'])
|
||||||
|
except Exception as e:
|
||||||
|
report.status = 'error'
|
||||||
|
report.error_message = str(e)
|
||||||
|
report.finished_at = timezone.now()
|
||||||
|
report.save(update_fields=['status', 'error_message', 'finished_at'])
|
||||||
@@ -27,7 +27,7 @@ class ViewSetOrganizacion(LoggingMixin, viewsets.ModelViewSet, OrganizacionFiltr
|
|||||||
|
|
||||||
queryset = Organizacion.objects.all()
|
queryset = Organizacion.objects.all()
|
||||||
serializer_class = OrganizacionSerializer
|
serializer_class = OrganizacionSerializer
|
||||||
filterset_fields = ['nombre', 'descripcion']
|
filterset_fields = ['nombre']
|
||||||
|
|
||||||
my_tags = ['Organizaciones']
|
my_tags = ['Organizaciones']
|
||||||
|
|
||||||
|
|||||||
@@ -23,6 +23,7 @@ from django.http import HttpResponse
|
|||||||
from rest_framework.decorators import action
|
from rest_framework.decorators import action
|
||||||
from datetime import timedelta
|
from datetime import timedelta
|
||||||
from django.utils import timezone
|
from django.utils import timezone
|
||||||
|
from django.db.models import Q
|
||||||
|
|
||||||
from core.permissions import (
|
from core.permissions import (
|
||||||
IsSameOrganization,
|
IsSameOrganization,
|
||||||
@@ -461,6 +462,602 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
|
|
||||||
return Response(response_data, status=response_status)
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
|
@action(detail=False, methods=['post'], url_path='bulk-delete-partidas-vu')
|
||||||
|
def bulk_delete_partidas_vu(self, request):
|
||||||
|
"""
|
||||||
|
Endpoint para eliminar múltiples archivos xlm de partidas de vu de manera masiva.
|
||||||
|
|
||||||
|
Payload esperado:
|
||||||
|
{
|
||||||
|
"ids": ["uuid1", "uuid2", "uuid3", ...]
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta exitosa:
|
||||||
|
{
|
||||||
|
"message": "Documentos eliminados exitosamente",
|
||||||
|
"deleted_count": 3,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2", "uuid3"],
|
||||||
|
"space_freed_mb": 25.6
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta con errores:
|
||||||
|
{
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"deleted_count": 2,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2"],
|
||||||
|
"failed_ids": ["uuid3"],
|
||||||
|
"errors": ["No se encontró el documento con ID uuid3"],
|
||||||
|
"space_freed_mb": 15.2
|
||||||
|
}
|
||||||
|
"""
|
||||||
|
# Obtener los IDs del payload
|
||||||
|
ids_vu = request.data.get('ids', [])
|
||||||
|
|
||||||
|
if not ids_vu:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere una lista de IDs para eliminar"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if not isinstance(ids_vu, list):
|
||||||
|
return Response(
|
||||||
|
{"error": "El campo 'ids' debe ser una lista"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
# Obtener el queryset filtrado por organización
|
||||||
|
queryset = self.get_queryset()
|
||||||
|
|
||||||
|
from ..customs.models import Partida
|
||||||
|
|
||||||
|
partidas = Partida.objects.filter(id__in=ids_vu)
|
||||||
|
if not partidas.exists():
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron Partidas"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
ids = []
|
||||||
|
for partida in partidas:
|
||||||
|
|
||||||
|
pedimento_partida = partida.pedimento
|
||||||
|
pedimento_app = pedimento_partida.pedimento_app
|
||||||
|
pedimento_id= pedimento_partida.id
|
||||||
|
|
||||||
|
numero_partida = partida.numero_partida
|
||||||
|
|
||||||
|
documents = Document.objects.filter(
|
||||||
|
archivo__startswith=f'documents/vu_PT_{pedimento_app}_{numero_partida}',
|
||||||
|
pedimento_id=pedimento_id
|
||||||
|
).values_list('id', flat=True) # <-- solo los IDs
|
||||||
|
|
||||||
|
if documents.exists():
|
||||||
|
# agregar los IDs a la lista
|
||||||
|
ids.extend(documents)
|
||||||
|
|
||||||
|
|
||||||
|
if len(ids) <= 0:
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron docuemntos para eliminar"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
|
# Filtrar solo los documentos que existen y pertenecen a la organización del usuario
|
||||||
|
existing_documents = queryset.filter(id__in=ids)
|
||||||
|
existing_ids = list(existing_documents.values_list('id', flat=True))
|
||||||
|
|
||||||
|
# Convertir UUIDs a strings para comparación
|
||||||
|
existing_ids_str = [str(id) for id in existing_ids]
|
||||||
|
requested_ids_str = [str(id) for id in ids]
|
||||||
|
|
||||||
|
# Identificar IDs que no existen o no pertenecen a la organización
|
||||||
|
failed_ids = [id for id in requested_ids_str if id not in existing_ids_str]
|
||||||
|
|
||||||
|
deleted_count = 0
|
||||||
|
total_space_freed = 0
|
||||||
|
errors = []
|
||||||
|
|
||||||
|
if existing_documents.exists():
|
||||||
|
try:
|
||||||
|
# Usar transacción atómica para consistencia
|
||||||
|
with transaction.atomic():
|
||||||
|
# Calcular el espacio total a liberar
|
||||||
|
total_space_freed = sum(doc.size for doc in existing_documents)
|
||||||
|
|
||||||
|
# Obtener la organización del usuario para actualizar el uso de almacenamiento
|
||||||
|
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||||
|
return Response(
|
||||||
|
{"error": "Usuario no autenticado o sin organización"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
organizacion = request.user.organizacion
|
||||||
|
|
||||||
|
# Si es superusuario, puede eliminar documentos de cualquier organización
|
||||||
|
if request.user.is_superuser:
|
||||||
|
# Para superusuario, actualizar el uso de cada organización afectada
|
||||||
|
organizaciones_afectadas = {}
|
||||||
|
for doc in existing_documents:
|
||||||
|
if doc.organizacion.id not in organizaciones_afectadas:
|
||||||
|
organizaciones_afectadas[doc.organizacion.id] = {
|
||||||
|
'organizacion': doc.organizacion,
|
||||||
|
'espacio_liberado': 0
|
||||||
|
}
|
||||||
|
organizaciones_afectadas[doc.organizacion.id]['espacio_liberado'] += doc.size
|
||||||
|
|
||||||
|
# Actualizar uso de almacenamiento para cada organización
|
||||||
|
for org_data in organizaciones_afectadas.values():
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=org_data['organizacion']
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= org_data['espacio_liberado']
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
# Para usuarios normales, solo documentos de su organización
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=organizacion
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= total_space_freed
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Eliminar los documentos
|
||||||
|
for doc in existing_documents:
|
||||||
|
archivos_eliminados = 0
|
||||||
|
try:
|
||||||
|
# Eliminar archivo físico
|
||||||
|
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||||
|
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||||
|
|
||||||
|
# Eliminar registro de la base de datos
|
||||||
|
doc.delete()
|
||||||
|
archivos_eliminados += 1
|
||||||
|
except Exception as e:
|
||||||
|
errors.append(f"No se pudo eliminar el documento {doc.id}: {str(e)}")
|
||||||
|
failed_ids.append(str(doc.id))
|
||||||
|
|
||||||
|
# deleted_count = existing_documents.count()
|
||||||
|
deleted_count = archivos_eliminados
|
||||||
|
# existing_documents.delete()
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response(
|
||||||
|
{"error": f"Error al eliminar documentos: {str(e)}"},
|
||||||
|
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||||
|
)
|
||||||
|
|
||||||
|
# Agregar errores para IDs no encontrados
|
||||||
|
if failed_ids:
|
||||||
|
errors = [f"No se encontró el documento con ID {id} o no pertenece a su organización" for id in failed_ids]
|
||||||
|
|
||||||
|
# Convertir bytes a MB para la respuesta
|
||||||
|
space_freed_mb = round(total_space_freed / (1024 * 1024), 2)
|
||||||
|
|
||||||
|
# Preparar respuesta
|
||||||
|
response_data = {
|
||||||
|
"deleted_count": deleted_count,
|
||||||
|
"deleted_ids": existing_ids_str,
|
||||||
|
"space_freed_mb": space_freed_mb
|
||||||
|
}
|
||||||
|
|
||||||
|
if failed_ids:
|
||||||
|
response_data.update({
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"failed_ids": failed_ids,
|
||||||
|
"errors": errors
|
||||||
|
})
|
||||||
|
response_status = status.HTTP_207_MULTI_STATUS
|
||||||
|
else:
|
||||||
|
response_data["message"] = "Documentos eliminados exitosamente"
|
||||||
|
response_status = status.HTTP_200_OK
|
||||||
|
|
||||||
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
|
|
||||||
|
@action(detail=False, methods=['post'], url_path='bulk-delete-coves-vu')
|
||||||
|
def bulk_delete_coves_vu(self, request):
|
||||||
|
"""
|
||||||
|
Endpoint para eliminar múltiples archivos xlm de coves de vu de manera masiva.
|
||||||
|
|
||||||
|
Payload esperado:
|
||||||
|
{
|
||||||
|
"ids": ["uuid1", "uuid2", "uuid3", ...]
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta exitosa:
|
||||||
|
{
|
||||||
|
"message": "Documentos eliminados exitosamente",
|
||||||
|
"deleted_count": 3,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2", "uuid3"],
|
||||||
|
"space_freed_mb": 25.6
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta con errores:
|
||||||
|
{
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"deleted_count": 2,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2"],
|
||||||
|
"failed_ids": ["uuid3"],
|
||||||
|
"errors": ["No se encontró el documento con ID uuid3"],
|
||||||
|
"space_freed_mb": 15.2
|
||||||
|
}
|
||||||
|
"""
|
||||||
|
# Obtener los IDs del payload
|
||||||
|
ids_vu = request.data.get('ids', [])
|
||||||
|
|
||||||
|
if not ids_vu:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere una lista de IDs para eliminar"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if not isinstance(ids_vu, list):
|
||||||
|
return Response(
|
||||||
|
{"error": "El campo 'ids' debe ser una lista"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
# Obtener el queryset filtrado por organización
|
||||||
|
queryset = self.get_queryset()
|
||||||
|
|
||||||
|
from ..customs.models import Cove
|
||||||
|
|
||||||
|
coves = Cove.objects.filter(id__in=ids_vu)
|
||||||
|
if not coves.exists():
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron COVEs"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
ids = []
|
||||||
|
for cove in coves:
|
||||||
|
|
||||||
|
pedimento_cove = cove.pedimento
|
||||||
|
pedimento_app = pedimento_cove.pedimento_app
|
||||||
|
pedimento_id=pedimento_cove.id
|
||||||
|
|
||||||
|
numero_cove = cove.numero_cove
|
||||||
|
|
||||||
|
documents = Document.objects.filter(
|
||||||
|
Q(archivo__startswith=f'documents/vu_COVE_{pedimento_app}_{numero_cove}') |
|
||||||
|
Q(archivo__startswith=f'documents/vu_AC_COVE_{pedimento_app}_{numero_cove}'),
|
||||||
|
pedimento_id=pedimento_id
|
||||||
|
).values_list('id', flat=True) # <-- solo los IDs
|
||||||
|
|
||||||
|
if documents.exists():
|
||||||
|
# agregar los IDs a la lista
|
||||||
|
ids.extend(documents)
|
||||||
|
|
||||||
|
|
||||||
|
if len(ids) <= 0:
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron docuemntos para eliminar"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
|
# Filtrar solo los documentos que existen y pertenecen a la organización del usuario
|
||||||
|
existing_documents = queryset.filter(id__in=ids)
|
||||||
|
existing_ids = list(existing_documents.values_list('id', flat=True))
|
||||||
|
|
||||||
|
# Convertir UUIDs a strings para comparación
|
||||||
|
existing_ids_str = [str(id) for id in existing_ids]
|
||||||
|
requested_ids_str = [str(id) for id in ids]
|
||||||
|
|
||||||
|
# Identificar IDs que no existen o no pertenecen a la organización
|
||||||
|
failed_ids = [id for id in requested_ids_str if id not in existing_ids_str]
|
||||||
|
|
||||||
|
deleted_count = 0
|
||||||
|
total_space_freed = 0
|
||||||
|
errors = []
|
||||||
|
|
||||||
|
if existing_documents.exists():
|
||||||
|
try:
|
||||||
|
# Usar transacción atómica para consistencia
|
||||||
|
with transaction.atomic():
|
||||||
|
# Calcular el espacio total a liberar
|
||||||
|
total_space_freed = sum(doc.size for doc in existing_documents)
|
||||||
|
|
||||||
|
# Obtener la organización del usuario para actualizar el uso de almacenamiento
|
||||||
|
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||||
|
return Response(
|
||||||
|
{"error": "Usuario no autenticado o sin organización"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
organizacion = request.user.organizacion
|
||||||
|
|
||||||
|
# Si es superusuario, puede eliminar documentos de cualquier organización
|
||||||
|
if request.user.is_superuser:
|
||||||
|
# Para superusuario, actualizar el uso de cada organización afectada
|
||||||
|
organizaciones_afectadas = {}
|
||||||
|
for doc in existing_documents:
|
||||||
|
if doc.organizacion.id not in organizaciones_afectadas:
|
||||||
|
organizaciones_afectadas[doc.organizacion.id] = {
|
||||||
|
'organizacion': doc.organizacion,
|
||||||
|
'espacio_liberado': 0
|
||||||
|
}
|
||||||
|
organizaciones_afectadas[doc.organizacion.id]['espacio_liberado'] += doc.size
|
||||||
|
|
||||||
|
# Actualizar uso de almacenamiento para cada organización
|
||||||
|
for org_data in organizaciones_afectadas.values():
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=org_data['organizacion']
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= org_data['espacio_liberado']
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
# Para usuarios normales, solo documentos de su organización
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=organizacion
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= total_space_freed
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Eliminar los documentos
|
||||||
|
for doc in existing_documents:
|
||||||
|
archivos_eliminados = 0
|
||||||
|
try:
|
||||||
|
# Eliminar archivo físico
|
||||||
|
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||||
|
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||||
|
|
||||||
|
# Eliminar registro de la base de datos
|
||||||
|
doc.delete()
|
||||||
|
archivos_eliminados += 1
|
||||||
|
except Exception as e:
|
||||||
|
errors.append(f"No se pudo eliminar el documento {doc.id}: {str(e)}")
|
||||||
|
failed_ids.append(str(doc.id))
|
||||||
|
|
||||||
|
# deleted_count = existing_documents.count()
|
||||||
|
deleted_count = archivos_eliminados
|
||||||
|
# existing_documents.delete()
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response(
|
||||||
|
{"error": f"Error al eliminar documentos: {str(e)}"},
|
||||||
|
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||||
|
)
|
||||||
|
|
||||||
|
# Agregar errores para IDs no encontrados
|
||||||
|
if failed_ids:
|
||||||
|
errors = [f"No se encontró el documento con ID {id} o no pertenece a su organización" for id in failed_ids]
|
||||||
|
|
||||||
|
# Convertir bytes a MB para la respuesta
|
||||||
|
space_freed_mb = round(total_space_freed / (1024 * 1024), 2)
|
||||||
|
|
||||||
|
# Preparar respuesta
|
||||||
|
response_data = {
|
||||||
|
"deleted_count": deleted_count,
|
||||||
|
"deleted_ids": existing_ids_str,
|
||||||
|
"space_freed_mb": space_freed_mb
|
||||||
|
}
|
||||||
|
|
||||||
|
if failed_ids:
|
||||||
|
response_data.update({
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"failed_ids": failed_ids,
|
||||||
|
"errors": errors
|
||||||
|
})
|
||||||
|
response_status = status.HTTP_207_MULTI_STATUS
|
||||||
|
else:
|
||||||
|
response_data["message"] = "Documentos eliminados exitosamente"
|
||||||
|
response_status = status.HTTP_200_OK
|
||||||
|
|
||||||
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
|
@action(detail=False, methods=['post'], url_path='bulk-delete-edocs-vu')
|
||||||
|
def bulk_delete_edocs_vu(self, request):
|
||||||
|
"""
|
||||||
|
Endpoint para eliminar múltiples archivos xlm de edocs de vu de manera masiva.
|
||||||
|
|
||||||
|
Payload esperado:
|
||||||
|
{
|
||||||
|
"ids": ["uuid1", "uuid2", "uuid3", ...]
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta exitosa:
|
||||||
|
{
|
||||||
|
"message": "Documentos eliminados exitosamente",
|
||||||
|
"deleted_count": 3,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2", "uuid3"],
|
||||||
|
"space_freed_mb": 25.6
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta con errores:
|
||||||
|
{
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"deleted_count": 2,
|
||||||
|
"deleted_ids": ["uuid1", "uuid2"],
|
||||||
|
"failed_ids": ["uuid3"],
|
||||||
|
"errors": ["No se encontró el documento con ID uuid3"],
|
||||||
|
"space_freed_mb": 15.2
|
||||||
|
}
|
||||||
|
"""
|
||||||
|
# Obtener los IDs del payload
|
||||||
|
ids_vu = request.data.get('ids', [])
|
||||||
|
|
||||||
|
if not ids_vu:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere una lista de IDs para eliminar"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
if not isinstance(ids_vu, list):
|
||||||
|
return Response(
|
||||||
|
{"error": "El campo 'ids' debe ser una lista"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
# Obtener el queryset filtrado por organización
|
||||||
|
queryset = self.get_queryset()
|
||||||
|
|
||||||
|
from ..customs.models import EDocument
|
||||||
|
|
||||||
|
edocs = EDocument.objects.filter(id__in=ids_vu)
|
||||||
|
if not edocs.exists():
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron COVEs"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
ids = []
|
||||||
|
for edoc in edocs:
|
||||||
|
|
||||||
|
pedimento_edoc = edoc.pedimento
|
||||||
|
pedimento_id = pedimento_edoc.id
|
||||||
|
pedimento_app = pedimento_edoc.pedimento_app
|
||||||
|
|
||||||
|
numero_edocument = edoc.numero_edocument
|
||||||
|
|
||||||
|
documents = Document.objects.filter(
|
||||||
|
Q(archivo__startswith=f'documents/vu_ED_{pedimento_app}_{numero_edocument}') |
|
||||||
|
Q(archivo__startswith=f'documents/vu_AC_{pedimento_app}_{numero_edocument}'),
|
||||||
|
pedimento_id=pedimento_id
|
||||||
|
).values_list('id', flat=True) # <-- solo los IDs
|
||||||
|
|
||||||
|
if documents.exists():
|
||||||
|
# agregar los IDs a la lista
|
||||||
|
ids.extend(documents)
|
||||||
|
|
||||||
|
|
||||||
|
if len(ids) <= 0:
|
||||||
|
return Response(
|
||||||
|
{"error": "No se encontraron docuemntos para eliminar"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
|
# Filtrar solo los documentos que existen y pertenecen a la organización del usuario
|
||||||
|
existing_documents = queryset.filter(id__in=ids)
|
||||||
|
existing_ids = list(existing_documents.values_list('id', flat=True))
|
||||||
|
|
||||||
|
# Convertir UUIDs a strings para comparación
|
||||||
|
existing_ids_str = [str(id) for id in existing_ids]
|
||||||
|
requested_ids_str = [str(id) for id in ids]
|
||||||
|
|
||||||
|
# Identificar IDs que no existen o no pertenecen a la organización
|
||||||
|
failed_ids = [id for id in requested_ids_str if id not in existing_ids_str]
|
||||||
|
|
||||||
|
deleted_count = 0
|
||||||
|
total_space_freed = 0
|
||||||
|
errors = []
|
||||||
|
|
||||||
|
if existing_documents.exists():
|
||||||
|
try:
|
||||||
|
# Usar transacción atómica para consistencia
|
||||||
|
with transaction.atomic():
|
||||||
|
# Calcular el espacio total a liberar
|
||||||
|
total_space_freed = sum(doc.size for doc in existing_documents)
|
||||||
|
|
||||||
|
# Obtener la organización del usuario para actualizar el uso de almacenamiento
|
||||||
|
if not request.user.is_authenticated or not hasattr(request.user, 'organizacion'):
|
||||||
|
return Response(
|
||||||
|
{"error": "Usuario no autenticado o sin organización"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
organizacion = request.user.organizacion
|
||||||
|
|
||||||
|
# Si es superusuario, puede eliminar documentos de cualquier organización
|
||||||
|
if request.user.is_superuser:
|
||||||
|
# Para superusuario, actualizar el uso de cada organización afectada
|
||||||
|
organizaciones_afectadas = {}
|
||||||
|
for doc in existing_documents:
|
||||||
|
if doc.organizacion.id not in organizaciones_afectadas:
|
||||||
|
organizaciones_afectadas[doc.organizacion.id] = {
|
||||||
|
'organizacion': doc.organizacion,
|
||||||
|
'espacio_liberado': 0
|
||||||
|
}
|
||||||
|
organizaciones_afectadas[doc.organizacion.id]['espacio_liberado'] += doc.size
|
||||||
|
|
||||||
|
# Actualizar uso de almacenamiento para cada organización
|
||||||
|
for org_data in organizaciones_afectadas.values():
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=org_data['organizacion']
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= org_data['espacio_liberado']
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
else:
|
||||||
|
# Para usuarios normales, solo documentos de su organización
|
||||||
|
try:
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get(
|
||||||
|
organizacion=organizacion
|
||||||
|
)
|
||||||
|
uso.espacio_utilizado -= total_space_freed
|
||||||
|
uso.save()
|
||||||
|
except UsoAlmacenamiento.DoesNotExist:
|
||||||
|
# Si no existe el registro, no hay nada que actualizar
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Eliminar los documentos
|
||||||
|
archivos_eliminados = 0
|
||||||
|
for doc in existing_documents:
|
||||||
|
|
||||||
|
try:
|
||||||
|
# Eliminar archivo físico
|
||||||
|
if doc.archivo and doc.archivo.storage.exists(doc.archivo.name):
|
||||||
|
doc.archivo.delete(save=False) # save=False para no intentar guardar el modelo
|
||||||
|
|
||||||
|
# Eliminar registro de la base de datos
|
||||||
|
doc.delete()
|
||||||
|
archivos_eliminados += 1
|
||||||
|
except Exception as e:
|
||||||
|
errors.append(f"No se pudo eliminar el documento {doc.id}: {str(e)}")
|
||||||
|
failed_ids.append(str(doc.id))
|
||||||
|
|
||||||
|
# deleted_count = existing_documents.count()
|
||||||
|
deleted_count = archivos_eliminados
|
||||||
|
# existing_documents.delete()
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response(
|
||||||
|
{"error": f"Error al eliminar documentos: {str(e)}"},
|
||||||
|
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||||
|
)
|
||||||
|
|
||||||
|
# Agregar errores para IDs no encontrados
|
||||||
|
if failed_ids:
|
||||||
|
errors = [f"No se encontró el documento con ID {id} o no pertenece a su organización" for id in failed_ids]
|
||||||
|
|
||||||
|
# Convertir bytes a MB para la respuesta
|
||||||
|
space_freed_mb = round(total_space_freed / (1024 * 1024), 2)
|
||||||
|
|
||||||
|
# Preparar respuesta
|
||||||
|
response_data = {
|
||||||
|
"deleted_count": deleted_count,
|
||||||
|
"deleted_ids": existing_ids_str,
|
||||||
|
"space_freed_mb": space_freed_mb
|
||||||
|
}
|
||||||
|
|
||||||
|
if failed_ids:
|
||||||
|
response_data.update({
|
||||||
|
"message": "Algunos documentos no pudieron ser eliminados",
|
||||||
|
"failed_ids": failed_ids,
|
||||||
|
"errors": errors
|
||||||
|
})
|
||||||
|
response_status = status.HTTP_207_MULTI_STATUS
|
||||||
|
else:
|
||||||
|
response_data["message"] = "Documentos eliminados exitosamente"
|
||||||
|
response_status = status.HTTP_200_OK
|
||||||
|
|
||||||
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
|
|
||||||
@action(detail=False, methods=['post'], url_path='bulk-upload', parser_classes=[MultiPartParser])
|
@action(detail=False, methods=['post'], url_path='bulk-upload', parser_classes=[MultiPartParser])
|
||||||
def bulk_upload(self, request):
|
def bulk_upload(self, request):
|
||||||
"""
|
"""
|
||||||
@@ -666,6 +1263,295 @@ class DocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
|
|
||||||
return Response(response_data, status=response_status)
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
|
@action(detail=False, methods=['post'], url_path='bulk-upload-vu', parser_classes=[MultiPartParser])
|
||||||
|
def bulk_upload_vu(self, request):
|
||||||
|
"""
|
||||||
|
Endpoint para subir múltiples documentos a un pedimento específico.
|
||||||
|
|
||||||
|
FormData esperado:
|
||||||
|
- pedimento_id: UUID del pedimento (requerido)
|
||||||
|
- files: Lista de archivos a subir (requerido)
|
||||||
|
|
||||||
|
Nota: Se usa automáticamente el tipo de documento "Documento General"
|
||||||
|
|
||||||
|
Respuesta exitosa:
|
||||||
|
{
|
||||||
|
"message": "Documentos subidos exitosamente",
|
||||||
|
"uploaded_count": 5,
|
||||||
|
"uploaded_documents": [
|
||||||
|
{
|
||||||
|
"id": "uuid1",
|
||||||
|
"filename": "documento1.pdf",
|
||||||
|
"size": 1024000,
|
||||||
|
"extension": "pdf"
|
||||||
|
},
|
||||||
|
...
|
||||||
|
],
|
||||||
|
"space_used_mb": 25.6,
|
||||||
|
"failed_files": [],
|
||||||
|
"errors": []
|
||||||
|
}
|
||||||
|
|
||||||
|
Respuesta con errores:
|
||||||
|
{
|
||||||
|
"message": "Algunos documentos no pudieron ser subidos",
|
||||||
|
"uploaded_count": 3,
|
||||||
|
"uploaded_documents": [...],
|
||||||
|
"space_used_mb": 15.2,
|
||||||
|
"failed_files": ["archivo4.pdf", "archivo5.doc"],
|
||||||
|
"errors": ["Archivo demasiado grande: archivo4.pdf", "Tipo de archivo no soportado: archivo5.doc"]
|
||||||
|
}
|
||||||
|
"""
|
||||||
|
|
||||||
|
# Validar datos requeridos
|
||||||
|
pedimento_id = request.data.get('pedimento_id')
|
||||||
|
if not pedimento_id:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere el campo 'pedimento_id'"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
tab_seccion = request.data.get('tab_seccion')
|
||||||
|
if not tab_seccion:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere el campo 'tab_seccion'"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
numero_documento = request.data.get('numero')
|
||||||
|
if not numero_documento:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere el campo 'numero'"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
files = request.FILES.getlist('files')
|
||||||
|
if not files:
|
||||||
|
return Response(
|
||||||
|
{"error": "Se requiere al menos un archivo para subir"},
|
||||||
|
status=status.HTTP_400_BAD_REQUEST
|
||||||
|
)
|
||||||
|
|
||||||
|
# Validar usuario autenticado
|
||||||
|
if not request.user.is_authenticated:
|
||||||
|
return Response(
|
||||||
|
{"error": "Usuario no autenticado"},
|
||||||
|
status=status.HTTP_401_UNAUTHORIZED
|
||||||
|
)
|
||||||
|
|
||||||
|
# Obtener el pedimento primero para usar su organización
|
||||||
|
from api.customs.models import Pedimento
|
||||||
|
try:
|
||||||
|
pedimento = Pedimento.objects.get(id=pedimento_id)
|
||||||
|
except Pedimento.DoesNotExist:
|
||||||
|
return Response(
|
||||||
|
{"error": "Pedimento no encontrado"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
|
# Usar la organización del pedimento
|
||||||
|
organizacion = pedimento.organizacion
|
||||||
|
|
||||||
|
# Validar que el usuario tenga permisos para esta organización
|
||||||
|
if not request.user.is_superuser:
|
||||||
|
if not hasattr(request.user, 'organizacion') or request.user.organizacion != organizacion:
|
||||||
|
return Response(
|
||||||
|
{"error": "No tienes permisos para subir documentos a este pedimento"},
|
||||||
|
status=status.HTTP_403_FORBIDDEN
|
||||||
|
)
|
||||||
|
|
||||||
|
uploaded_documents = []
|
||||||
|
failed_files = []
|
||||||
|
errors = []
|
||||||
|
total_space_used = 0
|
||||||
|
|
||||||
|
try:
|
||||||
|
with transaction.atomic():
|
||||||
|
# Obtener uso de almacenamiento
|
||||||
|
uso = UsoAlmacenamiento.objects.select_for_update().get_or_create(
|
||||||
|
organizacion=organizacion,
|
||||||
|
defaults={'espacio_utilizado': 0}
|
||||||
|
)[0]
|
||||||
|
|
||||||
|
# Calcular límites
|
||||||
|
max_almacenamiento_bytes = organizacion.licencia.almacenamiento * 1024 ** 3
|
||||||
|
espacio_inicial = uso.espacio_utilizado
|
||||||
|
|
||||||
|
# Calcular el tamaño total de todos los archivos
|
||||||
|
total_files_size = sum(file.size for file in files)
|
||||||
|
nuevo_espacio_total = espacio_inicial + total_files_size
|
||||||
|
|
||||||
|
# Validar que hay espacio suficiente para todos los archivos
|
||||||
|
if nuevo_espacio_total > max_almacenamiento_bytes:
|
||||||
|
espacio_faltante = nuevo_espacio_total - max_almacenamiento_bytes
|
||||||
|
return Response({
|
||||||
|
"error": "Espacio de almacenamiento insuficiente para todos los archivos",
|
||||||
|
"detalle": {
|
||||||
|
"espacio_faltante_gb": round(espacio_faltante / (1024 ** 3), 2),
|
||||||
|
"espacio_utilizado_gb": round(espacio_inicial / (1024 ** 3), 2),
|
||||||
|
"limite_gb": organizacion.licencia.almacenamiento,
|
||||||
|
"archivos_gb": round(total_files_size / (1024 ** 3), 4),
|
||||||
|
"total_archivos": len(files)
|
||||||
|
},
|
||||||
|
"codigo": "bulk_storage_limit_exceeded"
|
||||||
|
}, status=status.HTTP_400_BAD_REQUEST)
|
||||||
|
|
||||||
|
# Procesar cada archivo
|
||||||
|
espacio_usado_temp = espacio_inicial
|
||||||
|
|
||||||
|
for file in files:
|
||||||
|
try:
|
||||||
|
|
||||||
|
nuevo_nombre = file.name
|
||||||
|
|
||||||
|
# Validaciones por archivo
|
||||||
|
if not file.name:
|
||||||
|
failed_files.append("archivo_sin_nombre")
|
||||||
|
errors.append("Archivo sin nombre detectado")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# secciones = file.name.split('.')[-1].lower() if '.' in file.name else ''
|
||||||
|
|
||||||
|
filename = file.name
|
||||||
|
if '.' in filename:
|
||||||
|
base = '.'.join(filename.split('.')[:-1]) # todo excepto la última parte
|
||||||
|
secciones = filename.split('.')[-1] # la última “extensión” / flag
|
||||||
|
else:
|
||||||
|
base = filename
|
||||||
|
secciones = ""
|
||||||
|
|
||||||
|
file.name = base
|
||||||
|
|
||||||
|
# Obtener extensión del archivo
|
||||||
|
extension = file.name.split('.')[-1].lower() if '.' in file.name else ''
|
||||||
|
|
||||||
|
if tab_seccion == 'partida':
|
||||||
|
|
||||||
|
# Construir nombre nuevo
|
||||||
|
nuevo_nombre = f"vu_PT_{pedimento.pedimento_app}_{numero_documento}.{extension}"
|
||||||
|
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Pedimento Partida",
|
||||||
|
defaults={'descripcion': "Tag para saber que el archivo guarda una partida"}
|
||||||
|
)
|
||||||
|
|
||||||
|
elif tab_seccion == 'cove':
|
||||||
|
|
||||||
|
if secciones == 'general':
|
||||||
|
nuevo_nombre = f"vu_COVE_{pedimento.pedimento_app}_{numero_documento}.{extension}"
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Cove",
|
||||||
|
defaults={'descripcion': "Tag para saber que el archivo guarda un cove"}
|
||||||
|
)
|
||||||
|
elif secciones == 'acuse':
|
||||||
|
nuevo_nombre = f"vu_AC_COVE_{pedimento.pedimento_app}_{numero_documento}.{extension}"
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Acuse Cove",
|
||||||
|
defaults={'descripcion': "Tag para saber que el archivo guarda un acuse de cove"}
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Documento General",
|
||||||
|
defaults={'descripcion': "Documento general sin tipo específico"}
|
||||||
|
)
|
||||||
|
|
||||||
|
elif tab_seccion == 'edoc':
|
||||||
|
|
||||||
|
if secciones == 'general':
|
||||||
|
nuevo_nombre = f"vu_ED_{pedimento.pedimento_app}_{numero_documento}.{extension}"
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Pedimento EDocument",
|
||||||
|
defaults={'descripcion': "Tag para saber que el documento es un EDocument"}
|
||||||
|
)
|
||||||
|
elif secciones == 'acuse':
|
||||||
|
nuevo_nombre = f"vu_AC_{pedimento.pedimento_app}_{numero_documento}.{extension}"
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Pedimento Acuse",
|
||||||
|
defaults={'descripcion': "Tag para saber que el documento es un Acuse"}
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
# Usar tipo de documento por defecto siempre
|
||||||
|
document_type, created = DocumentType.objects.get_or_create(
|
||||||
|
nombre="Documento General",
|
||||||
|
defaults={'descripcion': "Documento general sin tipo específico"}
|
||||||
|
)
|
||||||
|
else:
|
||||||
|
failed_files.append("archivo_sin_seccion")
|
||||||
|
errors.append("Archivo sin seccion")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Renombrar archivo
|
||||||
|
file.name = nuevo_nombre
|
||||||
|
|
||||||
|
# Crear el documento
|
||||||
|
document = Document.objects.create(
|
||||||
|
organizacion=organizacion,
|
||||||
|
pedimento_id=pedimento_id,
|
||||||
|
document_type=document_type,
|
||||||
|
archivo=file,
|
||||||
|
size=file.size,
|
||||||
|
fuente_id=7,
|
||||||
|
extension=extension
|
||||||
|
)
|
||||||
|
|
||||||
|
# Actualizar espacio usado
|
||||||
|
espacio_usado_temp += file.size
|
||||||
|
total_space_used += file.size
|
||||||
|
|
||||||
|
uploaded_documents.append({
|
||||||
|
"id": str(document.id),
|
||||||
|
"filename": file.name,
|
||||||
|
"size": file.size,
|
||||||
|
"extension": extension,
|
||||||
|
"document_type": document_type.nombre
|
||||||
|
})
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
failed_files.append(file.name)
|
||||||
|
errors.append(f"Error al procesar {file.name}: {str(e)}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Actualizar el uso de almacenamiento final
|
||||||
|
uso.espacio_utilizado = espacio_usado_temp
|
||||||
|
uso.save()
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response(
|
||||||
|
{"error": f"Error durante el procesamiento masivo: {str(e)}"},
|
||||||
|
status=status.HTTP_500_INTERNAL_SERVER_ERROR
|
||||||
|
)
|
||||||
|
|
||||||
|
# Convertir bytes a MB para la respuesta
|
||||||
|
space_used_mb = round(total_space_used / (1024 * 1024), 2)
|
||||||
|
|
||||||
|
# Preparar respuesta
|
||||||
|
response_data = {
|
||||||
|
"uploaded_count": len(uploaded_documents),
|
||||||
|
"uploaded_documents": uploaded_documents,
|
||||||
|
"space_used_mb": space_used_mb,
|
||||||
|
"pedimento_id": str(pedimento_id),
|
||||||
|
"document_type": document_type.nombre
|
||||||
|
}
|
||||||
|
|
||||||
|
if failed_files:
|
||||||
|
response_data.update({
|
||||||
|
"message": "Algunos documentos no pudieron ser subidos",
|
||||||
|
"failed_files": failed_files,
|
||||||
|
"errors": errors
|
||||||
|
})
|
||||||
|
response_status = status.HTTP_207_MULTI_STATUS
|
||||||
|
else:
|
||||||
|
response_data["message"] = "Documentos subidos exitosamente"
|
||||||
|
response_status = status.HTTP_201_CREATED
|
||||||
|
|
||||||
|
return Response(response_data, status=response_status)
|
||||||
|
|
||||||
class ProtectedDocumentDownloadView(APIView, DocumentosFiltradosMixin):
|
class ProtectedDocumentDownloadView(APIView, DocumentosFiltradosMixin):
|
||||||
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
serializer_class = DocumentSerializer
|
serializer_class = DocumentSerializer
|
||||||
@@ -925,15 +1811,36 @@ class PedimentoDocumentViewSet(viewsets.ModelViewSet, DocumentosFiltradosMixin):
|
|||||||
|
|
||||||
def get_queryset(self):
|
def get_queryset(self):
|
||||||
queryset = self.get_queryset_filtrado_por_organizacion()
|
queryset = self.get_queryset_filtrado_por_organizacion()
|
||||||
|
pedimento_id = self.request.query_params.get('pedimento')
|
||||||
|
|
||||||
|
# Obtener el pedimento primero para usar su organización
|
||||||
|
from api.customs.models import Pedimento
|
||||||
|
try:
|
||||||
|
pedimento = Pedimento.objects.get(id=pedimento_id)
|
||||||
|
except Pedimento.DoesNotExist:
|
||||||
|
return Response(
|
||||||
|
{"error": "Pedimento no encontrado"},
|
||||||
|
status=status.HTTP_404_NOT_FOUND
|
||||||
|
)
|
||||||
|
|
||||||
# Tipos de documento permitidos (fijos en código, Pedimento completo y remesas)
|
# Tipos de documento permitidos (fijos en código, Pedimento completo y remesas)
|
||||||
TIPOS_PERMITIDOS = ['2', '3'] # <-- Ajusta aquí tus tipos
|
TIPOS_PERMITIDOS = ['2', '3'] # <-- Ajusta aquí tus tipos
|
||||||
tipo_documento = self.request.query_params.get('document_type')
|
tipo_documento = self.request.query_params.get('document_type')
|
||||||
if tipo_documento:
|
if tipo_documento:
|
||||||
queryset = queryset.filter(document_type_id=tipo_documento)
|
if tipo_documento == '2':
|
||||||
|
queryset = queryset.filter(archivo__startswith=f'documents/vu_PC_{pedimento.pedimento_app}.xml')
|
||||||
|
elif tipo_documento == '3':
|
||||||
|
queryset = queryset.filter(archivo__startswith=f'documents/vu_RM_{pedimento.pedimento_app}.xml')
|
||||||
|
else:
|
||||||
|
queryset = queryset.filter(archivo__startswith=f'documents/NOTFOUND_{pedimento.pedimento_app}.xml')
|
||||||
|
|
||||||
else:
|
else:
|
||||||
# Filtrar por tipos permitidos
|
# Filtrar por tipos permitidos
|
||||||
queryset = queryset.filter(document_type_id__in=TIPOS_PERMITIDOS)
|
# queryset = queryset.filter(document_type_id__in=TIPOS_PERMITIDOS)
|
||||||
|
queryset = queryset.filter(
|
||||||
|
Q(archivo__startswith=f'documents/vu_PC_{pedimento.pedimento_app}.xml') |
|
||||||
|
Q(archivo__startswith=f'documents/vu_RM_{pedimento.pedimento_app}.xml')
|
||||||
|
)
|
||||||
|
|
||||||
buscar_archivo = self.request.query_params.get('archivo__icontains')
|
buscar_archivo = self.request.query_params.get('archivo__icontains')
|
||||||
if buscar_archivo:
|
if buscar_archivo:
|
||||||
|
|||||||
@@ -9,10 +9,15 @@ class ReportDocument(models.Model):
|
|||||||
('ready', 'Listo'),
|
('ready', 'Listo'),
|
||||||
('error', 'Error'),
|
('error', 'Error'),
|
||||||
]
|
]
|
||||||
|
TYPE_REPORT = [
|
||||||
|
('cumplimiento', 'cumplimiento'),
|
||||||
|
('control_pedimento', 'control_pedimento'),
|
||||||
|
]
|
||||||
user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='report_documents')
|
user = models.ForeignKey(get_user_model(), on_delete=models.CASCADE, related_name='report_documents')
|
||||||
filters = models.JSONField(blank=True, null=True)
|
filters = models.JSONField(blank=True, null=True)
|
||||||
status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
|
status = models.CharField(max_length=20, choices=STATUS_CHOICES, default='pending')
|
||||||
file = models.FileField(upload_to='reports/', blank=True, null=True)
|
file = models.FileField(upload_to='reports/', blank=True, null=True)
|
||||||
|
report_type = models.CharField(max_length=30, choices=TYPE_REPORT, default='cumplimiento')
|
||||||
error_message = models.TextField(blank=True, null=True)
|
error_message = models.TextField(blank=True, null=True)
|
||||||
created_at = models.DateTimeField(auto_now_add=True)
|
created_at = models.DateTimeField(auto_now_add=True)
|
||||||
finished_at = models.DateTimeField(blank=True, null=True)
|
finished_at = models.DateTimeField(blank=True, null=True)
|
||||||
|
|||||||
@@ -1,9 +1,12 @@
|
|||||||
from celery import shared_task
|
from celery import shared_task
|
||||||
|
from api.organization.models import Organizacion
|
||||||
from django.core.files.base import ContentFile
|
from django.core.files.base import ContentFile
|
||||||
from django.utils import timezone
|
from django.utils import timezone
|
||||||
from api.reports.models import ReportDocument
|
from api.reports.models import ReportDocument
|
||||||
from api.customs.models import Pedimento, Cove, EDocument, Partida
|
from api.customs.models import Pedimento, Cove, EDocument, Partida
|
||||||
from django.db.models import Q
|
from django.db.models import Q, Exists, OuterRef
|
||||||
|
# from django.db.models import Q,
|
||||||
|
from api.record.models import Document
|
||||||
import csv
|
import csv
|
||||||
import os
|
import os
|
||||||
from django.conf import settings
|
from django.conf import settings
|
||||||
@@ -15,7 +18,6 @@ def generate_report_document(report_id):
|
|||||||
report.status = 'processing'
|
report.status = 'processing'
|
||||||
report.save(update_fields=['status'])
|
report.save(update_fields=['status'])
|
||||||
filters = report.filters or {}
|
filters = report.filters or {}
|
||||||
# Construir Q para filtros complejos
|
|
||||||
pedimentos_filters = Q()
|
pedimentos_filters = Q()
|
||||||
if filters.get('organizacion_id'):
|
if filters.get('organizacion_id'):
|
||||||
pedimentos_filters &= Q(organizacion_id=filters['organizacion_id'])
|
pedimentos_filters &= Q(organizacion_id=filters['organizacion_id'])
|
||||||
@@ -83,3 +85,199 @@ def generate_report_document(report_id):
|
|||||||
report.error_message = str(e)
|
report.error_message = str(e)
|
||||||
report.finished_at = timezone.now()
|
report.finished_at = timezone.now()
|
||||||
report.save(update_fields=['status', 'error_message', 'finished_at'])
|
report.save(update_fields=['status', 'error_message', 'finished_at'])
|
||||||
|
|
||||||
|
@shared_task
|
||||||
|
def generate_report_control_pedimento(report_id):
|
||||||
|
try:
|
||||||
|
|
||||||
|
report = ReportDocument.objects.get(id=report_id)
|
||||||
|
report.status = 'processing'
|
||||||
|
report.save(update_fields=['status'])
|
||||||
|
filters = report.filters or {}
|
||||||
|
|
||||||
|
|
||||||
|
# Construir filtros
|
||||||
|
pedimentos_filters = {}
|
||||||
|
if filters.get('organizacion_id'):
|
||||||
|
pedimentos_filters['organizacion_id'] = filters['organizacion_id']
|
||||||
|
if filters.get('fecha_pago__gte'):
|
||||||
|
pedimentos_filters['fecha_pago__gte'] = filters['fecha_pago__gte']
|
||||||
|
if filters.get('fecha_pago__lte'):
|
||||||
|
pedimentos_filters['fecha_pago__lte'] = filters['fecha_pago__lte']
|
||||||
|
if filters.get('pedimento_app'):
|
||||||
|
pedimentos_filters['pedimento_app'] = filters['pedimento_app']
|
||||||
|
|
||||||
|
# pedimentos por organizacion
|
||||||
|
pedimentos_qs = Pedimento.objects.filter(**pedimentos_filters)
|
||||||
|
pedimentos_total = pedimentos_qs.count()
|
||||||
|
|
||||||
|
|
||||||
|
pedimento_ids = list(pedimentos_qs.values_list('id', flat=True))
|
||||||
|
rfcs_raw = list(pedimentos_qs.values_list('agente_aduanal', flat=True))
|
||||||
|
|
||||||
|
# inicializar totales
|
||||||
|
pedimentos_completos = 0
|
||||||
|
total_documentos = 0
|
||||||
|
documentos_sin_descargar = 0
|
||||||
|
|
||||||
|
nombre_organizacion = ''
|
||||||
|
if filters.get('organizacion_id'):
|
||||||
|
try:
|
||||||
|
# Asumo que tienes un modelo Organizacion - ajusta según tu modelo real
|
||||||
|
organizacion = Organizacion.objects.get(id=filters['organizacion_id'])
|
||||||
|
nombre_organizacion = organizacion.nombre # ajusta el campo según tu modelo
|
||||||
|
except Organizacion.DoesNotExist:
|
||||||
|
nombre_organizacion = f"ID: {filters['organizacion_id']}"
|
||||||
|
except Exception as e:
|
||||||
|
nombre_organizacion = f"Error: {str(e)}"
|
||||||
|
|
||||||
|
# lista de rfc
|
||||||
|
rfc_list = ', '.join(sorted(set([rfc for rfc in rfcs_raw if rfc])))
|
||||||
|
|
||||||
|
fecha_inicio = ''
|
||||||
|
fecha_fin = ''
|
||||||
|
|
||||||
|
if pedimentos_qs.exists():
|
||||||
|
primer_pedimento = pedimentos_qs.order_by('fecha_pago').first()
|
||||||
|
if primer_pedimento and primer_pedimento.fecha_pago:
|
||||||
|
fecha_inicio = primer_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||||
|
|
||||||
|
ultimo_pedimento = pedimentos_qs.order_by('-fecha_pago').first()
|
||||||
|
if ultimo_pedimento and ultimo_pedimento.fecha_pago:
|
||||||
|
fecha_fin = ultimo_pedimento.fecha_pago.strftime('%Y-%m-%d')
|
||||||
|
|
||||||
|
# Para cada pedimento, verificar si está completo
|
||||||
|
for pedimento in pedimentos_qs:
|
||||||
|
# Contar documentos de este pedimento
|
||||||
|
docs_pedimento = 0
|
||||||
|
docs_pendientes_pedimento = 0
|
||||||
|
|
||||||
|
# COVES
|
||||||
|
coves_count = Cove.objects.filter(pedimento_id=pedimento.id).count()
|
||||||
|
coves_pendientes = Cove.objects.filter(pedimento_id=pedimento.id, cove_descargado=False).count()
|
||||||
|
docs_pedimento += coves_count
|
||||||
|
docs_pendientes_pedimento += coves_pendientes
|
||||||
|
|
||||||
|
# PARTIDAS
|
||||||
|
partidas_count = Partida.objects.filter(pedimento_id=pedimento.id).count()
|
||||||
|
partidas_pendientes = Partida.objects.filter(pedimento_id=pedimento.id, descargado=False).count()
|
||||||
|
docs_pedimento += partidas_count
|
||||||
|
docs_pendientes_pedimento += partidas_pendientes
|
||||||
|
|
||||||
|
# EDOCUMENTS
|
||||||
|
edocs_count = EDocument.objects.filter(pedimento_id=pedimento.id).count()
|
||||||
|
edocs_pendientes = EDocument.objects.filter(pedimento_id=pedimento.id, edocument_descargado=False).count()
|
||||||
|
docs_pedimento += edocs_count
|
||||||
|
docs_pendientes_pedimento += edocs_pendientes
|
||||||
|
|
||||||
|
# Acumular totales
|
||||||
|
total_documentos += docs_pedimento
|
||||||
|
documentos_sin_descargar += docs_pendientes_pedimento
|
||||||
|
|
||||||
|
# Si no tiene documentos pendientes, está completo
|
||||||
|
if docs_pendientes_pedimento == 0 and docs_pedimento > 0:
|
||||||
|
pedimentos_completos += 1
|
||||||
|
|
||||||
|
# 3. PORCENTAJE
|
||||||
|
porcentaje_faltantes = (documentos_sin_descargar / total_documentos * 100) if total_documentos > 0 else 0
|
||||||
|
|
||||||
|
# 4. GENERAR CSV CON DETALLES
|
||||||
|
filename = f"report_{report.id}_{timezone.now().strftime('%Y%m%d%H%M%S')}.csv"
|
||||||
|
file_path = os.path.join(settings.MEDIA_ROOT, 'reports', filename)
|
||||||
|
os.makedirs(os.path.dirname(file_path), exist_ok=True)
|
||||||
|
|
||||||
|
todas_las_filas = []
|
||||||
|
|
||||||
|
# Recopilar datos detallados - UNA FILA POR CADA DOCUMENTO
|
||||||
|
for pedimento in pedimentos_qs:
|
||||||
|
# DATOS BASE DEL PEDIMENTO (se repiten en cada fila)
|
||||||
|
datos_base_pedimento = [
|
||||||
|
pedimento.aduana or '',
|
||||||
|
pedimento.patente or '',
|
||||||
|
pedimento.regimen or '',
|
||||||
|
pedimento.pedimento or '', # No. Pedimento (7 dígitos)
|
||||||
|
pedimento.pedimento_app or '', # No. Pedimento App completo
|
||||||
|
pedimento.clave_pedimento or '',
|
||||||
|
pedimento.tipo_operacion.tipo if pedimento.tipo_operacion else '',
|
||||||
|
str(pedimento.contribuyente_id) if pedimento.contribuyente_id else ''
|
||||||
|
]
|
||||||
|
|
||||||
|
# COVES - Una fila por cada COVE
|
||||||
|
coves = Cove.objects.filter(pedimento_id=pedimento.id)
|
||||||
|
for cove in coves:
|
||||||
|
estado = 'VERDADERO' if cove.cove_descargado else 'FALSO'
|
||||||
|
fila = datos_base_pedimento + [
|
||||||
|
# str(cove.id), # Identificador de documento
|
||||||
|
cove.numero_cove,
|
||||||
|
'COVE', # Tipo de documento
|
||||||
|
estado
|
||||||
|
]
|
||||||
|
todas_las_filas.append(fila)
|
||||||
|
|
||||||
|
# PARTIDAS - Una fila por cada Partida
|
||||||
|
partidas = Partida.objects.filter(pedimento_id=pedimento.id)
|
||||||
|
for partida in partidas:
|
||||||
|
estado = 'VERDADERO' if partida.descargado else 'FALSO'
|
||||||
|
fila = datos_base_pedimento + [
|
||||||
|
# str(partida.id),
|
||||||
|
partida.numero_partida,
|
||||||
|
'PARTIDA', # Tipo de documento
|
||||||
|
estado
|
||||||
|
]
|
||||||
|
todas_las_filas.append(fila)
|
||||||
|
|
||||||
|
# EDOCUMENTS - Una fila por cada EDocument
|
||||||
|
edocuments = EDocument.objects.filter(pedimento_id=pedimento.id)
|
||||||
|
for edoc in edocuments:
|
||||||
|
estado = 'VERDADERO' if edoc.edocument_descargado else 'FALSO'
|
||||||
|
fila = datos_base_pedimento + [
|
||||||
|
# str(edoc.id),
|
||||||
|
edoc.numero_edocument,
|
||||||
|
'EDOCUMENT', # Tipo de documento
|
||||||
|
estado
|
||||||
|
]
|
||||||
|
todas_las_filas.append(fila)
|
||||||
|
|
||||||
|
# 5. ESCRIBIR ARCHIVO CSV
|
||||||
|
with open(file_path, 'w', newline='', encoding='utf-8') as f:
|
||||||
|
writer = csv.writer(f)
|
||||||
|
|
||||||
|
# SECCIÓN DE TOTALES
|
||||||
|
writer.writerow(['RESUMEN DEL REPORTE - CONTROL DE PEDIMENTOS'])
|
||||||
|
writer.writerow(['ORGANIZACION:', nombre_organizacion])
|
||||||
|
writer.writerow([])
|
||||||
|
writer.writerow(['TOTAL DE EXPEDIENTES:', pedimentos_total])
|
||||||
|
writer.writerow(['TOTAL DE EXPEDIENTES COMPLETOS:', pedimentos_completos])
|
||||||
|
writer.writerow(['TOTAL DE DOCUMENTOS:', total_documentos])
|
||||||
|
writer.writerow(['DOCUMENTOS SIN DESCARGAR:', documentos_sin_descargar])
|
||||||
|
writer.writerow(['PORCENTAJE DE DOCUMENTOS FALTANTES (%):', f"{porcentaje_faltantes:.2f}%"])
|
||||||
|
writer.writerow(['DESDE: ', fecha_inicio, ' HASTA: ', fecha_fin])
|
||||||
|
writer.writerow(['LISTA RFC:', rfc_list])
|
||||||
|
writer.writerow([])
|
||||||
|
writer.writerow([])
|
||||||
|
|
||||||
|
# ENCABEZADOS DE DATOS (según requerimiento)
|
||||||
|
headers = [
|
||||||
|
'ADUANA', 'PATENTE', 'REGIMEN', 'NO. PEDIMENTO', 'PEDIMENTO_APP',
|
||||||
|
'CLAVE_PEDIMENTO', 'TIPO_OPERACION', 'CONTRIBUYENTE_ID',
|
||||||
|
'IDENTIFICADOR_DOCUMENTO', 'TIPO_DOCUMENTO', 'ESTADO'
|
||||||
|
]
|
||||||
|
writer.writerow(headers)
|
||||||
|
|
||||||
|
# DATOS DETALLADOS
|
||||||
|
for fila in todas_las_filas:
|
||||||
|
writer.writerow(fila)
|
||||||
|
|
||||||
|
|
||||||
|
with open(file_path, 'rb') as f:
|
||||||
|
report.file.save(filename, ContentFile(f.read()), save=True)
|
||||||
|
|
||||||
|
report.status = 'ready'
|
||||||
|
report.finished_at = timezone.now()
|
||||||
|
report.save(update_fields=['status', 'file', 'finished_at'])
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
report.status = 'error'
|
||||||
|
report.error_message = str(e)
|
||||||
|
report.finished_at = timezone.now()
|
||||||
|
report.save(update_fields=['status', 'error_message', 'finished_at'])
|
||||||
@@ -1,10 +1,12 @@
|
|||||||
from django.urls import path, include
|
from django.urls import path, include
|
||||||
from .views import ExportModelView, dashboard_summary
|
from .views import ExportModelView, ExportDataStageView, dashboard_summary
|
||||||
# from .views_stats import documentos_por_fecha
|
# from .views_stats import documentos_por_fecha
|
||||||
from .views_table import table_summary, report_document_status, report_document_list, report_document_download
|
from .views_table import table_summary, report_document_status, report_document_list, report_document_download, control_pedimento
|
||||||
|
|
||||||
urlpatterns = [
|
urlpatterns = [
|
||||||
path('exportmodel/', ExportModelView.as_view(), name='export-model'),
|
path('exportmodel/', ExportModelView.as_view(), name='export-model'),
|
||||||
|
path('exportmodel/datastage/', ExportDataStageView.as_view(), name='export-datastage-model'),
|
||||||
|
path('control-pedimento/', control_pedimento, name='control_pedimento'),
|
||||||
path('dashboard/summary/', dashboard_summary, name='dashboard-summary'),
|
path('dashboard/summary/', dashboard_summary, name='dashboard-summary'),
|
||||||
#path('documentos-por-fecha/', documentos_por_fecha, name='documentos-por-fecha'),
|
#path('documentos-por-fecha/', documentos_por_fecha, name='documentos-por-fecha'),
|
||||||
path('table-summary/', table_summary, name='table-summary'),
|
path('table-summary/', table_summary, name='table-summary'),
|
||||||
|
|||||||
@@ -48,7 +48,10 @@ from core.permissions import (
|
|||||||
IsSuperUser
|
IsSuperUser
|
||||||
)
|
)
|
||||||
from .serializers import ExportModelSerializer
|
from .serializers import ExportModelSerializer
|
||||||
|
import uuid
|
||||||
|
import datetime
|
||||||
|
import zipfile
|
||||||
|
from django.db import models
|
||||||
|
|
||||||
def export_model_to_csv(request, model_name, fields, module='datastage', filters=None):
|
def export_model_to_csv(request, model_name, fields, module='datastage', filters=None):
|
||||||
model = apps.get_model(module, model_name)
|
model = apps.get_model(module, model_name)
|
||||||
@@ -86,11 +89,797 @@ def export_model_to_excel(request, model_name, fields, module='datastage', filte
|
|||||||
response['Content-Disposition'] = f'attachment; filename="{model_name}.xlsx"'
|
response['Content-Disposition'] = f'attachment; filename="{model_name}.xlsx"'
|
||||||
return response
|
return response
|
||||||
|
|
||||||
|
# class ControlPedimentoView(APIView):
|
||||||
|
# my_tags = ['Control-Pedimento']
|
||||||
|
# permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
|
|
||||||
|
# @swagger_auto_schema(request_body=ExportModelSerializer, responses={200: 'Archivo generado (Excel o CSV)'})
|
||||||
|
# def post(self, request, *args, **kwargs):
|
||||||
|
# """
|
||||||
|
# Endpoint específico para exportación de DataStage con soporte múltiple
|
||||||
|
# """
|
||||||
|
# # Verificar si es modo múltiple
|
||||||
|
# modo = request.data.get('modo', 'simple')
|
||||||
|
|
||||||
|
# if modo == 'multiple':
|
||||||
|
# return self.handle_multiple_export(request)
|
||||||
|
# else:
|
||||||
|
# return self.handle_simple_export(request)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
class ExportDataStageView(APIView):
|
||||||
|
my_tags = ['Reportes-DataStage']
|
||||||
|
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
|
|
||||||
|
# Constantes para partición
|
||||||
|
# MAX_RECORDS_PER_FILE = 100 # Límite seguro por archivo
|
||||||
|
MAX_RECORDS_PER_FILE = 120000 # Límite seguro por archivo
|
||||||
|
|
||||||
|
def safe_excel_value(self, value):
|
||||||
|
"""
|
||||||
|
Convierte cualquier valor a un formato seguro para Excel
|
||||||
|
"""
|
||||||
|
if value is None:
|
||||||
|
return ''
|
||||||
|
elif isinstance(value, (uuid.UUID,)):
|
||||||
|
return str(value)
|
||||||
|
elif hasattr(value, 'uuid'):
|
||||||
|
return str(value.uuid)
|
||||||
|
elif hasattr(value, 'id'):
|
||||||
|
return str(value.id)
|
||||||
|
elif isinstance(value, (datetime.datetime, datetime.date)):
|
||||||
|
return value.isoformat()
|
||||||
|
elif isinstance(value, (dict, list)):
|
||||||
|
return str(value)
|
||||||
|
else:
|
||||||
|
return str(value)
|
||||||
|
|
||||||
|
@swagger_auto_schema(request_body=ExportModelSerializer, responses={200: 'Archivo generado (Excel o CSV)'})
|
||||||
|
def post(self, request, *args, **kwargs):
|
||||||
|
"""
|
||||||
|
Endpoint específico para exportación de DataStage con soporte múltiple
|
||||||
|
"""
|
||||||
|
# Verificar si es modo múltiple
|
||||||
|
modo = request.data.get('modo', 'simple')
|
||||||
|
|
||||||
|
if modo == 'multiple':
|
||||||
|
return self.handle_multiple_export(request)
|
||||||
|
else:
|
||||||
|
return self.handle_simple_export(request)
|
||||||
|
|
||||||
|
def handle_simple_export(self, request):
|
||||||
|
"""Maneja exportación simple de DataStage (un solo modelo)"""
|
||||||
|
model_name = request.data.get('model')
|
||||||
|
fields = request.data.get('fields')
|
||||||
|
global_filters = request.data.get('globalFilters', {})
|
||||||
|
export_type = request.data.get('format', 'csv')
|
||||||
|
module = 'datastage'
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
return Response({'error': 'model and fields are required'}, status=status.HTTP_400_BAD_REQUEST)
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model(module, model_name)
|
||||||
|
filters = self.apply_global_filters_to_model(global_filters, model, request.user)
|
||||||
|
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if export_type == 'excel':
|
||||||
|
# Verificar si necesita partición
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
return self.export_single_model_partitioned(request, model_name, fields, filters, total_records)
|
||||||
|
else:
|
||||||
|
return export_model_to_excel(request, model_name, fields, module, filters)
|
||||||
|
else:
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
return self.export_single_model_csv_partitioned(request, model_name, fields, filters, total_records)
|
||||||
|
else:
|
||||||
|
return export_model_to_csv(request, model_name, fields, module, filters)
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
return Response({'error': f'Model {model_name} not found'}, status=status.HTTP_404_NOT_FOUND)
|
||||||
|
|
||||||
|
def handle_multiple_export(self, request):
|
||||||
|
"""Maneja exportación múltiple de DataStage (varios modelos)"""
|
||||||
|
models_data = request.data.get('models', [])
|
||||||
|
export_type = request.data.get('format', 'csv')
|
||||||
|
global_filters = request.data.get('globalFilters', {})
|
||||||
|
|
||||||
|
if not models_data:
|
||||||
|
return Response({'error': 'models are required for multiple export'}, status=status.HTTP_400_BAD_REQUEST)
|
||||||
|
|
||||||
|
related_keys = self.get_related_keys_from_filters(global_filters, models_data, request.user)
|
||||||
|
|
||||||
|
if export_type == 'excel':
|
||||||
|
# Siempre usar el método particionado inteligente para Excel
|
||||||
|
return self.export_datastage_multiple_partitioned_excel(request, models_data, global_filters, related_keys)
|
||||||
|
else:
|
||||||
|
# Para CSV, podemos mantener la lógica actual o mejorarla
|
||||||
|
total_estimated_records = self.estimate_total_records(models_data, global_filters, related_keys, request.user)
|
||||||
|
if total_estimated_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
return self.export_datastage_multiple_partitioned_csv(request, models_data, global_filters, related_keys)
|
||||||
|
else:
|
||||||
|
return self.export_datastage_multiple_to_csv(request, models_data, global_filters, related_keys)
|
||||||
|
|
||||||
|
def estimate_total_records(self, models_data, global_filters, related_keys, user):
|
||||||
|
"""Estima el total de registros para todos los modelos"""
|
||||||
|
total = 0
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, user)
|
||||||
|
total += model.objects.filter(**filters).count()
|
||||||
|
except:
|
||||||
|
continue
|
||||||
|
return total
|
||||||
|
|
||||||
|
def export_datastage_multiple_to_excel(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage con filtrado relacionado (múltiples hojas)"""
|
||||||
|
wb = openpyxl.Workbook()
|
||||||
|
wb.remove(wb.active)
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
|
||||||
|
# 🔥 APLICAR FILTROS RELACIONADOS
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
# Si hay filtros, aplicarlos; si no, obtener todos los registros
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none() # No obtener nada si no hay filtros
|
||||||
|
|
||||||
|
# Si no hay registros, saltar este modelo
|
||||||
|
if queryset.count() == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Crear hoja (limitar nombre a 31 caracteres)
|
||||||
|
sheet_name = model_name[:31]
|
||||||
|
ws = wb.create_sheet(title=sheet_name)
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
# Escribir datos
|
||||||
|
for row in queryset:
|
||||||
|
row_values = []
|
||||||
|
for field in fields:
|
||||||
|
value = row[field]
|
||||||
|
# 🔥 USAR safe_excel_value para convertir valores
|
||||||
|
row_values.append(self.safe_excel_value(value))
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si no se crearon hojas, crear una vacía
|
||||||
|
if len(wb.sheetnames) == 0:
|
||||||
|
ws = wb.create_sheet(title="Sin datos")
|
||||||
|
ws.append(["No se encontraron datos para los modelos especificados"])
|
||||||
|
|
||||||
|
output = io.BytesIO()
|
||||||
|
wb.save(output)
|
||||||
|
output.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(
|
||||||
|
output.read(),
|
||||||
|
content_type='application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
|
||||||
|
)
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_related_report.xlsx"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_excel(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage a múltiples archivos Excel particionados inteligentemente"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
file_counter = 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_records_count = 0
|
||||||
|
MAX_SHEETS_PER_FILE = 10 # Límite de hojas por archivo Excel
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Si el modelo necesita particionarse (más de MAX_RECORDS_PER_FILE)
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Verificar si necesitamos crear nuevo archivo
|
||||||
|
# 1. Si no hay archivo actual
|
||||||
|
# 2. Si ya tenemos muchas hojas en este archivo
|
||||||
|
# 3. Si este archivo ya está "lleno" (muchos registros)
|
||||||
|
if (current_wb is None or
|
||||||
|
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||||
|
current_file_records_count > self.MAX_RECORDS_PER_FILE * 3): # ~150K registros
|
||||||
|
|
||||||
|
if current_wb is not None:
|
||||||
|
# Guardar archivo actual en ZIP
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
|
||||||
|
# Crear nuevo workbook
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active) # Remover hoja por defecto
|
||||||
|
current_file_records_count = 0
|
||||||
|
|
||||||
|
# Crear hoja para esta parte del modelo
|
||||||
|
sheet_name = f"{model_name[:25]}_p{page_num}"
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name[:31])
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
# Escribir datos
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
current_file_records_count += len(page.object_list)
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Modelo pequeño (≤ MAX_RECORDS_PER_FILE)
|
||||||
|
# Verificar si necesitamos nuevo archivo
|
||||||
|
if (current_wb is None or
|
||||||
|
len(current_wb.sheetnames) >= MAX_SHEETS_PER_FILE or
|
||||||
|
current_file_records_count + total_records > self.MAX_RECORDS_PER_FILE * 3):
|
||||||
|
|
||||||
|
if current_wb is not None:
|
||||||
|
# Guardar archivo actual
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
|
||||||
|
# Crear nuevo workbook
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active)
|
||||||
|
current_file_records_count = 0
|
||||||
|
|
||||||
|
# Crear hoja para este modelo
|
||||||
|
sheet_name = model_name[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
# Escribir datos
|
||||||
|
for row in queryset:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
current_file_records_count += total_records
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Guardar el último workbook si existe
|
||||||
|
if current_wb is not None:
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error en exportación particionada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
def export_datastage_multiple_to_csv(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage a múltiples archivos CSV en ZIP"""
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
csv_buffer = io.StringIO()
|
||||||
|
writer = csv.writer(csv_buffer)
|
||||||
|
writer.writerow(fields)
|
||||||
|
|
||||||
|
for row in queryset:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
writer.writerow(row_values)
|
||||||
|
|
||||||
|
# Agregar al ZIP
|
||||||
|
filename = f"{model_name}.csv"
|
||||||
|
zip_file.writestr(filename, csv_buffer.getvalue())
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
def export_datastage_multiple_partitioned_csv(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Exporta múltiples modelos de DataStage a múltiples archivos CSV particionados en ZIP"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
csv_buffer = io.StringIO()
|
||||||
|
writer = csv.writer(csv_buffer)
|
||||||
|
|
||||||
|
writer.writerow(fields)
|
||||||
|
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
writer.writerow(row_values)
|
||||||
|
|
||||||
|
# Agregar al ZIP
|
||||||
|
filename = f"{model_name}_part{page_num}.csv"
|
||||||
|
zip_file.writestr(filename, csv_buffer.getvalue())
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Modelo pequeño, exportar completo
|
||||||
|
csv_buffer = io.StringIO()
|
||||||
|
writer = csv.writer(csv_buffer)
|
||||||
|
|
||||||
|
# Escribir encabezados
|
||||||
|
writer.writerow(fields)
|
||||||
|
|
||||||
|
# Escribir datos
|
||||||
|
for row in queryset:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
writer.writerow(row_values)
|
||||||
|
|
||||||
|
# Agregar al ZIP
|
||||||
|
filename = f"{model_name}.csv"
|
||||||
|
zip_file.writestr(filename, csv_buffer.getvalue())
|
||||||
|
|
||||||
|
except LookupError as e:
|
||||||
|
continue
|
||||||
|
except Exception as e:
|
||||||
|
continue
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error en exportación CSV particionada: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
def export_single_model_partitioned(self, request, model_name, fields, filters, total_records):
|
||||||
|
"""Exporta un solo modelo particionado a ZIP"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
module = 'datastage'
|
||||||
|
|
||||||
|
model = apps.get_model(module, model_name)
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear Excel para esta parte
|
||||||
|
wb = openpyxl.Workbook()
|
||||||
|
ws = wb.active
|
||||||
|
ws.title = f"Parte_{page_num}"[:31]
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
|
||||||
|
filename = f"{model_name}_part{page_num}.xlsx"
|
||||||
|
zip_file.writestr(filename, part_buffer.getvalue())
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
zip_content = zip_buffer.getvalue()
|
||||||
|
|
||||||
|
response = HttpResponse(zip_content, content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = f'attachment; filename="{model_name}_particionado.zip"'
|
||||||
|
response['Content-Length'] = len(zip_content)
|
||||||
|
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error exportando modelo: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
def export_single_model_csv_partitioned(self, request, model_name, fields, filters, total_records):
|
||||||
|
"""Exporta un solo modelo CSV particionado a ZIP"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
module = 'datastage'
|
||||||
|
|
||||||
|
model = apps.get_model(module, model_name)
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
csv_buffer = io.StringIO()
|
||||||
|
writer = csv.writer(csv_buffer)
|
||||||
|
writer.writerow(fields)
|
||||||
|
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
writer.writerow(row_values)
|
||||||
|
|
||||||
|
# Agregar al ZIP
|
||||||
|
filename = f"{model_name}_part{page_num}.csv"
|
||||||
|
zip_file.writestr(filename, csv_buffer.getvalue())
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
zip_content = zip_buffer.getvalue()
|
||||||
|
|
||||||
|
response = HttpResponse(zip_content, content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = f'attachment; filename="{model_name}_particionado.zip"'
|
||||||
|
response['Content-Length'] = len(zip_content)
|
||||||
|
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error exportando modelo CSV: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
|
def get_related_keys_from_filters(self, global_filters, models_data, user):
|
||||||
|
"""
|
||||||
|
Obtiene patentes, pedimentos y datastages que cumplen EXACTAMENTE con TODOS los filtros globales
|
||||||
|
VERSIÓN SIMPLIFICADA - Usa la MISMA lógica que apply_global_filters_to_model
|
||||||
|
"""
|
||||||
|
related_keys = {
|
||||||
|
'patentes': set(),
|
||||||
|
'pedimentos': set(),
|
||||||
|
'datastage_ids': set()
|
||||||
|
}
|
||||||
|
|
||||||
|
# Si no hay filtros, retornar vacío
|
||||||
|
if not any(v for v in global_filters.values() if v not in [None, '']):
|
||||||
|
return {}
|
||||||
|
|
||||||
|
all_records_with_filters = []
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
|
||||||
|
# ¡USAR LA MISMA FUNCIÓN QUE EN MODO SINGULAR!
|
||||||
|
filters = self.apply_global_filters_to_model(global_filters, model, user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
# EJECUTAR CONSULTA - IDÉNTICO A MODO SINGULAR
|
||||||
|
queryset = model.objects.filter(**filters)
|
||||||
|
total = queryset.count()
|
||||||
|
|
||||||
|
# VERIFICACIÓN ESPECIAL PARA RFC
|
||||||
|
if 'rfc' in filters:
|
||||||
|
rfc_value = filters['rfc']
|
||||||
|
# Doble verificación: contar registros con ese RFC exacto
|
||||||
|
rfc_exact_count = queryset.filter(rfc=rfc_value).count()
|
||||||
|
|
||||||
|
if rfc_exact_count != total:
|
||||||
|
try:
|
||||||
|
other_rfcs = queryset.exclude(rfc=rfc_value).values_list('rfc', flat=True).distinct()[:5]
|
||||||
|
except:
|
||||||
|
pass
|
||||||
|
|
||||||
|
# Obtener registros
|
||||||
|
records = queryset.values('patente', 'pedimento', 'datastage_id')
|
||||||
|
all_records_with_filters.extend(list(records))
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
if not all_records_with_filters:
|
||||||
|
return {'patentes': set(), 'pedimentos': set(), 'datastage_ids': set()}
|
||||||
|
|
||||||
|
for record in all_records_with_filters:
|
||||||
|
if record.get('patente'):
|
||||||
|
related_keys['patentes'].add(record['patente'])
|
||||||
|
if record.get('pedimento'):
|
||||||
|
related_keys['pedimentos'].add(record['pedimento'])
|
||||||
|
if record.get('datastage_id'):
|
||||||
|
related_keys['datastage_ids'].add(record['datastage_id'])
|
||||||
|
|
||||||
|
return {k: list(v) for k, v in related_keys.items() if v}
|
||||||
|
|
||||||
|
def apply_global_filters_to_model(self, global_filters, model, user):
|
||||||
|
"""
|
||||||
|
Aplica filtros globales - VERSIÓN CORREGIDA CON UUID
|
||||||
|
"""
|
||||||
|
|
||||||
|
filters = {}
|
||||||
|
model_fields = [f.name for f in model._meta.get_fields()]
|
||||||
|
|
||||||
|
# ORGANIZACIÓN - Manejar como UUID
|
||||||
|
org_value = global_filters.get('organizacion')
|
||||||
|
if org_value and org_value != '' and 'organizacion' in model_fields:
|
||||||
|
field = model._meta.get_field('organizacion')
|
||||||
|
|
||||||
|
if hasattr(field, 'related_model'): # Es ForeignKey
|
||||||
|
# Convertir string a UUID
|
||||||
|
try:
|
||||||
|
import uuid
|
||||||
|
org_uuid = uuid.UUID(org_value)
|
||||||
|
filters['organizacion_id'] = org_uuid
|
||||||
|
except Exception as e:
|
||||||
|
# Fallback: dejar como string (puede no funcionar)
|
||||||
|
filters['organizacion_id'] = org_value
|
||||||
|
else: # Es CharField
|
||||||
|
filters['organizacion'] = org_value
|
||||||
|
|
||||||
|
# RFC - Manejar normalmente
|
||||||
|
rfc_value = global_filters.get('rfc')
|
||||||
|
if rfc_value and rfc_value != '' and 'rfc' in model_fields:
|
||||||
|
filters['rfc'] = rfc_value
|
||||||
|
|
||||||
|
# PATENTE
|
||||||
|
if global_filters.get('patente'):
|
||||||
|
filters['patente'] = global_filters['patente']
|
||||||
|
|
||||||
|
# PEDIMENTO
|
||||||
|
if global_filters.get('pedimento'):
|
||||||
|
filters['pedimento'] = global_filters['pedimento']
|
||||||
|
|
||||||
|
# FECHAS
|
||||||
|
if 'fecha_pago_real' in model_fields:
|
||||||
|
if global_filters.get('fecha_pago_desde'):
|
||||||
|
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||||
|
|
||||||
|
if global_filters.get('fecha_pago_hasta'):
|
||||||
|
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||||
|
|
||||||
|
return filters
|
||||||
|
|
||||||
|
def apply_related_filters(self, global_filters, model, related_keys, user):
|
||||||
|
filters = {}
|
||||||
|
model_fields = [f.name for f in model._meta.get_fields()]
|
||||||
|
|
||||||
|
# 1. Organización
|
||||||
|
if 'organizacion' in model_fields and global_filters.get('organizacion'):
|
||||||
|
filters['organizacion'] = global_filters['organizacion']
|
||||||
|
|
||||||
|
# 2. RFC (¡ESTO ES LO QUE FALTA!)
|
||||||
|
if 'rfc' in model_fields and global_filters.get('rfc'):
|
||||||
|
filters['rfc'] = global_filters['rfc']
|
||||||
|
|
||||||
|
# 3. Fechas (SIEMPRE se aplican)
|
||||||
|
if 'fecha_pago_real' in model_fields:
|
||||||
|
if global_filters.get('fecha_pago_desde'):
|
||||||
|
filters['fecha_pago_real__gte'] = global_filters['fecha_pago_desde']
|
||||||
|
|
||||||
|
if global_filters.get('fecha_pago_hasta'):
|
||||||
|
filters['fecha_pago_real__lte'] = global_filters['fecha_pago_hasta']
|
||||||
|
|
||||||
|
# 🔥 SEGUNDO: Si hay related_keys, AÑADIRLAS a los filtros existentes
|
||||||
|
if any(related_keys.values()):
|
||||||
|
|
||||||
|
# Añadir patentes si existen
|
||||||
|
if related_keys.get('patentes') and 'patente' in model_fields:
|
||||||
|
filters['patente__in'] = related_keys['patentes']
|
||||||
|
|
||||||
|
# Añadir pedimentos si existen
|
||||||
|
if related_keys.get('pedimentos') and 'pedimento' in model_fields:
|
||||||
|
filters['pedimento__in'] = related_keys['pedimentos']
|
||||||
|
|
||||||
|
# Añadir datastage_ids si existen
|
||||||
|
if related_keys.get('datastage_ids') and 'datastage_id' in model_fields:
|
||||||
|
filters['datastage_id__in'] = related_keys['datastage_ids']
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Solo patente y pedimento específicos (no listas)
|
||||||
|
if 'patente' in model_fields and global_filters.get('patente'):
|
||||||
|
filters['patente'] = global_filters['patente']
|
||||||
|
|
||||||
|
if 'pedimento' in model_fields and global_filters.get('pedimento'):
|
||||||
|
filters['pedimento'] = global_filters['pedimento']
|
||||||
|
|
||||||
|
return filters
|
||||||
|
|
||||||
|
def estimate_excel_file_size(self, num_records, num_columns):
|
||||||
|
"""Estima tamaño aproximado del archivo Excel"""
|
||||||
|
# Estimación aproximada: 100 bytes por celda
|
||||||
|
return num_records * num_columns * 100
|
||||||
|
|
||||||
|
def export_with_size_control(self, request, models_data, global_filters, related_keys):
|
||||||
|
"""Versión con control de tamaño de archivo"""
|
||||||
|
try:
|
||||||
|
zip_buffer = io.BytesIO()
|
||||||
|
|
||||||
|
with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zip_file:
|
||||||
|
file_counter = 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_size_estimate = 0
|
||||||
|
MAX_FILE_SIZE_ESTIMATE = 50 * 1024 * 1024 # 50MB estimado
|
||||||
|
|
||||||
|
for model_data in models_data:
|
||||||
|
model_name = model_data.get('model')
|
||||||
|
fields = model_data.get('fields', [])
|
||||||
|
|
||||||
|
if not model_name or not fields:
|
||||||
|
continue
|
||||||
|
|
||||||
|
try:
|
||||||
|
model = apps.get_model('datastage', model_name)
|
||||||
|
filters = self.apply_related_filters(global_filters, model, related_keys, request.user)
|
||||||
|
|
||||||
|
if filters:
|
||||||
|
queryset = model.objects.filter(**filters).values(*fields)
|
||||||
|
else:
|
||||||
|
queryset = model.objects.none()
|
||||||
|
|
||||||
|
total_records = queryset.count()
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Calcular tamaño estimado para este modelo
|
||||||
|
model_size_estimate = self.estimate_excel_file_size(total_records, len(fields))
|
||||||
|
|
||||||
|
# Si el modelo es muy grande o no cabe en el archivo actual
|
||||||
|
needs_new_file = (
|
||||||
|
current_wb is None or
|
||||||
|
current_file_size_estimate + model_size_estimate > MAX_FILE_SIZE_ESTIMATE or
|
||||||
|
(total_records > self.MAX_RECORDS_PER_FILE and current_file_size_estimate > 0)
|
||||||
|
)
|
||||||
|
|
||||||
|
if needs_new_file and current_wb is not None:
|
||||||
|
# Guardar archivo actual
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
file_counter += 1
|
||||||
|
current_wb = None
|
||||||
|
current_file_size_estimate = 0
|
||||||
|
|
||||||
|
if current_wb is None:
|
||||||
|
current_wb = openpyxl.Workbook()
|
||||||
|
current_wb.remove(current_wb.active)
|
||||||
|
|
||||||
|
# Manejar modelos que exceden el límite por hoja
|
||||||
|
if total_records > self.MAX_RECORDS_PER_FILE:
|
||||||
|
from django.core.paginator import Paginator
|
||||||
|
paginator = Paginator(queryset, self.MAX_RECORDS_PER_FILE)
|
||||||
|
|
||||||
|
for page_num in paginator.page_range:
|
||||||
|
page = paginator.page(page_num)
|
||||||
|
|
||||||
|
# Crear hoja para esta parte
|
||||||
|
sheet_name = f"{model_name[:20]}_p{page_num}"[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
for row in page.object_list:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
# Actualizar tamaño estimado
|
||||||
|
page_size = self.estimate_excel_file_size(len(page.object_list), len(fields))
|
||||||
|
current_file_size_estimate += page_size
|
||||||
|
|
||||||
|
else:
|
||||||
|
# Modelo pequeño, una hoja
|
||||||
|
sheet_name = model_name[:31]
|
||||||
|
ws = current_wb.create_sheet(title=sheet_name)
|
||||||
|
ws.append(fields)
|
||||||
|
|
||||||
|
for row in queryset:
|
||||||
|
row_values = [self.safe_excel_value(row[field]) for field in fields]
|
||||||
|
ws.append(row_values)
|
||||||
|
|
||||||
|
current_file_size_estimate += model_size_estimate
|
||||||
|
|
||||||
|
except LookupError:
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Guardar último archivo si existe
|
||||||
|
if current_wb is not None:
|
||||||
|
part_buffer = io.BytesIO()
|
||||||
|
current_wb.save(part_buffer)
|
||||||
|
part_buffer.seek(0)
|
||||||
|
zip_file.writestr(f"datastage_part{file_counter}.xlsx", part_buffer.getvalue())
|
||||||
|
|
||||||
|
zip_buffer.seek(0)
|
||||||
|
|
||||||
|
response = HttpResponse(zip_buffer.read(), content_type='application/zip')
|
||||||
|
response['Content-Disposition'] = 'attachment; filename="datastage_reports.zip"'
|
||||||
|
return response
|
||||||
|
|
||||||
|
except Exception as e:
|
||||||
|
return Response({'error': f'Error: {str(e)}'}, status=status.HTTP_500_INTERNAL_SERVER_ERROR)
|
||||||
|
|
||||||
class ExportModelView(APIView):
|
class ExportModelView(APIView):
|
||||||
my_tags = ['Reportes']
|
my_tags = ['Reportes']
|
||||||
permission_classes = [IsAuthenticated & (
|
permission_classes = [IsAuthenticated & (IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
||||||
IsSameOrganization | IsSameOrganizationAndAdmin | IsSameOrganizationDeveloper | IsSuperUser)]
|
|
||||||
|
|
||||||
@swagger_auto_schema(
|
@swagger_auto_schema(
|
||||||
manual_parameters=[
|
manual_parameters=[
|
||||||
|
|||||||
@@ -1,5 +1,5 @@
|
|||||||
from api.reports.models import ReportDocument
|
from api.reports.models import ReportDocument
|
||||||
from api.reports.tasks.report_document import generate_report_document
|
from api.reports.tasks.report_document import generate_report_document, generate_report_control_pedimento
|
||||||
from django.http import FileResponse
|
from django.http import FileResponse
|
||||||
from rest_framework.decorators import api_view, permission_classes
|
from rest_framework.decorators import api_view, permission_classes
|
||||||
from rest_framework.permissions import IsAuthenticated
|
from rest_framework.permissions import IsAuthenticated
|
||||||
@@ -11,7 +11,10 @@ def table_summary(request):
|
|||||||
"""
|
"""
|
||||||
Solo dispara la tarea asíncrona para generar el reporte CSV. No consulta ni procesa datos.
|
Solo dispara la tarea asíncrona para generar el reporte CSV. No consulta ni procesa datos.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
org_id = request.query_params.get('organizacion_id')
|
org_id = request.query_params.get('organizacion_id')
|
||||||
|
# hasta aqui si llega y crea el registro en la base de datos
|
||||||
|
print(f'🖼️🖼️🖼️🖼️🖼️🖼️🖼️ table_summary organizacion id = {org_id}')
|
||||||
if not org_id:
|
if not org_id:
|
||||||
return Response({"error": "organizacion_id es requerido"}, status=400)
|
return Response({"error": "organizacion_id es requerido"}, status=400)
|
||||||
# Obtener filtros de query params
|
# Obtener filtros de query params
|
||||||
@@ -60,7 +63,8 @@ def table_summary(request):
|
|||||||
report = ReportDocument.objects.create(
|
report = ReportDocument.objects.create(
|
||||||
user=request.user,
|
user=request.user,
|
||||||
filters=filtros,
|
filters=filtros,
|
||||||
status='pending'
|
status='pending',
|
||||||
|
report_type='cumplimiento'
|
||||||
)
|
)
|
||||||
generate_report_document.delay(report.id)
|
generate_report_document.delay(report.id)
|
||||||
return Response({
|
return Response({
|
||||||
@@ -94,6 +98,7 @@ def report_document_list(request):
|
|||||||
data = [
|
data = [
|
||||||
{
|
{
|
||||||
"report_id": r.id,
|
"report_id": r.id,
|
||||||
|
"report_type": r.report_type,
|
||||||
"status": r.status,
|
"status": r.status,
|
||||||
"created_at": r.created_at,
|
"created_at": r.created_at,
|
||||||
"finished_at": r.finished_at,
|
"finished_at": r.finished_at,
|
||||||
@@ -115,3 +120,49 @@ def report_document_download(request, report_id):
|
|||||||
return response
|
return response
|
||||||
except ReportDocument.DoesNotExist:
|
except ReportDocument.DoesNotExist:
|
||||||
return Response({"error": "Reporte no encontrado"}, status=404)
|
return Response({"error": "Reporte no encontrado"}, status=404)
|
||||||
|
|
||||||
|
@api_view(['GET'])
|
||||||
|
@permission_classes([IsAuthenticated])
|
||||||
|
def control_pedimento(request):
|
||||||
|
"""
|
||||||
|
Dispara la tarea asíncrona para generar el reporte CSV de control de Pedimentos.
|
||||||
|
"""
|
||||||
|
org_id = request.query_params.get('organizacion_id')
|
||||||
|
|
||||||
|
if not org_id:
|
||||||
|
return Response({"error": "organizacion_id es requerido"}, status=400)
|
||||||
|
|
||||||
|
# Simplificar la lógica de fechas
|
||||||
|
fecha_pago_gte = request.query_params.get('fecha_pago__gte')
|
||||||
|
fecha_pago_lte = request.query_params.get('fecha_pago__lte')
|
||||||
|
pedimento_app = request.query_params.get('pedimento_app')
|
||||||
|
|
||||||
|
# Si las fechas vienen como string, mantenerlas como están
|
||||||
|
fecha_pago_gte_str = fecha_pago_gte if fecha_pago_gte else None
|
||||||
|
fecha_pago_lte_str = fecha_pago_lte if fecha_pago_lte else None
|
||||||
|
|
||||||
|
filtros = {
|
||||||
|
"pedimento_app": pedimento_app,
|
||||||
|
"organizacion_id": org_id,
|
||||||
|
"fecha_pago__gte": fecha_pago_gte_str,
|
||||||
|
"fecha_pago__lte": fecha_pago_lte_str,
|
||||||
|
}
|
||||||
|
|
||||||
|
# Crear el reporte
|
||||||
|
report = ReportDocument.objects.create(
|
||||||
|
user=request.user,
|
||||||
|
filters=filtros,
|
||||||
|
status='pending',
|
||||||
|
report_type='control_pedimento'
|
||||||
|
)
|
||||||
|
|
||||||
|
# Disparar la tarea asíncrona
|
||||||
|
generate_report_control_pedimento.delay(report.id)
|
||||||
|
|
||||||
|
return Response({
|
||||||
|
"report_id": report.id,
|
||||||
|
"status": report.status,
|
||||||
|
"created_at": report.created_at,
|
||||||
|
"message": "Reporte en proceso de generación",
|
||||||
|
"download_url": report.file.url if report.file else None
|
||||||
|
}, status=202)
|
||||||
@@ -1,4 +1,5 @@
|
|||||||
from django.shortcuts import render
|
from django.shortcuts import render
|
||||||
|
from ..organization.models import Organizacion
|
||||||
from rest_framework import viewsets
|
from rest_framework import viewsets
|
||||||
from rest_framework.pagination import PageNumberPagination
|
from rest_framework.pagination import PageNumberPagination
|
||||||
from django_filters.rest_framework import DjangoFilterBackend
|
from django_filters.rest_framework import DjangoFilterBackend
|
||||||
@@ -93,7 +94,23 @@ class VucemView(viewsets.ModelViewSet):
|
|||||||
if not self.request.user.is_authenticated or not hasattr(self.request.user, 'organizacion'):
|
if not self.request.user.is_authenticated or not hasattr(self.request.user, 'organizacion'):
|
||||||
raise ValueError("El usuario debe estar autenticado y tener una organización asignada.")
|
raise ValueError("El usuario debe estar autenticado y tener una organización asignada.")
|
||||||
if self.request.user.is_superuser:
|
if self.request.user.is_superuser:
|
||||||
serializer.save(created_by=self.request.user, updated_by=self.request.user)
|
organizacion_id = self.request.data.get('organizacion_id')
|
||||||
|
|
||||||
|
if not organizacion_id:
|
||||||
|
raise ValueError("Los superusuarios deben especificar una organización")
|
||||||
|
|
||||||
|
try:
|
||||||
|
# Importa el modelo Organizacion
|
||||||
|
# from ..organization.models import Organizacion
|
||||||
|
organizacion = Organizacion.objects.get(id=organizacion_id)
|
||||||
|
except Organizacion.DoesNotExist:
|
||||||
|
raise ValueError({"organizacion": "Organización no encontrada"})
|
||||||
|
|
||||||
|
serializer.save(
|
||||||
|
organizacion=organizacion,
|
||||||
|
created_by=self.request.user,
|
||||||
|
updated_by=self.request.user
|
||||||
|
)
|
||||||
return
|
return
|
||||||
else:
|
else:
|
||||||
serializer.save(
|
serializer.save(
|
||||||
|
|||||||
Reference in New Issue
Block a user