Alocar matriz dinamicamente a partir de um arquivo

int sizeX;
	int sizeY;
	char linha[50];
	FILE *fp;

	fp = fopen("img.txt", "r");

	if (fp == NULL)
	{
		perror("Read error");
		exit(EXIT_FAILURE);
	}

	fscanf(fp, "%d %d", &sizeX, &sizeY);

	int **malha = NULL;
	malha = (int **)malloc(sizeX * sizeof(int *));
	int i;
	for (i = 0; i < sizeX; i++)
	{
		malha[i] = (int *)malloc(sizeY * sizeof(int));
	}

	char ponto;
	int x = 0;
	int y = 0;
	while ((ponto = fgetc(fp)) != EOF)
	{
		if (ponto != ' ' && ponto != '\n')
		{
			switch (ponto)
			{
			case '1':
				malha[x][y] = 1;
				break;
			case '0':
				malha[x][y] = 0;
				break;
			}

			y++;
			if (y == sizeY)
			{
				y = 0;
				x++;
			}
			if (x == sizeX)
			{
				break;
			}
		}
	}